您的位置首页 >科技要闻 >

Gemini 3.5 Flash 原生接入 Computer Use,依靠截图循环交互,支持单任务连续 70 轮自主屏幕操作

谷歌把 Computer Use 电脑操作能力内置进 Gemini 3.5 Flash,这套机制的核心是截图 - 识别 - 输出动作的循环闭环,AI 读取屏幕截图,识别按钮、输入框、下拉菜单等 UI 元素,自主输出点击、输入、滚动、切换标签等指令,单任务可以连续跑 70 轮交互,不用预先对接软件 API,直接像人一样操作图形界面。和之前单独的 Computer Use 预览模型不一样,这次能力直接打包在 Flash 轻量模型里,兼顾速度、低成本和长链路 Agent 任务,网页、桌面软件、移动端界面都能尝试操作,适合老旧系统、无开放 API 的后台、表单填报这类场景。但它不是直接接管本地电脑,需要配套客户端 / 沙盒环境执行鼠标键盘动作,有安全校验机制,高危操作会拦截,也存在 UI 识别出错、页面改版后失效的问题。

一、Gemini 3.5 Flash Computer Use 基础信息表

项目详情
功能名称Computer Use(计算机使用能力)
搭载模型Gemini 3.5 Flash(原生内置工具)
交互模式截图传入→识别 UI→输出动作指令→执行后再截图,循环迭代
支持动作鼠标点击、文字输入、滚轮滚动、切换标签页、下拉选择等
网传指标支持连续 70 轮以上长步骤任务循环执行
适用界面网页、桌面 GUI、移动端界面,不依赖软件开放 API
调用入口Gemini Interactions API,开发者对接沙盒 / 远程虚拟机运行
短板界面布局变动、模糊按钮、非标准控件容易识别失败

二、完整 70 轮循环的工作流程

  1. 接收用户自然语言任务指令,初始化屏幕截图
  2. Gemini 3.5 Flash 解析截图,定位页面上可交互控件、判断当前任务进度
  3. 输出函数调用指令:点击坐标、输入文字、滚动页面等
  4. 底层客户端在隔离沙盒里执行键鼠动作
  5. 动作执行完成,重新截图传回模型,进入下一轮判断
  6. 重复迭代,最多可连续几十轮,直到任务完成、判定失败或者触发安全拦截

三、和其他 Agent 方案的核心差异

  • 传统 API 自动化:依赖软件开放接口,稳定但只能对接支持开发的系统,老旧内网系统很难用
  • 早期专用 Computer Use 模型:单独的专用模型,成本更高、延迟更高
  • Gemini 3.5 Flash 方案:轻量高速模型自带该能力,看像素识别 UI,通用性更强,适合零散、跨软件 GUI 任务,成本更低,但识别稳定性弱于标准化 API 方案

四、适合落地的场景与局限

适合场景:批量填表、网页信息检索、后台系统查询、固定流程的网页操作、跨平台重复工作流。

局限清单:

  1. 页面 UI 改版、控件样式变化,会直接导致识别失败
  2. 没有人类的常识容错,弹窗、验证码、随机广告很容易打断流程
  3. 必须在隔离沙盒 / 远程云机环境运行,默认不能直接操控本地电脑
  4. 存在安全风险,恶意指令、隐藏网页诱导指令会被安全层拦截,但仍有攻击面
  5. 70 轮是测试场景上限,真实业务里大量任务会中途卡壳,并非百分百稳定跑完

五、常见误区

  • 误区 1:Gemini 3.5 Flash 可以直接控制你自己电脑随便点。错,它只输出动作指令,需要配套客户端 + 隔离环境,原生 API 不能直接操控本机。
  • 误区 2:70 轮代表所有任务都能稳定跑完 70 步。错,70 轮是演示测试里的长循环案例,复杂页面很容易中途识别翻车。
  • 误区 3:它可以替代 RPA。错,RPA 基于固定选择器,稳定性更高;Gemini 这套是视觉驱动,胜在通用性,稳定性弱,适合灵活、低频次任务。
  • 误区 4:只要是屏幕上的按钮,它都能精准识别。错,自定义异形控件、低对比度图标、悬浮弹窗识别失败率很高。

【相关 FAQ】

问题 1:谷歌把电脑操作能力塞进 Gemini 3.5 Flash,自己看屏幕狂点 70 轮是什么原理?

回答 1:Gemini 3.5 Flash 的 Computer Use 是截图循环交互机制,AI 读取屏幕画面识别 UI 控件,输出点击、输入等动作指令,执行完成再截图回传,反复迭代,测试场景下可以连续跑 70 轮交互。

问题 2:Gemini 3.5 Flash 这套看屏幕操作电脑的能力,是不是可以直接操控本地电脑?

回答 2:不可以,Gemini 3.5 Flash 只输出动作指令,需要开发者配套沙盒、远程虚拟机客户端来执行键鼠,默认没有直接操控本机桌面的权限。

问题 3:Gemini 3.5 Flash 的 Computer Use 对比 RPA 自动化,优势在哪?

回答 3:Gemini 3.5 Flash 的 Computer Use 不需要提前写控件选择器,不需要软件开放 API,能直接识别任意图形界面;缺点是稳定性不如 RPA,页面一变就容易失效。

问题 4:Gemini 3.5 Flash 连续 70 轮屏幕操作,实际使用会有什么风险?

回答 4:Gemini 3.5 Flash 连续 70 轮屏幕操作,风险包括 UI 识别错误误操作、网页隐藏诱导指令、验证码和弹窗打断流程,谷歌安全机制会拦截高危操作,但依然需要沙盒隔离,不能直接跑在生产核心系统。

【参考资料】

[2026-06-27](谷歌把电脑操作能力塞进 Gemini 3.5 Flash!自己看屏幕狂点 70 轮)太平洋科技

[2026-05-19](Gemini 3.5: frontier intelligence with action)谷歌官方博客The Keywor...

[2026-10-30](操作电脑 - Interactions API)Google AI 开发者文档Google AI

[2025-10-07](Introducing the Gemini 2.5 Computer Use model)Google 官方发布页Google

[2026-06-28](Gemini 3.5 Flash 原生 Computer Use:AI 学会 "像人一样用电脑")AI 前哨站

【免责声明】

本文基于谷歌官方 API 文档、媒体技术报道整理,Gemini 3.5 Flash Computer Use 属于开发者侧能力,需要开发对接,不面向普通用户一键启用。该视觉自动化方案识别效果受页面样式、分辨率、控件设计影响,不适合无人值守的核心业务自动化,上线前务必做好隔离、人工复核与安全校验;本文不构成自动化项目落地建议。