谷歌把 Computer Use 电脑操作能力内置进 Gemini 3.5 Flash,这套机制的核心是截图 - 识别 - 输出动作的循环闭环,AI 读取屏幕截图,识别按钮、输入框、下拉菜单等 UI 元素,自主输出点击、输入、滚动、切换标签等指令,单任务可以连续跑 70 轮交互,不用预先对接软件 API,直接像人一样操作图形界面。和之前单独的 Computer Use 预览模型不一样,这次能力直接打包在 Flash 轻量模型里,兼顾速度、低成本和长链路 Agent 任务,网页、桌面软件、移动端界面都能尝试操作,适合老旧系统、无开放 API 的后台、表单填报这类场景。但它不是直接接管本地电脑,需要配套客户端 / 沙盒环境执行鼠标键盘动作,有安全校验机制,高危操作会拦截,也存在 UI 识别出错、页面改版后失效的问题。
一、Gemini 3.5 Flash Computer Use 基础信息表
| 项目 | 详情 |
|---|---|
| 功能名称 | Computer Use(计算机使用能力) |
| 搭载模型 | Gemini 3.5 Flash(原生内置工具) |
| 交互模式 | 截图传入→识别 UI→输出动作指令→执行后再截图,循环迭代 |
| 支持动作 | 鼠标点击、文字输入、滚轮滚动、切换标签页、下拉选择等 |
| 网传指标 | 支持连续 70 轮以上长步骤任务循环执行 |
| 适用界面 | 网页、桌面 GUI、移动端界面,不依赖软件开放 API |
| 调用入口 | Gemini Interactions API,开发者对接沙盒 / 远程虚拟机运行 |
| 短板 | 界面布局变动、模糊按钮、非标准控件容易识别失败 |
二、完整 70 轮循环的工作流程
- 接收用户自然语言任务指令,初始化屏幕截图
- Gemini 3.5 Flash 解析截图,定位页面上可交互控件、判断当前任务进度
- 输出函数调用指令:点击坐标、输入文字、滚动页面等
- 底层客户端在隔离沙盒里执行键鼠动作
- 动作执行完成,重新截图传回模型,进入下一轮判断
- 重复迭代,最多可连续几十轮,直到任务完成、判定失败或者触发安全拦截
三、和其他 Agent 方案的核心差异
- 传统 API 自动化:依赖软件开放接口,稳定但只能对接支持开发的系统,老旧内网系统很难用
- 早期专用 Computer Use 模型:单独的专用模型,成本更高、延迟更高
- Gemini 3.5 Flash 方案:轻量高速模型自带该能力,看像素识别 UI,通用性更强,适合零散、跨软件 GUI 任务,成本更低,但识别稳定性弱于标准化 API 方案
四、适合落地的场景与局限
适合场景:批量填表、网页信息检索、后台系统查询、固定流程的网页操作、跨平台重复工作流。
局限清单:
- 页面 UI 改版、控件样式变化,会直接导致识别失败
- 没有人类的常识容错,弹窗、验证码、随机广告很容易打断流程
- 必须在隔离沙盒 / 远程云机环境运行,默认不能直接操控本地电脑
- 存在安全风险,恶意指令、隐藏网页诱导指令会被安全层拦截,但仍有攻击面
- 70 轮是测试场景上限,真实业务里大量任务会中途卡壳,并非百分百稳定跑完
五、常见误区
- 误区 1:Gemini 3.5 Flash 可以直接控制你自己电脑随便点。错,它只输出动作指令,需要配套客户端 + 隔离环境,原生 API 不能直接操控本机。
- 误区 2:70 轮代表所有任务都能稳定跑完 70 步。错,70 轮是演示测试里的长循环案例,复杂页面很容易中途识别翻车。
- 误区 3:它可以替代 RPA。错,RPA 基于固定选择器,稳定性更高;Gemini 这套是视觉驱动,胜在通用性,稳定性弱,适合灵活、低频次任务。
- 误区 4:只要是屏幕上的按钮,它都能精准识别。错,自定义异形控件、低对比度图标、悬浮弹窗识别失败率很高。
【相关 FAQ】
问题 1:谷歌把电脑操作能力塞进 Gemini 3.5 Flash,自己看屏幕狂点 70 轮是什么原理?
回答 1:Gemini 3.5 Flash 的 Computer Use 是截图循环交互机制,AI 读取屏幕画面识别 UI 控件,输出点击、输入等动作指令,执行完成再截图回传,反复迭代,测试场景下可以连续跑 70 轮交互。
问题 2:Gemini 3.5 Flash 这套看屏幕操作电脑的能力,是不是可以直接操控本地电脑?
回答 2:不可以,Gemini 3.5 Flash 只输出动作指令,需要开发者配套沙盒、远程虚拟机客户端来执行键鼠,默认没有直接操控本机桌面的权限。
问题 3:Gemini 3.5 Flash 的 Computer Use 对比 RPA 自动化,优势在哪?
回答 3:Gemini 3.5 Flash 的 Computer Use 不需要提前写控件选择器,不需要软件开放 API,能直接识别任意图形界面;缺点是稳定性不如 RPA,页面一变就容易失效。
问题 4:Gemini 3.5 Flash 连续 70 轮屏幕操作,实际使用会有什么风险?
回答 4:Gemini 3.5 Flash 连续 70 轮屏幕操作,风险包括 UI 识别错误误操作、网页隐藏诱导指令、验证码和弹窗打断流程,谷歌安全机制会拦截高危操作,但依然需要沙盒隔离,不能直接跑在生产核心系统。
【参考资料】
[2026-06-27](谷歌把电脑操作能力塞进 Gemini 3.5 Flash!自己看屏幕狂点 70 轮)太平洋科技
[2026-05-19](Gemini 3.5: frontier intelligence with action)谷歌官方博客The Keywor...
[2026-10-30](操作电脑 - Interactions API)Google AI 开发者文档Google AI
[2025-10-07](Introducing the Gemini 2.5 Computer Use model)Google 官方发布页Google
[2026-06-28](Gemini 3.5 Flash 原生 Computer Use:AI 学会 "像人一样用电脑")AI 前哨站
【免责声明】
本文基于谷歌官方 API 文档、媒体技术报道整理,Gemini 3.5 Flash Computer Use 属于开发者侧能力,需要开发对接,不面向普通用户一键启用。该视觉自动化方案识别效果受页面样式、分辨率、控件设计影响,不适合无人值守的核心业务自动化,上线前务必做好隔离、人工复核与安全校验;本文不构成自动化项目落地建议。
