Gemini API Computer Use 正式开放：如何接入截图、动作执行与人工确认

GA 开放了什么？

Google 的更新日志在 2026 年 10 月 30 日宣布 Computer Use 正式开放，范围是 Interactions API 与 GenerateContent API。GA 描述的是工具状态，并不代表每个 Google AI Studio 项目、API 密钥、地区或套餐都自动获得访问权限，也不能据此推定消费者版 Gemini 订阅包含 API 访问；上线前要用实际项目核对模型调用和地区支持。

Computer Use 工具支持列表包括 gemini-4-argon、gemini-3.8-flash、gemini-3.5-flash-lite 与 gemini-3-flash-preview。工具 GA 与模型自身的发布阶段是两件事：gemini-3-flash-preview 仍标为 Preview。

先选模型和操作环境

官方把 gemini-3.8-flash 列为推荐的 Computer Use 模型；gemini-4-argon 面向复杂推理和 agent 工作流，gemini-3.5-flash-lite 可用于低延迟、较低成本的任务，gemini-3-flash-preview 则仍处于预览阶段。按自己的任务样本比较准确性、耗时和用量，不要把文档推荐当成已经完成的性能测试。

工具配置可选择浏览器、移动或桌面环境。移动环境针对 Android 优化。无论选择哪一种，你都要准备可控的运行环境、屏幕截图来源和能执行相应动作的客户端；API 不会替你连接或操作本机桌面。

模型建议动作，客户端决定是否执行

发送包含当前屏幕状态的请求后，模型会返回 Computer Use function call，其中可能包含 click、type、scroll 等动作、用于解释动作的 intent，以及 safety_decision。先校验函数名称、参数类型和目标范围，再交给自己的浏览器、移动设备或桌面执行器。

intent 是模型对建议动作的说明，不是授权凭证。应用仍要按照自己的任务范围、目标站点白名单和用户权限决定动作是否可执行；不要把模型输出直接当成可以写入业务系统的命令。

把截图和 function_result 接成循环

客户端收到动作后，在对应环境中执行，再捕获新截图并把执行结果作为 function_result 回传，让模型依据更新后的画面提出下一步。保留每轮模型响应与函数结果的对话历史；达到任务完成条件、步数上限或超时时应停止循环。

坐标是 0–999 范围内的归一化值。客户端要按当前截图对应的视口宽高换算到实际像素，并确认截图与执行窗口仍是同一尺寸和状态。遇到弹窗、页面变化或无法识别的动作时，暂停并重新判断，不要盲目重复点击。

假设任务是在自己的测试站点打开菜单并读取一个字段：模型提出点击后，客户端先确认目标仍是获授权的页面，再点击、截图并回传结果。这只是接入示例，并未执行真实站点操作。若一轮返回多个函数调用，须为每个调用返回对应结果。

把 safety_decision 当作执行门槛

当 safety_decision 为 allowed 时，仍要经过应用自身的权限和目标校验；blocked 应停止该动作；require_confirmation 则必须暂停并向最终用户询问。只有用户实际确认后，才在对应的 function_result 中发送 safety_acknowledgement。配置安全覆盖也不保证后续响应不会要求确认。

Gemini 3.5 Flash-Lite 及更新模型支持可选的截图提示注入检测，但该功能默认关闭。开启检测只能增加一层检查，不能替代人工审批、严格的动作白名单和隔离环境。先在仅处理自有或明确获授权的低风险任务中验证整条链路。

按 token 和运行环境估算成本

官方定价表中，Computer Use 的免费层标为 Not available；付费层按所选模型的常规 token 价格计费，没有固定的单次点击费用。以 Standard gemini-3.8-flash 为例，截至 2026 年 12 月 31 日，输入为每百万 token 0.75 美元，输出为 3.75 美元（包含 thinking tokens）；从 2027 年 1 月 1 日起分别为 1.50 美元和 7.50 美元。费率会变化，发布前应重新核对定价页。

截图、重复发送的历史内容和多轮推理都会影响 token 用量；浏览器、容器、虚拟机或移动设备的运行成本另计。API 可用地区也要按实际项目核对，工具 GA 不会扩大官方支持地区。发送含敏感信息的截图前，请先检查请求日志与存储设置，并阅读 Gemini API 请求日志与存储说明 (https://puppyip.com/resources/gemini-api-request-logging-storage-guide)。