这个 Skill 能做什么,适合哪些场景?
cua-driver 是 trycua/cua 仓库中的一个 Agent Skill,封装了 Cua Driver 的 cua-driver CLI 与 MCP 服务器。它教会智能体以正确的方式操作本机上的原生 GUI 应用:先做窄范围观察,再通过快照绑定的元素令牌点击和输入,并在关键节点验证状态。技能本身是 MIT 许可的 Cua Driver 仓库的一部分,需要先在主机上安装 cua-driver 二进制。它不是模拟器或沙箱工具,而是对真实已授权桌面的自动化接口。
- 用 get_window_state 带查询词读取单个窗口(约 2K 字符而非 42K 全量快照),并用 max_elements/max_depth 限制大树。
- 通过 run_steps 配合 observe:true 批量执行操作,停在第一个失败处并只返回自上次读取以来的变化。
- 用 run_script 在沙箱化 JavaScript 中编写带循环、分支、重试的流程,有时间与调用次数限制。
- 用 verify_state 或定向 get_window_state 在检查点验证任务后置条件,而非每步都验证。
- 支持启动应用、打开本地文件、操作桌面、绑定浏览器页面内容,以及按需录制操作会话。
- 用户要求继续或回顾近期 Cua 工作时,通过 history_status/history_query 有界地查询历史。
- 使用 Claude Code、Codex、Cursor 等编码智能体的开发者,想让智能体在本机真实应用(如计算器、LibreOffice Calc、Inkscape)中完成 GUI 任务并验证显示结果。
- 需要自动化跨 macOS、Windows、Linux 桌面应用的重复操作(点击菜单、填表单、导出文件)的运维或测试人员。
- 智能体需要在应用 UI 状态中产生结果,而用户要求只走 GUI 路径、禁用 DOM/CDP 或 shell 修改的场景。
- 多平台团队想要同一套 CLI/MCP 接口驱动不同操作系统的桌面应用,无需为每个平台写专用脚本。
- 需要显式录制自动化操作过程并检查产物以供审查或回放参考的用户。
- 想在虚拟机或云端沙箱里批量生成训练数据、跑基准评测的用户——那是本仓库中 Lume 和 Cua Bench 兄弟组件的职责,不属于这个技能。
- 依赖隐式提权的自动化:技能明确禁止未经授权的前台/桌面控制、修改浏览器安全设置或替用户处理权限弹窗,这种场景不适用。
- 不愿意安装本机二进制或授予无障碍/屏幕录制权限的环境——没有 cua-driver 二进制该技能无法运行。
如何安装这个 Skill?
- 纯静态审查,未执行任何工具或脚本;所有评分基于文档声明,低置信度。
- 技能核心功能依赖本机安装的 cua-driver 二进制与 macOS 辅助功能/屏幕录制等系统权限,部署门槛高。
- 文档与文档站 cua.ai、GitHub 仓库等海外资源耦合,中国大陆网络可达性未经核验,无中文支持声明。
- 所提供文件中 BROWSER.md 在支持边界表格处被截断,实际包内容完整性需自行确认。
- 发布方未经 FollowSkills 注册表验证,身份按未知处理;LINUX.md 中的 Hyprland 候选功能明确标注为实验性且依赖特定 ABI。
- 现有浏览器配置绑定路径涉及 CDP 远程调试授权,虽文档声明严格护栏,使用前应自行审计相关实现。
- Shell / 命令行
- 网络访问
- 本地文件系统
- MCP Server
cua-driver binary (installed via cua.ai install script)local MCP HTTP bearer token (CUA_DRIVER_RS_MCP_HTTP_TOKEN) if using the MCP endpoint
安装该技能需要先安装 Cua Driver 二进制(技能依赖 cua-driver 命令)。源文档给出的主机安装方式如下:
macOS / Linux 主机
/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)"Windows 主机
irm https://cua.ai/driver/install.ps1 | iex通过统一 cua 安装器(可预选仅装 driver)
curl -fsSL https://cua.ai/install.sh | sh -- --only cua-driver技能文件本身位于仓库路径 libs/cua-driver/rust/Skills/cua-driver/SKILL.md,README 提到安装器会把 cua MCP 服务器和技能装入 Claude Code、Codex、Cursor 等编码智能体,但单独把该 SKILL.md 复制到某个智能体 skills 目录的精确步骤未在源材料中给出。
如何使用这个 Skill?
安装后,把下面任意一句发给 Agent 即可触发:
- 用计算器算 6 × 7,并验证应用确实显示 42。
- 在 LibreOffice Calc 中打开 sales.xlsx,把 C 列所有数字求和后写入 C20,然后验证结果。
- 在 Inkscape 里选中当前文档的所有圆形对象,把填充色改成红色,完成后截图给我确认。
- 继续我上次让 Cua 做的填表任务,先查一下之前进行到哪一步了。
安装后,智能体在用户要求操作、驱动或自动化主机上的真实 GUI 应用时触发本技能。核心流程是:先用 get_window_state 或 list_windows/list_apps 定位目标窗口;再通过元素令牌(如 "s0000002a:11",注意不是裸索引 "11")执行 click/type_text;优先用 run_steps({observe:true}) 合并执行与观察;在有意义的状态变化后用 verify_state 验证。可选环境变量包括 CUA_DRIVER_RS_ENABLE_WAYLAND=1(启用 Wayland 原生后端)、CUA_DRIVER_RS_MCP_HTTP_PORT 与 CUA_DRIVER_RS_MCP_HTTP_TOKEN(本地 MCP HTTP 端点及其宿主生成的令牌)、CUA_DRIVER_EMBEDDED 与 CUA_DRIVER_HOST_BUNDLE_ID(macOS 宿主应用内嵌模式)、CUA_DRIVER_PATH(嵌入宿主使用的二进制路径)。诊断可用 cua-driver --version、status、doctor、describe <tool> 或 MCP tools/list。详细规则在技能随附的 WORKFLOW.md、RUNTIME.md 及平台文档中按需加载。
这个 Skill 有哪些优点和局限?
- 跨 macOS、Windows、Linux 三平台的统一 GUI 自动化接口,通过 CLI 或 MCP 连接。
- 基于无障碍树的元素级操作加上快照失效机制(invalidated_snapshot_ids),避免用过期索引瞎点。
- 窄范围读取与 since:"latest" 增量读取显著降低上下文消耗(2K vs 42K 字符)。
- 强调验证后置条件而非每步确认,并明确禁止不可验证操作被当作成功。
- MIT 许可,文档体系完整(WORKFLOW、RUNTIME、平台指南、浏览器、录制、嵌入等分文件按需加载)。
- 必须在主机上安装 cua-driver 二进制并授予相应系统权限,属于有侵入性的本机依赖。
- 需要外部验证的信息:SKILL.md 未附测试套件或基准数据证明各平台可靠性;Linux Wayland 下存在 surface_identity_unproven、截图权限等待等已知恢复路径,说明平台兼容性有边界。
- 后台窗口操作受平台与应用支持限制,前台交付需要显式授权,部分能力(浏览器操作、历史查询)仅在工具被宣告时可用。
- 仓库整体包含多个兄弟技能(Spaces、Lume、Bench 等),注意不要把集合级能力误归到此技能上。
这个 Skill 与同类方案有什么区别?
与相关 Skills 并排比较;分数均按同一 FSRS 标准得出。
| Skill | FS 评分 | Star 数 | 最近更新 | License |
|---|---|---|---|---|
| Cua Driver 技能 本页 | 58 · 推荐 | ★ 29k | 1 天前 | MIT |
| Cua Driver GUI 自动化技能 | 61 · 推荐 | ★ 29k | 1 天前 | MIT |
| cmux Computer Use 技能 | 50 · 谨慎使用 | ★ 28k | 今天 | NOASSERTION |
| 跨平台屏幕截图助手 ✓ OpenAI · 官方 | 46 · 谨慎使用 | ★ 28k | 3 个月前 | — |
| Cua GUI 自动化技能 | 51 · 谨慎使用 | ★ 29k | 1 天前 | MIT |
源材料将 Cua Driver 与仓库内其他组件(Cua Spaces 提供完整桌面、Lume 管理 Apple Silicon 本地 VM、Cua Bench 做评测)区分开:本技能只负责在真实主机上检查和操作已安装的桌面应用与浏览器,不提供 VM 或沙箱。README 还列出被弃用的替代品 cua-agent、cua-computer、cua-som 等,均建议改用 Cua Driver。
FollowSkills 如何评估这个 Skill?
文档系统性呈现最小权限与确认机制:前台/桌面控制需显式授权、浏览器现有配置绑定需运行时授权(--grant existing-profile)、禁用隐藏升级路径('refusals never authorize a hidden foreground fallback')、明确内容不可授权、unrestricted 模式需双环境变量防误启。扣分点:静态审查无法验证这些拒绝路径的实际实现,敏感数据处理(截图、剪贴板、轨迹参数脱敏)多为声明而非可核验代码。
文档内部高度自洽:失败映射表、降级原因(degraded_reason)、stale-ref 处理、surface_identity_unproven 与空树的区分都体现了清晰的可诊断失败模式。扣分点:静态审查上限10分,且关键路径(跨平台 GUI 操作)无法在静态读取中复现,边缘情况仅文档声明。
受众与触发条件明确(frontmatter 描述含 'Use when' 子句),非适用边界清晰(Safari/Firefox 不支持、Wayland 限制、Xvnc 限制、Session 0 问题),并给出快速分诊。扣分点:完全依赖本机 cua-driver 二进制与各平台 GUI 环境,无中文支持说明;核心功能依赖海外文档站 cua.ai 与 GitHub 仓库,中国大陆可达性存在风险。
分层信息架构良好:SKILL.md 为主入口,按需加载参考文件,含版本号 0.34.0、发布版本注释、安装前置说明、已知限制披露。扣分点:该 SKILL.md 未直接展示许可证与变更日志链接;BROWSER.md 在表格处被截断,完整性存疑;发布方未经注册表验证,维护责任与更新路径依赖仓库整体信号。
工具循环设计合理(先窄读、元素令牌操作、检查点验证、since 增量读),能直接产出可用结果且优于手工操作。扣分点:静态上限7分,无执行证据,代表性输出的正确性与完整度未经核验,且部署前置条件(二进制安装、平台权限)增加实际使用成本。
文档引用了具体 PR(#3572)、commit 哈希(f180e882…、1133a06e…)、版本化 smoke 证据与嵌入式时延测量,事实与推断区分较好(如明确标注 'This is not certification')。扣分点:静态上限5分,这些证据均不可独立复现验证,仓库内提交的测试套件覆盖情况未在所给文件中体现。
点击维度查看打分理由
证据充分度:低 — 主要依赖静态检查、作者材料或有限演示;适合发现线索,不适合做高风险决策。
查看完整评分方法 →