自动化与运维

Cua Driver 技能

让智能体直接操作真实桌面应用:通过无障碍树和元素令牌精确驱动 macOS、Windows、Linux 上的原生 GUI,并从最新状态验证结果。

58/ 100
推荐

整体可靠,存在已披露的局限;按说明试用并保留回滚路径。

查看评分依据 ↓
可直接使用于
Codex · Claude Code
Star 数
★ 29k
最近更新
1 天前
License
MIT
desktop-automationcomputer-usegui-automationmcp-server
+4accessibility-treemacoswindowslinux

这个 Skill 能做什么,适合哪些场景?

cua-driver 是 trycua/cua 仓库中的一个 Agent Skill,封装了 Cua Driver 的 cua-driver CLI 与 MCP 服务器。它教会智能体以正确的方式操作本机上的原生 GUI 应用:先做窄范围观察,再通过快照绑定的元素令牌点击和输入,并在关键节点验证状态。技能本身是 MIT 许可的 Cua Driver 仓库的一部分,需要先在主机上安装 cua-driver 二进制。它不是模拟器或沙箱工具,而是对真实已授权桌面的自动化接口。

  • 用 get_window_state 带查询词读取单个窗口(约 2K 字符而非 42K 全量快照),并用 max_elements/max_depth 限制大树。
  • 通过 run_steps 配合 observe:true 批量执行操作,停在第一个失败处并只返回自上次读取以来的变化。
  • 用 run_script 在沙箱化 JavaScript 中编写带循环、分支、重试的流程,有时间与调用次数限制。
  • 用 verify_state 或定向 get_window_state 在检查点验证任务后置条件,而非每步都验证。
  • 支持启动应用、打开本地文件、操作桌面、绑定浏览器页面内容,以及按需录制操作会话。
  • 用户要求继续或回顾近期 Cua 工作时,通过 history_status/history_query 有界地查询历史。
适合
  • 使用 Claude Code、Codex、Cursor 等编码智能体的开发者,想让智能体在本机真实应用(如计算器、LibreOffice Calc、Inkscape)中完成 GUI 任务并验证显示结果。
  • 需要自动化跨 macOS、Windows、Linux 桌面应用的重复操作(点击菜单、填表单、导出文件)的运维或测试人员。
  • 智能体需要在应用 UI 状态中产生结果,而用户要求只走 GUI 路径、禁用 DOM/CDP 或 shell 修改的场景。
  • 多平台团队想要同一套 CLI/MCP 接口驱动不同操作系统的桌面应用,无需为每个平台写专用脚本。
  • 需要显式录制自动化操作过程并检查产物以供审查或回放参考的用户。
不适合
  • 想在虚拟机或云端沙箱里批量生成训练数据、跑基准评测的用户——那是本仓库中 Lume 和 Cua Bench 兄弟组件的职责,不属于这个技能。
  • 依赖隐式提权的自动化:技能明确禁止未经授权的前台/桌面控制、修改浏览器安全设置或替用户处理权限弹窗,这种场景不适用。
  • 不愿意安装本机二进制或授予无障碍/屏幕录制权限的环境——没有 cua-driver 二进制该技能无法运行。

如何安装这个 Skill?

使用前请注意
  • 纯静态审查,未执行任何工具或脚本;所有评分基于文档声明,低置信度。
  • 技能核心功能依赖本机安装的 cua-driver 二进制与 macOS 辅助功能/屏幕录制等系统权限,部署门槛高。
  • 文档与文档站 cua.ai、GitHub 仓库等海外资源耦合,中国大陆网络可达性未经核验,无中文支持声明。
  • 所提供文件中 BROWSER.md 在支持边界表格处被截断,实际包内容完整性需自行确认。
  • 发布方未经 FollowSkills 注册表验证,身份按未知处理;LINUX.md 中的 Hyprland 候选功能明确标注为实验性且依赖特定 ABI。
  • 现有浏览器配置绑定路径涉及 CDP 远程调试授权,虽文档声明严格护栏,使用前应自行审计相关实现。
开始前你需要
Agent 需要具备
  • Shell / 命令行
  • 网络访问
  • 本地文件系统
  • MCP Server
需要预先安装
  • cua-driver binary (installed via cua.ai install script)
  • local MCP HTTP bearer token (CUA_DRIVER_RS_MCP_HTTP_TOKEN) if using the MCP endpoint

安装该技能需要先安装 Cua Driver 二进制(技能依赖 cua-driver 命令)。源文档给出的主机安装方式如下:

macOS / Linux 主机

/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)"

Windows 主机

irm https://cua.ai/driver/install.ps1 | iex

通过统一 cua 安装器(可预选仅装 driver)

curl -fsSL https://cua.ai/install.sh | sh -- --only cua-driver

技能文件本身位于仓库路径 libs/cua-driver/rust/Skills/cua-driver/SKILL.md,README 提到安装器会把 cua MCP 服务器和技能装入 Claude Code、Codex、Cursor 等编码智能体,但单独把该 SKILL.md 复制到某个智能体 skills 目录的精确步骤未在源材料中给出。

如何使用这个 Skill?

试试这样说

安装后,把下面任意一句发给 Agent 即可触发:

  • 用计算器算 6 × 7,并验证应用确实显示 42。
  • 在 LibreOffice Calc 中打开 sales.xlsx,把 C 列所有数字求和后写入 C20,然后验证结果。
  • 在 Inkscape 里选中当前文档的所有圆形对象,把填充色改成红色,完成后截图给我确认。
  • 继续我上次让 Cua 做的填表任务,先查一下之前进行到哪一步了。

安装后,智能体在用户要求操作、驱动或自动化主机上的真实 GUI 应用时触发本技能。核心流程是:先用 get_window_state 或 list_windows/list_apps 定位目标窗口;再通过元素令牌(如 "s0000002a:11",注意不是裸索引 "11")执行 click/type_text;优先用 run_steps({observe:true}) 合并执行与观察;在有意义的状态变化后用 verify_state 验证。可选环境变量包括 CUA_DRIVER_RS_ENABLE_WAYLAND=1(启用 Wayland 原生后端)、CUA_DRIVER_RS_MCP_HTTP_PORT 与 CUA_DRIVER_RS_MCP_HTTP_TOKEN(本地 MCP HTTP 端点及其宿主生成的令牌)、CUA_DRIVER_EMBEDDED 与 CUA_DRIVER_HOST_BUNDLE_ID(macOS 宿主应用内嵌模式)、CUA_DRIVER_PATH(嵌入宿主使用的二进制路径)。诊断可用 cua-driver --version、status、doctor、describe <tool> 或 MCP tools/list。详细规则在技能随附的 WORKFLOW.md、RUNTIME.md 及平台文档中按需加载。

这个 Skill 有哪些优点和局限?

优点
  • 跨 macOS、Windows、Linux 三平台的统一 GUI 自动化接口,通过 CLI 或 MCP 连接。
  • 基于无障碍树的元素级操作加上快照失效机制(invalidated_snapshot_ids),避免用过期索引瞎点。
  • 窄范围读取与 since:"latest" 增量读取显著降低上下文消耗(2K vs 42K 字符)。
  • 强调验证后置条件而非每步确认,并明确禁止不可验证操作被当作成功。
  • MIT 许可,文档体系完整(WORKFLOW、RUNTIME、平台指南、浏览器、录制、嵌入等分文件按需加载)。
局限
  • 必须在主机上安装 cua-driver 二进制并授予相应系统权限,属于有侵入性的本机依赖。
  • 需要外部验证的信息:SKILL.md 未附测试套件或基准数据证明各平台可靠性;Linux Wayland 下存在 surface_identity_unproven、截图权限等待等已知恢复路径,说明平台兼容性有边界。
  • 后台窗口操作受平台与应用支持限制,前台交付需要显式授权,部分能力(浏览器操作、历史查询)仅在工具被宣告时可用。
  • 仓库整体包含多个兄弟技能(Spaces、Lume、Bench 等),注意不要把集合级能力误归到此技能上。

这个 Skill 与同类方案有什么区别?

与相关 Skills 并排比较;分数均按同一 FSRS 标准得出。

Skill FS 评分 Star 数 最近更新 License
Cua Driver 技能 本页 58 · 推荐 ★ 29k 1 天前 MIT
Cua Driver GUI 自动化技能 61 · 推荐 ★ 29k 1 天前 MIT
cmux Computer Use 技能 50 · 谨慎使用 ★ 28k 今天 NOASSERTION
跨平台屏幕截图助手 ✓ OpenAI · 官方 46 · 谨慎使用 ★ 28k 3 个月前 —
Cua GUI 自动化技能 51 · 谨慎使用 ★ 29k 1 天前 MIT

源材料将 Cua Driver 与仓库内其他组件(Cua Spaces 提供完整桌面、Lume 管理 Apple Silicon 本地 VM、Cua Bench 做评测)区分开:本技能只负责在真实主机上检查和操作已安装的桌面应用与浏览器,不提供 VM 或沙箱。README 还列出被弃用的替代品 cua-agent、cua-computer、cua-som 等,均建议改用 Cua Driver。

FollowSkills 如何评估这个 Skill?

FollowSkills 评估 · FSRS-2.0
推荐
58/ 100 五分制 2.9 / 5
1信任安全18 / 25 · 3.6/5

文档系统性呈现最小权限与确认机制:前台/桌面控制需显式授权、浏览器现有配置绑定需运行时授权(--grant existing-profile)、禁用隐藏升级路径('refusals never authorize a hidden foreground fallback')、明确内容不可授权、unrestricted 模式需双环境变量防误启。扣分点:静态审查无法验证这些拒绝路径的实际实现,敏感数据处理(截图、剪贴板、轨迹参数脱敏)多为声明而非可核验代码。

2可靠稳定9 / 20 · 2.3/5

文档内部高度自洽:失败映射表、降级原因(degraded_reason)、stale-ref 处理、surface_identity_unproven 与空树的区分都体现了清晰的可诊断失败模式。扣分点:静态审查上限10分,且关键路径(跨平台 GUI 操作)无法在静态读取中复现,边缘情况仅文档声明。

3适用触发10 / 15 · 3.3/5

受众与触发条件明确(frontmatter 描述含 'Use when' 子句),非适用边界清晰(Safari/Firefox 不支持、Wayland 限制、Xvnc 限制、Session 0 问题),并给出快速分诊。扣分点:完全依赖本机 cua-driver 二进制与各平台 GUI 环境,无中文支持说明;核心功能依赖海外文档站 cua.ai 与 GitHub 仓库,中国大陆可达性存在风险。

4规范维护11 / 15 · 3.7/5

分层信息架构良好:SKILL.md 为主入口,按需加载参考文件,含版本号 0.34.0、发布版本注释、安装前置说明、已知限制披露。扣分点:该 SKILL.md 未直接展示许可证与变更日志链接;BROWSER.md 在表格处被截断,完整性存疑;发布方未经注册表验证,维护责任与更新路径依赖仓库整体信号。

5有效结果6 / 15 · 2.0/5

工具循环设计合理(先窄读、元素令牌操作、检查点验证、since 增量读),能直接产出可用结果且优于手工操作。扣分点:静态上限7分,无执行证据,代表性输出的正确性与完整度未经核验,且部署前置条件(二进制安装、平台权限)增加实际使用成本。

6证据核验4 / 10 · 2.0/5

文档引用了具体 PR(#3572)、commit 哈希(f180e882…、1133a06e…)、版本化 smoke 证据与嵌入式时延测量,事实与推断区分较好(如明确标注 'This is not certification')。扣分点:静态上限5分,这些证据均不可独立复现验证,仓库内提交的测试套件覆盖情况未在所给文件中体现。

1 2 3 4 5 6

点击维度查看打分理由

评估于 2026年10月10日 审查版本 e32127764436 评估证据[1][2][3][4][5]

证据充分度:低 — 主要依赖静态检查、作者材料或有限演示;适合发现线索,不适合做高风险决策。

查看完整评分方法 →

常见问题

需要什么权限?智能体会不会乱动我的电脑?
技能规则明确:前台交付和桌面输入需要对可见控制的授权,后台窗口操作必须不干扰;用户/系统权限弹窗属于用户或可信宿主,技能禁止修改浏览器配置或安全设置作为隐藏准备步骤。同一桌面只应有一个控制器,避免焦点和输入冲突。
操作失败怎么办?
技能内置故障映射:二进制缺失或守护进程不匹配查 RUNTIME.md 预检;令牌过期或窗口歧义则刷新 list_windows/get_window_state;大而稀疏的树用增量读取;Wayland 截图问题查 LINUX.md 捕获恢复;浏览器绑定被拒查 BROWSER.md 恢复规则。文本未变化时应先重新观察再重试。
它是免费的吗?许可上有什么要注意的?
本仓库中 Cua Driver 及本技能属于 MIT 许可部分,可自由使用。但注意可选的 cua-perception 扩展不是 MIT——它组合了 AGPL-3.0 的 OmniParser 模型工件和 Apache-2.0 的 PP-OCR 工件,重新分发或网络托管可能触发 AGPL 义务。
这个技能和 Cua Spaces / Lume 有什么区别?
本技能只驱动主机上已安装的真实 GUI 应用。Cua Spaces 提供智能体可用的完整虚拟桌面(macOS/Linux VM,FSL-1.1-MIT 许可),Lume 用 Virtualization.Framework 管理本地 VM,Cua Bench 用于任务构建与评测。那些是仓库中的独立组件,不在本技能范围内。

同仓库的其他 Skills

均来自 trycua/cua

自动化与运维

Cua Driver GUI 自动化技能

让 AI 代理像人一样操作 macOS、Windows、Linux 上的原生应用窗口:观察状态、精准操作、事后验证。

★ 29k FS 61 推荐 1 天前
自动化与运维

Cua GUI 自动化技能

让 AI 代理像真人一样看屏幕、点按钮、填表单:在任何应用的图形界面上完成可视化操作与端到端 QA 测试。

★ 29k FS 51 谨慎使用 1 天前
自动化与运维

Cua Spaces(cua-spaces 技能)

通过 cua MCP 服务器,让代理在用户可实时观看的远程或本地计算机(Space)里执行命令、传文件、启动编码代理并共享网络。

★ 29k FS 46 谨慎使用 1 天前
开发与工程

jev-use — Cua Driver 之上的受限计算机操作循环

在 Cua Driver 之上搭建一个边界清晰的操作循环:驱动层只负责观察与执行,TypeSafe Jev 只能从应用方提供的候选 ID 中做选择,每一次动作都经过调用方验证。

★ 29k FS 58 推荐 1 天前
自动化与运维

Cua Volume 技能

让 AI 代理通过一个按版本记录的用户级共享卷,在多个 Space、你的 Mac 和其他代理之间持久化、共享和同步文件。

★ 29k FS 52 谨慎使用 1 天前
开发与工程

Cua 沙盒

一键创建可随意丢弃的 Linux 或 macOS 隔离计算机,让 AI 代理在不碰你本机的安全环境里跑代码、测应用、操作桌面和浏览网页。

★ 29k FS 52 谨慎使用 1 天前
开发与工程

Poll GitHub Work — GitHub 维护工作轮询与排期

轮询并排序仓库中待处理的 issue、RFC 和 PR,帮助维护者决定下一步做什么,或在明确选定后启动一项具体工作。

★ 29k FS 52 谨慎使用 1 天前

相关 Skills