自动化与运维

cmux Computer Use 技能

让 cmux 中的 AI 编码代理通过本地计算机使用引擎操作真实 macOS 应用,前提是用户明确提出请求。

50/ 100
谨慎使用

价值存在,但可靠性、证据或控制措施仍有明显缺口。

查看评分依据 ↓
可直接使用于
Codex(部分支持) · Claude Code(部分支持)
Star 数
★ 28k
最近更新
今天
License
NOASSERTION
computer-usemacosmcpaccessibility-tree
+3gui-automationcmuxscreen-capture

这个 Skill 能做什么,适合哪些场景?

cmux-cua 是 cmux 应用内置的一项技能,为每个代理会话(Claude Code、Codex)挂载一个名为 cmux-cua 的 MCP 工具服务器。代理因此可以读取辅助功能树、截图并点击、输入、滚动、拖拽真实 macOS 应用。所有操作都在本地通过独立的 cmux Computer Use 辅助程序完成,权限(辅助功能与屏幕录制)授予该辅助程序而非主应用。该技能明确禁止未经用户直接请求的自动调用。

  • 通过 MCP 代理挂载 cmux-cua 工具集到 cmux 启动的 Claude Code / Codex 会话
  • get_app_state / get_window_state 返回截图与紧凑辅助功能树,支持按元素或坐标操作
  • 提供 click、type_text、press_key、scroll、drag、set_value、select_text 等操作工具
  • 带品牌渐变光标(cmux 标志色)在屏幕上可视化代理的指针动作
  • 引导一次性 macOS 辅助功能与屏幕录制授权(TCC),主 cmux 进程不持有权限
  • 菜单栏项提供「聚焦被驱动应用 / 聚焦调用终端」两种呈现模式
适合
  • 在 cmux 中并行运行多个 Claude Code 会话、需要代理替你点按 Calculator、系统设置等真实 GUI 应用的开发者
  • Codex 用户想让代理用可见指针操作屏幕控件而非只发键盘指令
  • 需要代理验证 GUI 变更(截图 + 辅助功能树双重核验)的自动化工作流
  • 希望代理操作被遮挡窗口时获得 background_occluded 安全拦截而非点错目标的用户
不适合
  • 非 macOS 平台用户——技能完全依赖 macOS 辅助功能、屏幕录制与 TCC 机制
  • 不使用 cmux 应用的用户——工具仅在 cmux 启动且实时 socket 在线的会话中挂载,独立 Claude Code / Codex 安装无法获得这些工具
  • 不想授予屏幕录制 / 辅助功能权限,或受限环境(无 GUI 桌面、CI)下的无头运行

如何安装这个 Skill?

使用前请注意
  • 该技能授予 macOS 辅助功能与屏幕录制权限,可观察并操作真实应用界面;仅在用户明确请求时使用,并留意系统设置中的权限授予对象。
  • 技能会通过符号链接安装到 ~/.agents/skills 或 ~/.claude/skills;link-policy.sh 声称只移除'托管'链接,但该归属判断未经独立审计。
  • 许可元数据为 NOASSERTION:主仓库为 GPL-3.0-or-later + BUSL-1.1 混合许可,引擎位于独立 fork,商用合规前需自行核实。
  • 仅支持 macOS 且必须通过 cmux 启动的会话使用;文档无中文说明;本评分为静态源码评审,未执行任何验证。
开始前你需要
Agent 需要具备
  • Shell / 命令行
  • 本地文件系统
  • MCP Server
需要预先安装
  • cmux macOS app (tagged build)
  • cmux Computer Use helper
  • macOS Accessibility permission
  • macOS Screen Recording permission

该技能随 cmux 应用捆绑分发,无需单独安装:

brew tap manaflow-ai/cmux
brew install --cask cmux

可选的持久化全局技能安装由应用管理(启动时设置 CMUX_COMPUTER_USE_INSTALL_GLOBAL_SKILL=1,会创建 ~/.claude/skills/cmux-cua 或 ~/.agents/skills/cmux-cua 链接),源文档未提供其他手动安装命令。

如何使用这个 Skill?

试试这样说

安装后,把下面任意一句发给 Agent 即可触发:

  • $cmux-cua 打开计算器并帮我算一下 128 × 46
  • 用 cmux Computer Use 在系统设置里帮我检查屏幕录制权限状态
  • $cmux-cua 在备忘录里新建一条笔记,标题写「会议纪要
  • 通过 cmux Computer Use 截图当前 Safari 窗口并告诉我页面上的表单字段

在 cmux 启动的代理会话中,用户明确提出 cmux Computer Use 请求(如 $cmux-cua)即触发:若开关关闭,cmux 自动启用运行时并打开引导流程。首次功能性工具调用会自动打开权限设置(辅助功能 + 屏幕录制),用户在系统设置中逐项允许;macOS Tahoe 上还需允许一次系统直捕确认弹窗。之后代理按 Codex 十工具清单或 Claude/native 清单感知-操作-验证。硬性关闭开关:CMUX_COMPUTER_USE_MCP_DISABLED=1。切勿在只有阅读/询问时调用本技能。

这个 Skill 有哪些优点和局限?

优点
  • 全程本地运行,上游遥测与更新检查在运行时禁用
  • 权限授予独立的辅助程序(独立 TCC 身份),无需重启主 cmux 应用
  • 品牌光标让代理操作在屏幕上可见、可审计
  • 像素输入带遮挡检查(background_occluded),防止点错被覆盖的窗口
  • 强制的用户明示同意门控,防止代理自行启动 GUI 操作
局限
  • 仅限 macOS,且仅在 cmux 应用内启动的会话可用
  • 需要两项敏感系统权限(辅助功能 + 屏幕录制)
  • Catalyst 应用(如 Calculator)可能短暂返回空 AX 树和虚假错误码 -25204,需重新快照
  • macOS 后台坐标拖拽不可用,须用 foreground delivery_mode
  • 点击动作永不由辅助程序验证,必须依赖重新快照确认
  • 仓库许可证标记为 NOASSERTION(README 说明主体为 GPL-3.0-or-later,服务端组件为 BUSL 1.1)

这个 Skill 与同类方案有什么区别?

与相关 Skills 并排比较;分数均按同一 FSRS 标准得出。

Skill FS 评分 Star 数 最近更新 License
cmux Computer Use 技能 本页 50 · 谨慎使用 ★ 28k 今天 NOASSERTION
Cua Driver 技能 58 · 推荐 ★ 29k 1 天前 MIT
Cua Driver GUI 自动化技能 61 · 推荐 ★ 29k 1 天前 MIT
Cua GUI 自动化技能 51 · 谨慎使用 ★ 29k 1 天前 MIT
Agent Browser 浏览器自动化技能 49 · 谨慎使用 ★ 20k 7 天前 MIT

源文档将其与 Codex 内置的 computer_use 连接器对照:cmux 会话内禁用 Codex 原生 provider,强制使用带命名空间的 cmux-cua 工具(十个工具、schema 对等,但不含 get_window_state、token、recordings 等原生扩展);另与独立的 codex CLI 自带 computer-use 辅助程序区分——macOS 弹窗中出现的「Codex Computer Use (com.openai.sky.CUAService)」并非来自 cmux。

FollowSkills 如何评估这个 Skill?

FollowSkills 评估 · FSRS-2.0
谨慎使用
50/ 100 五分制 2.5 / 5
1信任安全15 / 25 · 3.0/5

加分:文档反复强调显式用户同意(加载技能不等于同意)、独立 TCC 身份、硬性禁用开关(CMUX_COMPUTER_USE_MCP_DISABLED=1)、关闭失败设计(无环境变量覆盖、缺权限即失败)、禁止隐式调用(allow_implicit_invocation: false)。扣分:技能涉及辅助功能与屏幕录制等高权限 macOS 能力、符号链接写入用户技能目录、依赖未经第三方验证的发布方提供的固定构建引擎;隔离与回滚逻辑仅由脚本自我声明,未经独立验证。

2可靠稳定9 / 20 · 2.3/5

加分:文档详细覆盖异常路径(Catalyst AX 错误码 -25204、background_occluded 阻挡、后台拖拽不可用、TCC 提示归属混淆等),并给出可诊断的错误信息与故障排查清单;link-policy.sh 逻辑自洽、防御性写法。扣分:静态评审无法执行任何关键路径,仓库未见覆盖该技能路径的测试证据,Claude/Codex 双配置文件的分叉行为(compat 标志差异)增加了不一致风险。

3适用触发8 / 15 · 2.7/5

加分:触发条件极其明确(仅用户显式请求 $cmux-cua,disable-model-invocation: true),非适用范围声明充分(不接受静默切换提供方)。扣分:仅限 macOS + cmux 自有会话环境,受众狭窄;文档全英文,无中文支持说明;依赖本地 GUI 环境,无法验证在其他环境的可用性。

4规范维护8 / 15 · 2.7/5

加分:文档分层清晰(附加方式、权限、工具使用、故障排查、开发),agents/openai.yaml 提供接口元数据,link-policy.sh 注释详尽。扣分:仓库许可元数据为 NOASSERTION(实际为 GPL-3.0-or-later + BUSL 混合,且引擎在独立 fork,许可关系复杂);技能本身无版本号或变更日志;发布方未经注册表验证,维护责任与更新路径仅在仓库层面间接可见。

5有效结果6 / 15 · 2.0/5

加分:核心任务(通过辅助功能树+截图驱动 macOS 应用)有具体工具清单、操作顺序和验证流程,边际价值明确(替代手工 GUI 操作)。扣分:输出可直接可用性未经执行验证;部分行为文档自行声明'未经独立验证'(如拖拽契约变更),实际效果依赖用户完成多步系统权限配置。

6证据核验4 / 10 · 2.0/5

加分:关键声明可追溯到仓库内具体源码路径(Packages/macOS/CmuxComputerUse/、wrapper 脚本、构建脚本 CMUX_CUA_PINNED_SHA)。扣分:静态评审上限为 5;无该技能关键路径的已提交测试套件或 CI 执行证据;许可溯源(NOASSERTION)与发布方身份均不可独立核实。

1 2 3 4 5 6

点击维度查看打分理由

评估于 2026年10月10日 审查版本 d6ff14af8af1 评估证据[1][2][3][4][5][6][7][8]

证据充分度:低 — 主要依赖静态检查、作者材料或有限演示;适合发现线索,不适合做高风险决策。

查看完整评分方法 →

常见问题

需要哪些权限,授给谁?
需要 macOS 辅助功能与屏幕录制两项权限,均授予 cmux Computer Use 辅助程序而非主 cmux 应用。首次功能性工具调用会自动打开引导设置,用户仍须逐项在系统设置中允许。
为什么我的会话里没有这些工具?
工具只在 cmux 启动且实时 socket 在线的会话中挂载。会话在 cmux 之外启动、硬性开关 CMUX_COMPUTER_USE_MCP_DISABLED=1 生效、或包装器先于带标签应用启动时都不会挂载;此时应报告工具不可用并停止,不得切换到其他 CUA 连接器。
代理能自动启用它吗?
不能。SKILL.md 明确:加载技能、发现 MCP、check_permissions 或恢复会话都不构成同意,只有用户直接的功能性请求(如 $cmux-cua)才是开启的许可。
截图全黑怎么办?
通常是屏幕录制权限未授予 cmux Computer Use。辅助程序会自动刷新/重启以获取授权,cmux 保持打开,授权完成后重试工具调用即可。

同仓库的其他 Skills

均来自 manaflow-ai/cmux

开发与工程

cmux 工作区操作技能

让 AI 代理安全地在调用它的 cmux 工作区内工作,避免误触用户正在查看的其他工作区或窗口。

★ 28k FS 64 推荐 今天
开发与工程

cmux-browser:cmux 内置浏览器自动化技能

在不抢夺焦点的前提下,通过 cmux CLI 打开网页、探查浏览器表面、等待页面状态并提取数据,专为并行开发场景设计。

★ 28k FS 60 推荐 今天
开发与工程

cmux 测试技能

为 cmux 仓库选择合适的本地/CI 验证方式,添加有行为依据的测试,并确保 Swift 测试文件在 Xcode 工程中正确接线。

★ 28k FS 60 推荐 今天
开发与工程

cmux 键盘快捷键定制

把你的按键习惯变成 cmux 的快捷键绑定:提供向导、模板与一键应用,避免误绑和冲突。

★ 28k FS 58 推荐 今天
开发与工程

cmux 设置管理技能(cmux-settings)

安全查看、修改和回滚 cmux 终端的 cmux. 配置,改完即存即生效,无需重启应用。

★ 28k FS 58 推荐 今天
开发与工程

cmux Socket 策略规范技能

为 cmux 的 socket/CLI 命令开发提供线程调度与焦点行为规范,避免高遥测负载卡死主线程、避免自动化命令抢占用户焦点。

★ 28k FS 58 推荐 今天
开发与工程

cmux 自定义技能

针对 cmux 终端的配置技能:安全地编辑 cmux.、Dock 配置与 Ghostty 偏好,定制动作、布局、快捷键和通知,而不破坏现有配置。

★ 28k FS 55 谨慎使用 今天
开发与工程

cmux 开发工作流技能

为 cmux 贡献者提供原生构建、带标签开发包、Xcode 工程规范化与侧边栏扩展的标准化工作流,避免破坏正在运行的 cmux 会话。

★ 28k FS 53 谨慎使用 今天
效率与协作

cmux Markdown 查看器

把 .md 文件在 cmux 终端旁的格式化面板中打开,文件一变就自动重渲染,让计划、文档和笔记始终可见。

★ 28k FS 52 谨慎使用 今天
开发与工程

cmux 诊断

为 cmux 用户收集安全、只读的诊断信息,快速定位钩子、通知、会话恢复和 CLI 控制不工作的问题。

★ 28k FS 51 谨慎使用 今天
开发与工程

cmux 自定义侧边栏

从一句自然语言需求生成可热重载的 cmux 自定义侧边栏,无需 Xcode、无需构建、无需签名。

★ 28k FS 50 谨慎使用 今天
开发与工程

cmux 共享行为规则

为 cmux 多入口行为制定统一的实现与验证规则,避免某个入口改了、其他入口仍是旧逻辑或旧 bug。

★ 28k FS 48 谨慎使用 今天
开发与工程

cmux-capture:cmux 窗口截图与录制

用一条 CLI 命令截图或录制 cmux 窗口,为 PR、bug 报告或视觉验证提供真实证据,且无需任何屏幕录制权限。

★ 28k FS 55 谨慎使用 今天
自动化与运维

cmux Cloud 虚拟机技能

让 AI 代理通过 cmux CLI 操作云端虚拟机:在持久化的远程终端上运行长时命令和编码代理,并在完成后向用户展示结果工作区。

★ 28k FS 56 谨慎使用 今天
开发与工程

cmux 核心控制技能

通过 cmux CLI 确定性地控制多窗格终端布局——创建工作区、分割面板、移动与聚焦表面、触发提醒,专为 AI 编码代理的自动化而设计。

★ 28k FS 47 谨慎使用 今天
开发与工程

cmux 架构规范技能

在向 cmux 添加或大幅改写 Swift 文件、包、协调器、服务或公共 API 之前,先加载这套包架构、分层、依赖倒置与 Swift 6 并发规则,避免违反项目约定。

★ 28k FS 63 推荐 今天
开发与工程

cmux 调试技能

为 cmux(基于 Ghostty 的 macOS 终端)开发者提供调试日志、Debug 菜单、运行时陷阱和性能敏感路径的规范知识,避免在打字延迟敏感代码中引入卡顿。

★ 28k FS 56 谨慎使用 今天
开发与工程

cmux 本地化规范与审计技能

在修改 cmux 任何用户可见文案时,强制执行本地化规则并跑完一条可核验的翻译审计流程,杜绝硬编码英文串。

★ 28k FS 56 谨慎使用 今天
开发与工程

cmux Ghostty 子模块工作流技能

为 cmux 贡献者提供 Ghostty 子模块与 GhosttyKit.xcframework 的标准化构建、推送与指针更新流程,避免子模块指针悬空导致的拉取失败。

★ 28k FS 54 谨慎使用 今天
开发与工程

cmux 发布助手

为 cmux 仓库维护者整理发版全流程:版本号递增、变更日志汇总、预发布守卫、打标签与产物校验,减少手工遗漏。

★ 28k FS 53 谨慎使用 今天

相关 Skills