开发与工程 desktop-automationcomputer-usecuadeepchatelectronaccessibility-treegui-testing

桌面应用操作技能(Computer Use)

通过 DeepChat 的内置 Computer Use 工具,让 AI 智能助手直接驱动桌面应用,执行点击、输入、拖拽等 GUI 操作。

FollowSkills 评估 · FSRS-2.0
谨慎使用
61/ 100 五分制 3.1 / 5
1 2 3 4 5 6
1信任安全18 / 25 · 3.6/5

证据显示技能强制使用最少权限原则:明确拒绝剪贴板读取,限制权限范围,要求用户确认后才进行破坏性操作或安装依赖,并强调快照和状态验证而非依赖传输结果。数据流透明,但权限模型依赖宿主应用的批准策略,且未提供回滚或故障恢复的完整方案。扣分原因:外部效果的恢复机制不完整,且发布者身份未经验证,影响可追溯性。

2可靠稳定9 / 20 · 2.3/5

文档详细描述了会话生命周期、快照唯一性和作用域,但未包含实际执行测试。尽管存在CI工作流和测试文件,但技能本身缺乏自动化测试,且异常处理依赖宿主实现。扣分原因:关键路径未在本静态审查中复现,失败反馈质量未经验证。

3适用触发12 / 15 · 4.0/5

技能场景明确,覆盖多种平台,并提供了非适用边界如linux/arm64不支持。但触发条件仅基于用户请求,未提供更多语义边界。环境适配良好,但仍需依赖DeepChat插件提供工具,外部依赖可能影响在中国大陆的可用性。扣分原因:未明确说明非适用场景和触发精度,环境可达性未充分验证。

4规范维护12 / 15 · 4.0/5

文档结构清晰,包含工作流、平台说明、故障处理和链接参考,但缺少版本历史、更新日志和明确的维护责任。技能名称和描述与实际能力一致,但缺少FAQ和已知限制的完整披露。扣分原因:版本治理不完整,维护责任不明确。

5有效结果6 / 15 · 2.0/5

文档目标明确,输出为操作序列和验证结果,直接可用。但缺乏实际输出示例或第三方验证的边际价值证明,且成本与收益未量化。扣分原因:成功完成的证据有限,边际价值未充分展示。

6证据核验4 / 10 · 2.0/5

存在CI工作流和测试文件,但测试未覆盖技能的关键路径,且为静态审查无执行证据。技能声明由作者提供,缺乏独立验证。扣分原因:关键声明缺乏可复现的独立证据。

证据充分度: 评估于 2026年8月7日 审查版本 4e3771b44d4f
上游仓库在本次评估后已有新提交;当前评分仍对应所示审查版本,可能尚未覆盖最新改动。
使用前请注意
  • 技能依赖DeepChat宿主插件的权限策略,未提供独立回滚机制,破坏性操作后需依赖宿主恢复。
  • linux/arm64平台明确不支持,中国大陆网络环境下部分依赖服务可能不可达。
  • 未提供版本历史或更新日志,维护责任不明确。
查看完整评分方法 →

这个 Skill 能做什么,适合哪些场景?

该技能是为 DeepChat 桌面客户端设计的,用于驱动原生桌面应用。它利用 DeepChat 内置的 Computer Use 工具,提供了一套标准化的流程来操作应用窗口、元素和菜单。技能支持 macOS、Windows 和 Linux(预发布),并区分了支持和不支持的平台架构。它强调使用可访问性树和屏幕截图来精确操作,并提供了错误处理和验证机制。需要注意的是,该技能是 DeepChat 特定的,不适用于其他 AI 客户端。

该技能定义了一套操作桌面应用的完整流程:启动会话、列出应用、启动应用、获取窗口状态、执行点击、右击、双击、拖拽、滚动、输入文本、按键、快捷键、设置值、设置窗口框架、调用菜单等操作。它还包含验证机制,如 verify_state 来确保操作生效,以及处理错误和稀疏 UI 的回退策略。该技能还涉及录制和重放轨迹,以及管理代理光标。

  1. 开发者在桌面应用中进行自动化 GUI 测试,需要模拟用户操作并验证结果。
  2. 运维人员需要自动化日常桌面任务,如填写表单、导航菜单、处理文件。
  3. 支持人员远程协助用户操作桌面应用,进行故障排查。
  4. 数据录入员需要自动化重复性输入工作,提高效率。
  5. 研究人员需要模拟用户交互来收集应用行为数据。

这个 Skill 有哪些优点和局限?

优点
  • 提供了标准化的操作流程,易于遵循。
  • 支持多平台(macOS、Windows、Linux)。
  • 内置错误处理和验证机制,提高可靠性。
  • 强调安全隐私,限制剪贴板读取。
  • 与 DeepChat 深度集成,无需额外配置。
局限
  • 仅适用于 DeepChat,不能在其他 AI 客户端中使用。
  • Linux 支持为预发布状态,部分功能可能不可用。
  • 不支持 Linux/arm64 架构。
  • 对于稀疏 UI 可能依赖像素操作,难度较大。
  • 需要 DeepChat 具有辅助功能权限,否则无法工作。
  • 文档未提及测试套件,可靠性证据有限。

如何安装这个 Skill?

此技能是 DeepChat 内置的,无需单独安装。只需确保 DeepChat 已安装并启用 computer-use 技能。安装 DeepChat 可通过 GitHub Releases 或官方网站下载对应平台的安装包。

如何使用这个 Skill?

在 DeepChat 中启用该技能后,可以通过自然语言描述要执行的任务,例如:“打开计算器并计算 123+456”。技能会自动调用 Computer Use 工具来执行操作。具体步骤如下:1. 在 DeepChat 中确保已安装 computer-use 技能(通常已预置)。2. 开启新对话,并启用该技能。3. 描述你想在桌面应用上执行的任务。4. 观察 AI 的操作,并在必要时进行干预。注意:该技能只适用于 DeepChat 环境,不适用于其他 AI 客户端。

常见问题

此技能是否需要额外安装 cua-driver 或配置外部服务器?
不需要。该技能明确说明使用 DeepChat 内置的 Computer Use 工具,无需用户安装额外驱动或配置外部服务器。
在 Linux 上是否所有功能都能正常工作?
Linux 支持为预发布状态,部分合成器或会话可能不支持某些操作,如语义窗口框架或指针输入。建议在关键任务前进行测试。
是否可以在没有窗口的环境中使用?
该技能主要面向桌面应用,需要有一个图形环境。在无头服务器上可能无法使用,因为没有窗口可操作。
此技能是否支持读取剪贴板?
不支持。clipboard_read 被明确禁止,以保护隐私。请使用其他方法传递数据。

同仓库的其他 Skills

均来自 ThinkInAIXYZ/deepchat

相关 Skills