桌面应用操作技能(Computer Use)
通过 DeepChat 的内置 Computer Use 工具,让 AI 智能助手直接驱动桌面应用,执行点击、输入、拖拽等 GUI 操作。
证据显示技能强制使用最少权限原则:明确拒绝剪贴板读取,限制权限范围,要求用户确认后才进行破坏性操作或安装依赖,并强调快照和状态验证而非依赖传输结果。数据流透明,但权限模型依赖宿主应用的批准策略,且未提供回滚或故障恢复的完整方案。扣分原因:外部效果的恢复机制不完整,且发布者身份未经验证,影响可追溯性。
文档详细描述了会话生命周期、快照唯一性和作用域,但未包含实际执行测试。尽管存在CI工作流和测试文件,但技能本身缺乏自动化测试,且异常处理依赖宿主实现。扣分原因:关键路径未在本静态审查中复现,失败反馈质量未经验证。
技能场景明确,覆盖多种平台,并提供了非适用边界如linux/arm64不支持。但触发条件仅基于用户请求,未提供更多语义边界。环境适配良好,但仍需依赖DeepChat插件提供工具,外部依赖可能影响在中国大陆的可用性。扣分原因:未明确说明非适用场景和触发精度,环境可达性未充分验证。
文档结构清晰,包含工作流、平台说明、故障处理和链接参考,但缺少版本历史、更新日志和明确的维护责任。技能名称和描述与实际能力一致,但缺少FAQ和已知限制的完整披露。扣分原因:版本治理不完整,维护责任不明确。
文档目标明确,输出为操作序列和验证结果,直接可用。但缺乏实际输出示例或第三方验证的边际价值证明,且成本与收益未量化。扣分原因:成功完成的证据有限,边际价值未充分展示。
存在CI工作流和测试文件,但测试未覆盖技能的关键路径,且为静态审查无执行证据。技能声明由作者提供,缺乏独立验证。扣分原因:关键声明缺乏可复现的独立证据。
- 技能依赖DeepChat宿主插件的权限策略,未提供独立回滚机制,破坏性操作后需依赖宿主恢复。
- linux/arm64平台明确不支持,中国大陆网络环境下部分依赖服务可能不可达。
- 未提供版本历史或更新日志,维护责任不明确。
这个 Skill 能做什么,适合哪些场景?
该技能是为 DeepChat 桌面客户端设计的,用于驱动原生桌面应用。它利用 DeepChat 内置的 Computer Use 工具,提供了一套标准化的流程来操作应用窗口、元素和菜单。技能支持 macOS、Windows 和 Linux(预发布),并区分了支持和不支持的平台架构。它强调使用可访问性树和屏幕截图来精确操作,并提供了错误处理和验证机制。需要注意的是,该技能是 DeepChat 特定的,不适用于其他 AI 客户端。
该技能定义了一套操作桌面应用的完整流程:启动会话、列出应用、启动应用、获取窗口状态、执行点击、右击、双击、拖拽、滚动、输入文本、按键、快捷键、设置值、设置窗口框架、调用菜单等操作。它还包含验证机制,如 verify_state 来确保操作生效,以及处理错误和稀疏 UI 的回退策略。该技能还涉及录制和重放轨迹,以及管理代理光标。
- 开发者在桌面应用中进行自动化 GUI 测试,需要模拟用户操作并验证结果。
- 运维人员需要自动化日常桌面任务,如填写表单、导航菜单、处理文件。
- 支持人员远程协助用户操作桌面应用,进行故障排查。
- 数据录入员需要自动化重复性输入工作,提高效率。
- 研究人员需要模拟用户交互来收集应用行为数据。
这个 Skill 有哪些优点和局限?
- 提供了标准化的操作流程,易于遵循。
- 支持多平台(macOS、Windows、Linux)。
- 内置错误处理和验证机制,提高可靠性。
- 强调安全隐私,限制剪贴板读取。
- 与 DeepChat 深度集成,无需额外配置。
- 仅适用于 DeepChat,不能在其他 AI 客户端中使用。
- Linux 支持为预发布状态,部分功能可能不可用。
- 不支持 Linux/arm64 架构。
- 对于稀疏 UI 可能依赖像素操作,难度较大。
- 需要 DeepChat 具有辅助功能权限,否则无法工作。
- 文档未提及测试套件,可靠性证据有限。
如何安装这个 Skill?
此技能是 DeepChat 内置的,无需单独安装。只需确保 DeepChat 已安装并启用 computer-use 技能。安装 DeepChat 可通过 GitHub Releases 或官方网站下载对应平台的安装包。
如何使用这个 Skill?
在 DeepChat 中启用该技能后,可以通过自然语言描述要执行的任务,例如:“打开计算器并计算 123+456”。技能会自动调用 Computer Use 工具来执行操作。具体步骤如下:1. 在 DeepChat 中确保已安装 computer-use 技能(通常已预置)。2. 开启新对话,并启用该技能。3. 描述你想在桌面应用上执行的任务。4. 观察 AI 的操作,并在必要时进行干预。注意:该技能只适用于 DeepChat 环境,不适用于其他 AI 客户端。