开发与工程 ✓ Microsoft · 官方 end-to-end-testingagent-hostprotocol-testingreplay-testingfixture-recordinggithub-cli

Agent 主机端到端测试助手

用严格的回放夹具维护 VS Code Agent 主机端到端测试。

FollowSkills 评估 · FSRS-2.0
不推荐
56/ 100 五分制 2.8 / 5
信任安全19 / 25 · 3.8/5

技能明确将回放设为默认且无网络、无令牌,要求录制时使用真实令牌、只发送临时目录中的简单只读提示,并要求检查脱敏结果;这些内容支持较强的数据流透明度和最小化外部影响。扣6分:未规定明确的用户确认机制、令牌生命周期或录制失败后的回滚流程,且真实 CAPI 交互仍可能产生外部影响。

可靠稳定9 / 20 · 2.3/5

工作流覆盖新增测试、录制夹具、确定性失败、平台门控和缓存未命中的排查,并要求使用通知断言而非墙钟时间。扣1分:静态审查未执行关键路径,且依赖的 README、脚本和实际夹具未在选定技能文件中提供;因此无法确认命令、错误处理和所有环境下的可运行性。

适用触发10 / 15 · 3.3/5

描述清楚面向 VS Code agent host AHP 黑盒端到端测试,并区分新增、重录和不可确定行为等场景,也说明了 POSIX、Windows 和 provider-specific 边界。扣5分:未明确不适用场景、输入输出契约或语义触发排除条件;未说明中文使用支持,也未证明在中国大陆网络环境下访问 GitHub/CAPI 的可达性。

规范维护8 / 15 · 2.7/5

技能采用前置架构文档加分工作流的渐进式结构,包含命令示例、命名规则、限制、故障排查入口和 MIT 仓库许可证背景。扣7分:技能自身没有版本、变更记录、维护责任、更新路径、安装/依赖说明或 FAQ;核心假设依赖未提供的 README 和仓库内部实现。

有效结果6 / 15 · 2.0/5

对于熟悉该仓库的贡献者,步骤可直接指导测试添加、夹具录制和确定性门控,且提示审查泄漏与运行回放。扣1分:静态材料没有展示代表性成功输出或实际执行结果,无法验证从用户请求到可用测试变更的完整性;仍需人工理解未提供的实现细节。

证据核验4 / 10 · 2.0/5

技能给出了可审计的文件路径、命令、夹具命名规则和故障症状映射;仓库还提供 MIT、锁定依赖和部分测试/CI 证据。扣1分:提供的 CI 工作流并未明确覆盖该技能的 agent-host E2E 关键路径,且本次没有执行或独立复现,因此交叉验证覆盖有限。

证据充分度: 评估于 2026年7月20日 审查版本 5b3e1be7be9e
使用前请注意
  • 录制流程需要真实 GITHUB_TOKEN 或 gh 认证并访问 CAPI;执行前应获得明确授权,避免将敏感提示、凭据或本地路径带入请求和夹具。
  • 关键架构 README、实现脚本和 agent-host 专用 CI/夹具未作为本次证据提供,建议在采用前核对其内容及实际测试覆盖。
  • 技能未说明中国大陆网络不可达时的替代方案,也未给出版本、维护责任和更新通知机制。
查看完整评分方法 →

它能做什么 & 适用场景

这个技能面向 VS Code 中通过 AHP 协议驱动完整 Agent 主机的黑盒端到端测试。它指导开发者添加跨提供商测试、为 Claude、Copilot 和 Codex 重新录制 YAML 夹具,以及排查回放缓存未命中。默认模式使用已提交的夹具,不需要令牌或网络,并对未记录的请求严格失败。录制模式需要真实令牌并访问 CAPI,因此适合熟悉该测试目录和仓库脚本的 VS Code 开发者,而不是通用测试框架用户。

指导开发者先阅读 src/vs/platform/agentHost/test/node/protocol/README.md,再在 agentHostE2ETestHelpers.ts 的 defineAgentHostE2ETests 中添加测试。测试使用 dispatchTurn(...) 和 client.waitForNotification(...) 驱动真实 Agent 主机、捆绑的提供商 SDK/CLI 和真实 AHP 协议,并通过 CapiReplayProxy 回放提交的 YAML 模型流量。它提供使用 ./scripts/test-integration.sh --run 的提供商级录制和回放步骤,指导检查夹具差异、扩展 capiReplayProxy.ts 的规范化与脱敏规则、在 capiStubs.ts 中处理辅助端点,并为不可确定回放或平台特定行为添加精确门控。

  1. VS Code 开发者新增一个需要同时覆盖多个模型提供商的 Agent 主机端到端测试时,使用它设计断言并生成各提供商夹具。
  2. 在捆绑的 SDK 或 CLI 升级后,测试出现新的端点、轮次或工具模式变化时,使用它重新录制并验证夹具。
  3. 测试因未记录请求、缺少夹具、子代理夹具过期或意外访问真实 CAPI 而失败时,使用它按症状排查。
  4. 某个测试包含实时流、运行中止或 POSIX 专属本地执行行为时,使用它决定记录专用或平台专用门控。
  5. 维护测试夹具的开发者需要确认没有本地用户名、绝对路径、令牌或未发布模型标识泄露时,使用它检查并改进脱敏流程。

优缺点一览

优点
  • 明确规定默认严格回放,使用已提交夹具时不需要令牌或网络。
  • 覆盖新增测试、重新录制夹具、跨提供商断言和故障排查等具体维护流程。
  • 强调通过录制器生成夹具,并检查规范化、脱敏和意外数据泄露。
  • 对不可确定回放和 Windows/POSIX 差异提供针对性的门控策略。
局限
  • 范围仅限 VS Code 指定 Agent 主机 AHP 测试目录,不是通用端到端测试技能。
  • 录制夹具需要真实令牌,并会访问真实 CAPI;相关操作必须有意执行。
  • 依赖 VS Code 仓库中的脚本、测试辅助文件、代理实现和 README,脱离该仓库无法直接使用。
  • 源资料没有说明单独安装方式,也没有证明其他测试框架或非 VS Code 项目的兼容性。

如何安装

源资料没有说明如何单独安装此技能,也没有提供独立安装包。它位于 microsoft/vscode 仓库的 .github/skills/agent-host-e2e-tests/SKILL.md;使用该技能需要访问相应的 VS Code 源码仓库和测试目录。仓库整体采用 MIT 许可证。

如何使用

在可访问该仓库的 Agent Skills 客户端中,以“为 agent host AHP 测试新增一个跨提供商测试”或“SDK 升级后重新录制 agent host E2E 夹具并排查 cache miss”作为触发请求。默认回放可运行:./scripts/test-integration.sh --run <path>。录制 Claude 夹具可运行:AGENT_HOST_REPLAY_RECORD=1 ./scripts/test-integration.sh --run src/vs/platform/agentHost/test/node/protocol/claudeAgentHostE2E.integrationTest.ts;Copilot 和 Codex 需替换为相应测试文件。录制前需通过 gh auth token 或 GITHUB_TOKEN 提供令牌;完成后先检查 git diff,再取消环境变量运行回放。

对比同类

它不是独立的测试运行器或模型测试平台,而是 VS Code Agent 主机端到端测试的工作流指南;其测试依赖仓库现有的 CapiReplayProxy 记录/回放系统和 AHP 测试实现。

常见问题

默认运行测试需要令牌或网络吗?
不需要。没有设置录制环境变量时,测试使用已提交的夹具,不使用令牌或网络;未记录请求会作为缓存未命中直接失败。
什么时候需要真实令牌?
添加测试或捆绑 SDK/CLI 的线行为变化后重新录制夹具时需要。源资料要求使用 GITHUB_TOKEN 或 gh auth token,并访问真实 CAPI。
可以直接编辑 YAML 夹具修复失败吗?
不可以。夹具应始终由录制生成;如果出现用户名、路径或其他敏感信息,应扩展 capiReplayProxy.ts 的规范化和脱敏逻辑后重新录制。
哪些测试应该被门控?
无法可靠回放的实时流和中途终止测试可设为仅录制;POSIX 专属本地执行行为应在 Windows 上门控;提供商或操作系统差异也应使用精确配置门控。

同仓库的其他 Skills

均来自 microsoft/vscode

开发与工程 ✓ Microsoft · 官方

工具重命名兼容性检查

防止内置工具重命名破坏现有提示词与工具配置。

开发与工程 ✓ Microsoft · 官方

Copilot Chat OpenTelemetry 埋点指南

为 Copilot Chat 统一设计和维护 OpenTelemetry 埋点。

开发与工程 ✓ Microsoft · 官方

VS Code 配置策略维护助手

规范 VS Code 企业配置策略的注册、导出与验证。

设计与前端 ✓ Microsoft · 官方

VS Code 设计哲学

用价值、原则和设计动作,把“看起来不对”转化为可执行的界面改进。

开发与工程 ✓ Microsoft · 官方

VS Code 集成浏览器架构指南

帮助开发者安全理解和修改 VS Code 集成浏览器的跨进程架构。

开发与工程 ✓ Microsoft · 官方

VS Code Agents 窗口会话架构

帮助代理安全实现和修复 VS Code Agents 窗口功能。

开发与工程 ✓ Microsoft · 官方

智能提交助手

根据仓库惯例生成提交信息并安全提交代码变更。

开发与工程 ✓ Microsoft · 官方

Agent Host 日志分析

定位 Agent Host 导出日志中的会话、传输与主机问题。

开发与工程 ✓ Microsoft · 官方

VS Code 单元测试助手

在 VS Code 源码仓库中按文件、测试名称或匹配模式运行单元测试。

开发与工程 ✓ Microsoft · 官方

VS Code Agent 定制助手

帮助创建、修复和排查 VS Code Agent 定制文件及其加载问题。

开发与工程 ✓ Microsoft · 官方

Code OSS 启动与调试

为 VS Code 源码构建提供隔离启动、Playwright 自动化和多进程调试端口。

开发与工程 ✓ Microsoft · 官方

VS Code 无障碍开发助手

为 VS Code 交互式功能提供可执行的无障碍实现规范。

设计与前端 ✓ Microsoft · 官方

VS Code CSS 布局规范

用 VS Code 规范构建稳健的 CSS 布局与文本截断体验

开发与工程 ✓ Microsoft · 官方

VS Code Chat 性能实验室

基准测试聊天渲染性能,并检测会话中的内存泄漏。

开发与工程 ✓ Microsoft · 官方

组件夹具与截图测试

帮助你为 VS Code 组件创建稳定、可主题化的截图测试夹具。

开发与工程 ✓ Microsoft · 官方

VS Code 冒烟测试助手

运行、筛选并调试 VS Code 端到端冒烟测试。

开发与工程 ✓ Microsoft · 官方

VS Code 崩溃转储符号化

将原生 VS Code 崩溃转储转换为带方法名的可读回溯。

开发与工程 ✓ Microsoft · 官方

VS Code 本地 Web 工作台

在本地 vscode.dev 中验证 VS Code 工作台和 Agents 窗口改动。

开发与工程 ✓ Microsoft · 官方

反馈执行器

读取当前会话反馈并落实对应代码修改。

开发与工程 ✓ Microsoft · 官方

VS Code 聊天定制编辑器开发技能

帮助开发者安全修改并测试 VS Code 的聊天定制管理界面。

相关 Skills