TAO 推理微服务部署技能
在多种计算平台上启动、调用并停止 TAO 推理微服务。
文档明确禁止在提示中索取或硬编码秘密，并限制模型路径、云 URI 和部分环境变量；但允许 Bash、Write 及 Docker、SSH、kubectl、服务停止等外部副作用，启动前没有明确的用户确认、权限边界或完整回滚方案，且 skill_info.yaml 与主文档对云存储和凭据要求相互矛盾，因此扣分。
主流程、平台分支、注册表、就绪轮询和部分错误类型有较详细说明；但静态材料未证明关键路径可运行，平台技能、依赖版本和运行时 API 未随目标技能提供，模板还包含占位符和未验证的环境变量处理，因此按静态上限保守给分。
适用场景、输入、平台、架构、路由规则和若干非适用范围较清楚；但中文支持未说明，跨平台依赖较重，网络可达性和 NVIDIA/HuggingFace/Brev/Kubernetes 环境限制缺乏边界说明，且云存储冲突会误导触发后的输入收集。
SKILL.md 结构清晰，引用了参考数据、平台技能和版本信息，并记录了维护性线索；但缺少 Examples 推荐章节，BENCHMARK.md 报告了目录层级和作者格式问题，版本变更、维护责任和更新路径不完整，skill_info.yaml 过时且与主文档矛盾，许可证元数据为 NOASSERTION。
如果依赖环境和相关平台技能均正确，流程覆盖启动、请求、路由、就绪检查和停止，具有直接操作价值；但没有静态可验证的真实输出，执行结果依赖外部容器、镜像、平台和未提供的配置，且冲突文档可能导致错误准备，因此仅给予核心任务的有限分数。
存在版本化参考文件、代码模板、评估报告和单个正向评估任务，提供了一定可审计线索；但没有覆盖关键路径的提交测试或真实 CI 证据，BENCHMARK 主要是自述性报告，无法独立复现运行结论，因此不超过静态上限。
- 执行会启动或停止容器，并可能调用 SSH、kubectl、端口转发和远程平台操作；应在实际执行前明确确认目标、平台、端口、命名空间和停止对象。
- skill_info.yaml 要求云 URI、云凭据和云输出，但 SKILL.md及 service.yaml 明确拒绝云存储；应先统一文档，否则可能产生错误或无效命令。
- cosmos-predict2.5 模板中的 HF_TOKEN 使用占位字符串而非明确的 os.environ 读取实现；应修正秘密注入方式并验证镜像、CLI 和模型键。
- 该评估仅基于静态文件，未执行容器、平台命令、请求或停止流程；不要将 BENCHMARK.md 的 PASS 视为独立运行验证。
这个 Skill 能做什么，适合哪些场景？
该技能面向使用 TAO 模型检查点部署推理端点的用户。它根据网络架构解析容器镜像，构建作业负载和容器内命令，并通过平台技能在 local-docker、Brev、Slurm 或 Kubernetes 上运行服务。技能还维护服务注册表、检查就绪状态，并将请求路由到指定服务。模型权重支持 HuggingFace Hub 或本地容器路径，不支持云存储 URI。
收集 network_arch、model_path、platform 和 num_gpus；读取架构配置、service.yaml、request.yaml、code-templates.yaml 及对应平台技能；解析默认或环境变量覆盖的容器镜像；生成作业 JSON、环境变量和架构专用启动命令；启动并停止容器或平台作业；写入 /tmp/tao-inf-ms-state.json 服务注册表；为并发本地 Docker/Brev 服务分配不同端口；轮询服务就绪状态；读取目标服务端点并发送 OpenAI 兼容的 /v1/chat/completions 请求；处理 200、202、400、500 和 503 响应。
- TAO 模型用户希望通过 HuggingFace Hub 检查点启动一个推理微服务。
- 开发者需要在本地 Docker 上运行 cosmos-rl 或 cosmos-predict2.5 推理端点。
- 平台工程师需要在 Brev、Slurm 或 Kubernetes 上部署 TAO 推理容器。
- 用户同时运行多个推理服务，需要按 job_id 或 network_arch 精确路由请求。
- 运维人员需要停止指定的 TAO 推理服务并清理服务注册表。
这个 Skill 有哪些优点和局限？
- 覆盖 local-docker、Brev、Slurm 和 Kubernetes 四类平台。
- 支持服务注册、就绪检查、多服务路由和并发端口分配。
- 明确规定秘密通过 HF_TOKEN 等环境变量读取，不应写入提示词或代码。
- 针对 cosmos-rl 与 cosmos-predict2.5 提供不同的启动命令和请求约束。
- 实际执行依赖对应的平台技能，但提供材料未展示这些技能的完整内容。
- 只支持 HuggingFace Hub 和本地容器路径，不支持云存储 URI。
- 必须在每次请求前处理采样参数提示，多服务场景不能自动选择 latest。
- 提供材料没有展示测试套件、性能数据或各平台的实际验证结果。
如何安装这个 Skill？
使用 NVIDIA/skills 仓库提供的 skills CLI 安装指定技能：npx skills add nvidia/skills --skill tao-run-inference-service --yes。README 没有说明该命令是否会自动安装此技能依赖的各平台技能；平台技能需按仓库说明另行确认。
如何使用这个 Skill？
向已加载该技能的代理提出类似请求：“在 local-docker 上使用 network_arch=cosmos-rl、model_path=hf_model://org/model、num_gpus=1 启动 TAO 推理服务。”使用时必须提供 network_arch、model_path 和 platform；num_gpus 默认 1。model_path 可为 hf_model://<org>/<model> 或本地容器路径，不能使用 s3://、gs:// 或 az://。发送请求或停止服务时提供 job_id；若请求未指定采样参数，代理应逐项询问 max_tokens、top_p、temperature 及适用的架构参数。