Dynamo 路由启动器
快速配置 Dynamo 路由模式并验证前端端点可用性。
技能范围主要限于启动前端、修改 Kubernetes 前端环境变量和发送健康检查请求,未见凭据窃取、隐蔽外传或破坏性默认操作;但修改配置和启动服务前缺少明确的用户确认、权限最小化、回滚步骤及敏感数据处理说明,因此扣分。官方 NVIDIA 来源和技能内 Apache-2.0 声明提供了一定归属依据,但给定许可证元数据为 NOASSERTION,仍存在治理不确定性。
步骤、模式映射、健康检查脚本和故障转交路径基本一致;脚本包含 HTTP/JSON/URL 校验、重试和结构化退出码。静态材料没有覆盖该技能关键路径的提交测试,且重试参数缺少边界校验,Kubernetes 配置和 Dynamo 版本兼容性也未验证,因此按静态上限保守扣分。
目标用户、模式、前置条件、输入、输出契约、负面场景和不适用的故障诊断边界较清楚;但触发条件仍依赖模型判断,中文支持、不同版本环境适配和中国大陆网络可达性未说明。核心功能依赖本地环境或 Kubernetes,并非完全依赖海外服务,因此未作额外网络扣分。
文档包含目的、前置条件、步骤、脚本参数、示例、输出契约、限制、排障、参考资料和版本提示,信息架构较完整;但版本来源文件未提供,缺少明确维护责任、变更日志、依赖版本锁定和回滚/升级路径,且基准报告指出技能目录存在未预期文件,因此扣分。
技能直接覆盖路由模式启动和端点冒烟检查,脚本输出模式相关检查结果,核心任务预期可直接使用;但仅检查一个聊天请求,比较能力不是基准测试,且静态材料没有可核验的实际成功输出或第三方运行结果,无法给满分。
SKILL、参考表、脚本、评测用例和静态评估报告构成可审计材料,且有正负触发用例;但报告明确缺少 Tier 3 运行结果和具体信号,未提供关键路径的真实执行证据或多源独立复核,因此只能给有限分数。
- 执行前应确认目标前端、Kubernetes 命名空间和配置变更范围,并准备人工回滚方案。
- 冒烟检查成功不等于吞吐或延迟改善;需要使用匹配负载的独立基准测试。
- 应确认 Dynamo、脚本参数和 KV 事件配置与实际版本兼容;当前材料未提供中文说明或大陆网络适配证据。
- 给定许可证元数据为 NOASSERTION,尽管文件声明 Apache-2.0,发布前应核对许可证归属。
这个 Skill 能做什么,适合哪些场景?
该技能用于启动或修改 Dynamo 前端路由模式,并执行路由端点冒烟检查。它支持轮询、KV 感知、最少负载、设备感知加权、直接和随机路由。技能可处理本地 Python 前端或 Kubernetes 部署,但要求已有可用 worker 和已加载模型。它只执行单次聊天请求验证,不提供完整吞吐量或延迟基准。
收集运行方式、目标路由模式、前端端口或 Kubernetes 服务、KV 事件状态和模型名称;启动本地 Dynamo 前端,或指导修改 Kubernetes 前端环境变量;在需要时启用近似 KV 模式;运行 scripts/check_router_health.py 检查 /v1/models,并在发现模型时发送一次 /v1/chat/completions 请求;根据空模型列表、请求超时、KV 模式挂起或端口转发失败等症状给出下一步排查方向。
- Dynamo 开发者需要在已有 worker 注册后启动一个轮询路由前端。
- 平台工程师希望在 Kubernetes 配方中启用 KV 路由并通过端口转发验证服务。
- 运维人员需要确认前端能发现模型并完成一次聊天请求。
- 路由实验人员需要在匹配模型、worker、提示词、并发和采样设置后进行轮询与 KV 的冒烟比较。
这个 Skill 有哪些优点和局限?
- 覆盖六种明确的 Dynamo 路由模式。
- 同时提供本地前端和 Kubernetes 场景。
- 包含可执行的 /v1/models 与聊天请求冒烟检查。
- 明确区分冒烟验证与正式性能基准。
- 冒烟测试仅包含一次聊天完成请求,不能证明吞吐量提升。
- 没有 worker KV 事件时只能使用近似 KV 模式,技能不会修复 worker 配置。
- 完整的跨模式延迟结论需要单独、匹配负载的基准测试。
- Kubernetes 使用要求已有已部署的 Dynamo 配方、命名空间访问权限和网络连通性。
如何安装这个 Skill?
使用默认 skills CLI 安装指定技能:
npx skills add nvidia/skills --skill dynamo-router-starter --yes
README 未说明该技能的独立源码仓库或手动复制目录步骤;该仓库中的技能会从产品仓库每日同步。
如何使用这个 Skill?
触发示例:请启动或修补 Dynamo 路由器,并检查前端端点。
本地启动轮询路由:
python3 -m dynamo.frontend --router-mode round-robin --http-port 8000
本地启动 KV 路由并检查:
python3 -m dynamo.frontend --router-mode kv --http-port 8000
python3 scripts/check_router_health.py --base-url http://127.0.0.1:8000
Kubernetes 示例:先将前端服务端口转发到本地,再运行同一个检查脚本。若 worker 不发布 KV 事件,可将 DYN_ROUTER_USE_KV_EVENTS 设为 false。
这个 Skill 与同类方案有什么区别?
技能明确建议将不健康端点或缺失 worker 的问题交给 dynamo-troubleshoot,并将吞吐量或延迟测量交给 dynamo-benchmark。