Nemotron 检索配方助手
帮助规划、调试、微调、评估和部署 Nemotron 嵌入与重排检索流程。
技能明确限制 Bash 为仓库检查、帮助、dry-run 和经用户批准的执行,要求确认托管端点的数据治理、保护 NVIDIA_API_KEY/NGC_API_KEY、避免环境转储,并在删除产物前询问;数据流和外部 API、GPU、Docker、Slurm、NIM 影响均有披露。因缺少系统化权限隔离、通用回滚方案和更细粒度的命令级确认,扣 4 分。
文档提供阶段契约、配置路径、profile 不变量、dry-run、故障定位和失败检查,并提醒以当前 checkout 为准。静态材料未证明命令在目标 checkout 中可执行,且部分命令、依赖版本和部署路径需要运行时核验;没有执行证据,因此按静态上限并扣分,得 8/20。
触发条件、embed/rerank 路由、失败模式、非适用范围、输入输出和阶段选择较清楚,也覆盖中文用户可能关心的密钥和数据治理问题。核心 SDG、模型下载、NGC/Docker、托管推理和 Hugging Face 路径可能受中国大陆网络、凭据和 GPU 条件限制,且未提供中国网络替代方案,扣 3 分。
具备版本 0.2.0、作者、Apache-2.0、分层 references、示例、限制、输出格式和维护/评估说明;仓库 README 说明同步和更新机制。技能自身缺少明确 changelog、具体维护责任人、依赖锁定说明及完整 FAQ/故障反馈路径,且 skill-card 的输出格式与 SKILL.md 的“按需结构”不完全一致,扣 4 分。
技能能把检索问题路由到 recipe family,给出阶段命令、预览与执行边界、指标解释、数据治理和部署检查;提交的 BENCHMARK.md 报告了 40 个任务及 with-skill 结果。由于评估数据不可用、结果是仓库内自述且未在本次审查中执行,不能确认代表性输出或相对手工方案的稳定收益,按静态上限取 6/15。
存在固定 revision、源文件路径、阶段命令、测试命令、eval fixtures 和 benchmark 指标,具备一定审计线索。可是 benchmark 数据集不可用,缺少本次可复现的 CI/测试结果和独立交叉来源;只能部分验证,得 4/10。
- 本评估仅阅读源文件,未执行任何命令、测试、dry-run 或部署。
- BENCHMARK.md 的评估数据集未随材料提供,结果应视为有限的仓库内自述证据。
- 在中国大陆网络环境中,托管 SDG、模型下载、NGC/Docker、Hugging Face 和远程集群路径可能不可达或需要额外合规与网络方案。
- 运行 Stage 0 前必须确认语料可发送到配置的推理端点;不要在命令、日志或提示中暴露密钥。
这个 Skill 能做什么,适合哪些场景?
Nemotron Retrieval Recipes 面向 NVIDIA Nemotron 的公开嵌入和重排检索配方。它根据检索失败模式选择嵌入或重排配方,并指导用户检查当前代码、配置、命令和输出路径。技能覆盖数据生成、训练、评估、导出和部署阶段,同时强调预览、配置核查和避免未经授权的长时间运行任务。它适合已经拥有相关代码仓库、数据、凭据和计算资源的工程团队。
读取当前检出版本中的配方、CLI、配置和参考文件;使用 uv run nemotron embed 或 uv run nemotron rerank 的帮助和 dry-run 命令检查可用选项;根据候选集召回不足或排序质量不佳选择嵌入或重排流程;建议 dotlist 配置覆盖、输入路径、artifact_root 和阶段范围;在获得明确授权后提供本地、远程、导出或部署命令,并报告验证指标和输出路径。
- 检索相关文档未进入候选集的团队,用嵌入微调方向定位问题。
- 相关文档已被召回但排名靠后的团队,用重排微调改善顶部排序。
- 需要运行 Nemotron 配方前检查模型配置、阶段参数和输出目录的工程师。
- 需要比较基础模型与微调模型评估结果的检索开发团队。
- 需要导出或部署 Nemotron 嵌入、重排模型并核对 Docker、GPU 或凭据要求的运维人员。
这个 Skill 有哪些优点和局限?
- 覆盖 Nemotron 嵌入和重排配方的端到端规划与故障定位。
- 强调以当前检出代码和配置为准,减少命令、参数和输出路径过时的风险。
- 提供 dry-run、阶段选择、配置复核和评估比较等低成本验证方式。
- 包含数据治理、秘密保护、GPU、Docker 和远程执行方面的安全边界。
- 不提供数据集、检查点、凭据、GPU 容量、Docker 镜像或 NIM 服务。
- 依赖 Nemotron 配方仓库及其当前文件结构;缺少必要目录或 CLI 时无法可靠猜测命令。
- 部分阶段需要 NVIDIA API 密钥、CUDA/NVIDIA 驱动、Docker 或特定容器。
- 技能正文未提供独立的测试结果或平台覆盖证明。
如何安装这个 Skill?
使用默认 skills CLI 安装指定技能:npx skills add nvidia/skills --skill nemotron-retrieval-recipes --yes。也可以通过 --agent codex 或其他受支持的客户端参数指定安装目标。README 未说明该技能的独立手动复制目录要求;安装后,智能体在加载技能并遇到相关任务时使用它。
如何使用这个 Skill?
可使用触发词 $nemotron-retrieval-recipes。例如询问:“Recall 尚可,但 nDCG 较低,正确段落约在第 40 位;应该调 embed 还是 rerank?”使用前应提供或确认配方仓库、数据路径、模型配置、阶段范围、artifact_root、GPU 或执行模式,以及所需凭据是否已配置。先运行帮助或 dry-run,例如 uv run nemotron rerank run -c default -d --from prep --to eval;除非用户明确要求,不要启动 API、GPU、Docker、Slurm、NIM 或其他长时间任务。