数据与分析 ✓ NVIDIA · 官方 nemotronretrievalfine-tuningembeddingsrerankingevaluation

Nemotron 检索配方助手

帮助规划、调试、微调、评估和部署 Nemotron 嵌入与重排检索流程。

FollowSkills 评估 · FSRS-2.0
谨慎使用
62/ 100 五分制 3.1 / 5
信任安全21 / 25 · 4.2/5

技能明确限制 Bash 为仓库检查、帮助、dry-run 和经用户批准的执行,要求确认托管端点的数据治理、保护 NVIDIA_API_KEY/NGC_API_KEY、避免环境转储,并在删除产物前询问;数据流和外部 API、GPU、Docker、Slurm、NIM 影响均有披露。因缺少系统化权限隔离、通用回滚方案和更细粒度的命令级确认,扣 4 分。

可靠稳定8 / 20 · 2.0/5

文档提供阶段契约、配置路径、profile 不变量、dry-run、故障定位和失败检查,并提醒以当前 checkout 为准。静态材料未证明命令在目标 checkout 中可执行,且部分命令、依赖版本和部署路径需要运行时核验;没有执行证据,因此按静态上限并扣分,得 8/20。

适用触发12 / 15 · 4.0/5

触发条件、embed/rerank 路由、失败模式、非适用范围、输入输出和阶段选择较清楚,也覆盖中文用户可能关心的密钥和数据治理问题。核心 SDG、模型下载、NGC/Docker、托管推理和 Hugging Face 路径可能受中国大陆网络、凭据和 GPU 条件限制,且未提供中国网络替代方案,扣 3 分。

规范维护11 / 15 · 3.7/5

具备版本 0.2.0、作者、Apache-2.0、分层 references、示例、限制、输出格式和维护/评估说明;仓库 README 说明同步和更新机制。技能自身缺少明确 changelog、具体维护责任人、依赖锁定说明及完整 FAQ/故障反馈路径,且 skill-card 的输出格式与 SKILL.md 的“按需结构”不完全一致,扣 4 分。

有效结果6 / 15 · 2.0/5

技能能把检索问题路由到 recipe family,给出阶段命令、预览与执行边界、指标解释、数据治理和部署检查;提交的 BENCHMARK.md 报告了 40 个任务及 with-skill 结果。由于评估数据不可用、结果是仓库内自述且未在本次审查中执行,不能确认代表性输出或相对手工方案的稳定收益,按静态上限取 6/15。

证据核验4 / 10 · 2.0/5

存在固定 revision、源文件路径、阶段命令、测试命令、eval fixtures 和 benchmark 指标,具备一定审计线索。可是 benchmark 数据集不可用,缺少本次可复现的 CI/测试结果和独立交叉来源;只能部分验证,得 4/10。

证据充分度: 评估于 2026年7月20日 审查版本 55f18499943e
上游仓库在本次评估后已有新提交;当前评分仍对应所示审查版本,可能尚未覆盖最新改动。
使用前请注意
  • 本评估仅阅读源文件,未执行任何命令、测试、dry-run 或部署。
  • BENCHMARK.md 的评估数据集未随材料提供,结果应视为有限的仓库内自述证据。
  • 在中国大陆网络环境中,托管 SDG、模型下载、NGC/Docker、Hugging Face 和远程集群路径可能不可达或需要额外合规与网络方案。
  • 运行 Stage 0 前必须确认语料可发送到配置的推理端点;不要在命令、日志或提示中暴露密钥。
查看完整评分方法 →

这个 Skill 能做什么,适合哪些场景?

Nemotron Retrieval Recipes 面向 NVIDIA Nemotron 的公开嵌入和重排检索配方。它根据检索失败模式选择嵌入或重排配方,并指导用户检查当前代码、配置、命令和输出路径。技能覆盖数据生成、训练、评估、导出和部署阶段,同时强调预览、配置核查和避免未经授权的长时间运行任务。它适合已经拥有相关代码仓库、数据、凭据和计算资源的工程团队。

读取当前检出版本中的配方、CLI、配置和参考文件;使用 uv run nemotron embeduv run nemotron rerank 的帮助和 dry-run 命令检查可用选项;根据候选集召回不足或排序质量不佳选择嵌入或重排流程;建议 dotlist 配置覆盖、输入路径、artifact_root 和阶段范围;在获得明确授权后提供本地、远程、导出或部署命令,并报告验证指标和输出路径。

  1. 检索相关文档未进入候选集的团队,用嵌入微调方向定位问题。
  2. 相关文档已被召回但排名靠后的团队,用重排微调改善顶部排序。
  3. 需要运行 Nemotron 配方前检查模型配置、阶段参数和输出目录的工程师。
  4. 需要比较基础模型与微调模型评估结果的检索开发团队。
  5. 需要导出或部署 Nemotron 嵌入、重排模型并核对 Docker、GPU 或凭据要求的运维人员。

这个 Skill 有哪些优点和局限?

优点
  • 覆盖 Nemotron 嵌入和重排配方的端到端规划与故障定位。
  • 强调以当前检出代码和配置为准,减少命令、参数和输出路径过时的风险。
  • 提供 dry-run、阶段选择、配置复核和评估比较等低成本验证方式。
  • 包含数据治理、秘密保护、GPU、Docker 和远程执行方面的安全边界。
局限
  • 不提供数据集、检查点、凭据、GPU 容量、Docker 镜像或 NIM 服务。
  • 依赖 Nemotron 配方仓库及其当前文件结构;缺少必要目录或 CLI 时无法可靠猜测命令。
  • 部分阶段需要 NVIDIA API 密钥、CUDA/NVIDIA 驱动、Docker 或特定容器。
  • 技能正文未提供独立的测试结果或平台覆盖证明。

如何安装这个 Skill?

使用默认 skills CLI 安装指定技能:npx skills add nvidia/skills --skill nemotron-retrieval-recipes --yes。也可以通过 --agent codex 或其他受支持的客户端参数指定安装目标。README 未说明该技能的独立手动复制目录要求;安装后,智能体在加载技能并遇到相关任务时使用它。

如何使用这个 Skill?

可使用触发词 $nemotron-retrieval-recipes。例如询问:“Recall 尚可,但 nDCG 较低,正确段落约在第 40 位;应该调 embed 还是 rerank?”使用前应提供或确认配方仓库、数据路径、模型配置、阶段范围、artifact_root、GPU 或执行模式,以及所需凭据是否已配置。先运行帮助或 dry-run,例如 uv run nemotron rerank run -c default -d --from prep --to eval;除非用户明确要求,不要启动 API、GPU、Docker、Slurm、NIM 或其他长时间任务。

常见问题

它适合通用检索理论或向量数据库选型吗?
不适合。它限定于公开 Nemotron embed 或 rerank 配方流程;通用检索理论、向量数据库选型以及非配方 Docker、Slurm 或 NIM 故障应停止在范围说明。
使用它是否需要 GPU 或凭据?
取决于阶段。Stage 0 SDG 需要 `NVIDIA_API_KEY`;Stages 1–3 需要 CUDA/NVIDIA 驱动和足够显存;部署或导出可能需要 Docker、容器和其他凭据。
它会自动启动训练或部署任务吗?
默认不会。技能要求先做帮助、配置检查或 dry-run,并且只有用户明确要求时才运行 API、GPU、Docker、Slurm、NIM 或其他长时间任务。

同仓库的其他 Skills

均来自 NVIDIA/skills

数据与分析 ✓ NVIDIA · 官方

Nemotron 模型定制流水线

为 Nemotron 模型规划、配置并串联数据处理、训练、对齐、转换、优化与评测步骤。

数据与分析 ✓ NVIDIA · 官方

Cosmos-Embed 视频检索与微调技能

用 Cosmos-Embed1 将视频与文本嵌入用于检索和微调。

数据与分析 ✓ NVIDIA · 官方

TAO CLIP 微调与部署

为图文检索、零样本分类和嵌入提取训练并部署 NVIDIA TAO CLIP 模型。

开发与工程 ✓ NVIDIA · 官方

NeMo MBridge 配方推荐器

根据模型、GPU规模和训练目标推荐可调整的Megatron Bridge配方。

数据与分析 ✓ NVIDIA · 官方

NV 脑部 MRI 扩散模型微调

从 NIfTI 脑部 MRI 数据微调 NV-Generate-CTMR 的扩散 UNet。

数据与分析 ✓ NVIDIA · 官方

临床语音识别微调

用 NeMo 对 Parakeet TDT v2 进行临床词汇微调,并以离线 KER 评估闭环效果。

数据与分析 ✓ NVIDIA · 官方

PAIDF AnomalyGen 异常图像生成

微调模型并生成、评估和筛选合成异常图像。

自动化与运维 ✓ NVIDIA · 官方

Isaac for Healthcare 全流程工作流

把 Isaac for Healthcare 从录制一路跑到验证

自动化与运维 ✓ NVIDIA · 官方

Nemotron 安全策略生成器

为 NVIDIA Nemotron 内容安全模型生成可部署的自定义安全策略。

数据与分析 ✓ NVIDIA · 官方

Nemotron Speech ASR 定制编排

为特定领域或语言的语音识别改进选择并编排成本最低的适配路径。

数据与分析 ✓ NVIDIA · 官方

Cosmos Reason 视频问答微调

为 Cosmos3-Nano 视频问答模型提供基于 FSDP 的 SFT、LoRA、评估与 AutoML 工作流指导。

数据与分析 ✓ NVIDIA · 官方

TAO 度量学习识别

为细粒度视觉识别训练可用于检索匹配的图像嵌入模型。

数据与分析 ✓ NVIDIA · 官方

RAGAS 检索增强生成评测

用本地语料和训练数据评估 RAG 检索与生成质量。

开发与工程 ✓ NVIDIA · 官方

NeMo Evaluator 评估插件技能

帮助代理通过 NeMo CLI 与 Python SDK 执行并管理模型评估。

开发与工程 ✓ NVIDIA · 官方

NeMo Relay 自适应调优

基于运行时信号,以可测量方式调优 NeMo Relay 插件行为。

自动化与运维 ✓ NVIDIA · 官方

VSS 视频嵌入部署技能

部署并运维支持文件、文本和实时视频流的 NVIDIA 视频嵌入服务。

数据与分析 ✓ NVIDIA · 官方

临床 ASR 评测与 KER 排行榜

评测临床语音识别清单并定位术语识别问题。

自动化与运维 ✓ NVIDIA · 官方

RAG 性能基准测试

用单一 YAML 配置分析已部署 NVIDIA RAG Blueprint 服务的性能瓶颈。

开发与工程 ✓ NVIDIA · 官方

DOCA Flow 调优技能

帮助工程师快照、分析并优化运行中的 DOCA Flow 管道。

自动化与运维 ✓ NVIDIA · 官方

Jetson nvpmodel 电源模式定制

在 Jetson BSP 中安全调整 nvpmodel 电源模式、频率上限和启动默认值。

相关 Skills