数据与分析 ✓ NVIDIA · 官方 metric-learningvisual-recognitionretrieval-embeddingstriplet-losscontrastive-learningtao-toolkittensorrt

TAO 度量学习识别

为细粒度视觉识别训练可用于检索匹配的图像嵌入模型。

FollowSkills 评估 · FSRS-2.0
不推荐
49/ 100 五分制 2.5 / 5
信任安全14 / 25 · 2.8/5

技能声明仅允许 Read 和 Bash,并要求 Docker/NVIDIA Container Toolkit;数据源、检查点推断、上传排除项和不可信检查点不得使用特定环境变量等边界有一定说明。未明确用户确认、敏感数据处理、最小化 Bash 权限、外部网络/云存储影响、回滚和完整数据流,因此扣分。

可靠稳定7 / 20 · 1.8/5

动作、输入输出、模板、参数和若干错误模式有文档支持,且声明确定性训练设置;但缺少可执行的故障恢复流程和关键路径复现证据,训练依赖外部 TAO/AutoML 组件,模板与动作说明存在可疑不一致,静态上限内扣分。

适用触发10 / 15 · 3.3/5

触发短语、训练/评估/推理/导出/部署场景、GPU要求和数据结构较清楚;但主要面向 TAO、Docker 和 NVIDIA GPU,单节点限制明显,未说明非适用范围、中文使用或中国大陆网络可达性,因此扣分。

规范维护8 / 15 · 2.7/5

有名称、描述、Apache-2.0 标注、版本、作者、引用资料、schema/template 结构和维护者线索;但缺少 Instructions、Examples、FAQ、变更日志、明确维护责任/更新路径,基准还报告目录层级、作者格式和缺失推荐章节问题,因此扣分。

有效结果6 / 15 · 2.0/5

文档覆盖从训练到导出和 TensorRT 部署的核心配置,并提供数据源和参数示例,理论上可减少配置工作;但没有足够的代表性输出或静态可验证的端到端结果,且 AutoML、SDK、容器和数据集依赖会造成较高使用成本,因此未接近满分。

证据核验4 / 10 · 2.0/5

存在结构化 skill_info、模板、评估任务和一份外部基准报告,提供有限审计线索;但基准仅含一个任务、一次尝试,缺少技能专属 CI/测试覆盖和独立多源复核,静态证据不足以超过5分。

证据充分度: 评估于 2026年7月20日 审查版本 55f18499943e
上游仓库在本次评估后已有新提交;当前评分仍对应所示审查版本,可能尚未覆盖最新改动。
使用前请注意
  • 执行前应确认 Bash、Docker、GPU、数据集路径和云存储权限,尤其是示例中的 S3 数据源。
  • 不要对不可信检查点设置 TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1;该设置可能扩大反序列化风险。
  • 应先核对 evaluate/export/inference 模板与 skill_info、TAO 版本及引用 references 文件是否一致;当前静态材料未证明端到端可运行。
  • 未提供大陆网络可达性或中文操作说明,外部 TAO/容器镜像和数据源可能无法直接访问。
查看完整评分方法 →

这个 Skill 能做什么,适合哪些场景?

该技能面向 NVIDIA TAO Toolkit 的度量学习识别模型,用于零售商品识别等细粒度视觉匹配场景。它支持训练、评估、导出、推理及 TensorRT 部署流程,并使用三元组损失或对比损失学习嵌入。训练阶段默认启用 AutoML,并根据用户请求支持单次关闭。运行需要 Docker、nvidia-container-toolkit 和至少一块 NVIDIA GPU。

读取模型技能信息、训练 schema 和部署参考文件;根据动作要求构造训练、评估和推理数据源路径及 spec_overrides;通过 TAO AutoML 或直接训练流程启动训练;处理评估所需的 reference/query 数据集;指导 checkpoint 推断、ONNX 导出、推理和 TensorRT 操作;在可信 TAO checkpoint 的下游操作中处理 PyTorch 2.6 的加载设置。

  1. 需要为零售商品或其他细粒度类别训练检索嵌入的视觉机器学习团队。
  2. 希望使用 reference/query 数据集评估跨类别检索性能的 TAO 用户。
  3. 需要从训练结果导出 ONNX 或生成 TensorRT 引擎的部署工程师。
  4. 需要对未知类别测试图像执行嵌入检索推理的应用开发者。

这个 Skill 有哪些优点和局限?

优点
  • 覆盖训练、评估、导出、推理和 TensorRT 部署相关流程。
  • 提供模型、数据集、checkpoint 推断和关键超参数说明。
  • 支持默认启用的 AutoML 训练路径,并允许按运行关闭 AutoML。
  • 明确要求 reference/query 数据集,有助于检索指标评估。
局限
  • 要求 Docker、nvidia-container-toolkit 和 NVIDIA GPU,最低需要 1 块 GPU,推荐 2 块及每块 16GB 以上显存。
  • 技能面向单节点 Lightning 管理的多 GPU 场景,没有显式的多节点配置。
  • 源材料没有提供完整安装镜像、数据集获取流程或端到端运行命令。
  • PyTorch 2.6 checkpoint 加载设置仅适用于同一可信 TAO 工作流产生的 checkpoint,不应对不可信文件使用。

如何安装这个 Skill?

使用仓库 README 支持的 Skills CLI 命令安装指定技能:

npx skills add nvidia/skills --skill tao-train-metric-learning-recognition --yes

也可以针对 Codex 安装:

npx skills add nvidia/skills --skill tao-train-metric-learning-recognition --agent codex --yes

如何使用这个 Skill?

安装后,用明确的任务提示激活技能,例如:“train metric learning for retail product recognition”或“run ml-recog inference with retrieval embeddings”。准备 Docker、nvidia-container-toolkit、NVIDIA GPU 以及符合技能要求的训练或评估数据集。训练时应提供数据源覆盖项;评估需要 reference 和 query 数据集。数据存储配置之外的完整运行命令未在源材料中给出。

常见问题

这个技能需要付费吗?
源材料没有提供价格或许可费用信息。技能自身标注 Apache-2.0;仓库 README 标注整个项目采用 Apache-2.0 与 CC BY-4.0 双许可证。
可以只训练而不使用 AutoML 吗?
可以。用户提出关闭 AutoML、禁用 HPO 或使用普通训练时,该次运行可设置 automl_policy 为 off;默认策略为 on。
评估为什么需要两个数据集?
评估需要 reference 和 query 数据集,用于检索指标计算;两者还应具有兼容的类别命名空间。
它适合没有 NVIDIA GPU 的环境吗?
不适合。技能明确要求 NVIDIA GPU、Docker 和 nvidia-container-toolkit,最低需要 1 块 GPU。

同仓库的其他 Skills

均来自 NVIDIA/skills

数据与分析 ✓ NVIDIA · 官方

TAO NVDINOv2 视觉表征训练

用无标签自蒸馏训练可复用的视觉特征骨干。

数据与分析 ✓ NVIDIA · 官方

TAO 人员重识别训练技能

训练和部署用于跨摄像头人员匹配的 TAO ReID 模型。

开发与工程 ✓ NVIDIA · 官方

TAO OCRNet 场景文字识别技能

用 NVIDIA TAO 训练并部署场景文字识别模型。

数据与分析 ✓ NVIDIA · 官方

TAO FastFoundationStereo 实时立体深度

指导 TAO 使用 FastFoundationStereo 从双目图像生成低延迟视差图。

数据与分析 ✓ NVIDIA · 官方

OCDNet 场景文本检测

用 TAO Toolkit 训练和部署任意方向场景文本检测模型。

数据与分析 ✓ NVIDIA · 官方

TAO FoundationStereo 立体深度

使用 FoundationStereo 从双目图像生成视差图,支持三维重建模型的训练、评估与部署。

数据与分析 ✓ NVIDIA · 官方

TAO PointPillars 三维检测技能

帮助智能体训练、评估和部署基于激光雷达的 PointPillars 三维检测模型。

数据与分析 ✓ NVIDIA · 官方

TAO CenterPose 姿态估计技能

帮助代理训练、评估、导出和部署用于6自由度物体姿态估计的CenterPose模型。

数据与分析 ✓ NVIDIA · 官方

TAO 光学缺陷检测训练

用孪生网络训练和部署制造业缺陷检测模型。

数据与分析 ✓ NVIDIA · 官方

TAO RT-DETR 目标检测

指导使用 NVIDIA TAO 训练并部署实时 RT-DETR 检测模型。

数据与分析 ✓ NVIDIA · 官方

TAO DINO 目标检测

指导使用 NVIDIA TAO 训练、评估和部署 DINO 目标检测器。

数据与分析 ✓ NVIDIA · 官方

TAO CLIP 微调与部署

为图文检索、零样本分类和嵌入提取训练并部署 NVIDIA TAO CLIP 模型。

数据与分析 ✓ NVIDIA · 官方

TAO 姿态分类

用 ST-GCN 将姿态关键点序列分类为动作类别。

数据与分析 ✓ NVIDIA · 官方

TAO 视频动作识别训练

用 NVIDIA TAO 训练、评估、导出并推理 RGB、光流或多流视频动作识别模型。

自动化与运维 ✓ NVIDIA · 官方

TAO 工作流启动门禁

在执行 TAO 作业前完成平台、凭证、数据与容器预检。

数据与分析 ✓ NVIDIA · 官方

TAO Grounding DINO 开放词汇检测

用文本提示训练和部署无需固定类别词表的目标检测模型。

自动化与运维 ✓ NVIDIA · 官方

TAO SLURM 集群运行

通过 SSH、SLURM 和 Pyxis/Enroot 在远程 GPU 集群上运行 TAO 作业。

开发与工程 ✓ NVIDIA · 官方

TAO Sparse4D 训练技能

帮助代理训练、评估、导出、量化和推理多摄像头时序3D检测跟踪模型。

自动化与运维 ✓ NVIDIA · 官方

TAO Kubernetes 作业运行

通过 Kubernetes 提交和监控带 NVIDIA GPU 的 TAO 训练作业。

数据与分析 ✓ NVIDIA · 官方

TAO OneFormer 通用分割技能

用单一任务条件化模型训练并部署全景、实例和语义图像分割。

相关 Skills