TAO DINO 目标检测
指导使用 NVIDIA TAO 训练、评估和部署 DINO 目标检测器。
技能限定为 Read 和 Bash,并明确要求 Docker、NVIDIA Container Toolkit、数据集 URI、检查点和结果目录;同时说明数据源、父模型推断和常见失败。扣分原因是允许 Bash 与 Docker/S3/训练、导出和部署外部效果,但没有明确的用户确认、权限隔离、敏感数据处理、回滚或恢复流程。
SKILL.md 与引用文件对训练、评估、导出、推理、量化、蒸馏、AutoML、数据源和错误模式有较一致的说明,并指出缺少验证集、类别数不足、OOM、检查点路径等可诊断失败。扣分原因是未在选定材料中提供完整可执行复现、自动化测试或覆盖异常输入的真实测试套件;静态评估不超过10分。
名称、触发短语、适用动作、COCO 数据格式、必需输入、非生产 smoke profile、TensorRT 部署分流和 AutoML 开关均较明确。扣分原因是没有明确不适用场景、中文交互支持或中国大陆网络可达性说明,且核心流程依赖 Docker、NVIDIA GPU、S3/TAO SDK 等环境。
文档有清晰的引用地图、渐进式参考文件、参数说明、数据契约、错误目录、版本0.1.0、Apache-2.0许可和NVIDIA作者信息;基准报告还记录了结构化校验发现。扣分原因是缺少独立的 Instructions/Examples 章节,作者格式不完整,未提供明确 changelog、维护责任人和更新路径,且存在已记录的目录/架构规范问题。
技能覆盖 DINO 的主要工作流,并提供数据源覆盖、checkpoint 推断、AutoML 指标提取、TensorRT 分流和常见修复;BENCHMARK.md 报告单个任务的正确性和有效性结果。扣分原因是样本仅1个任务,未静态证明真实训练、导出或部署输出可直接使用,且生产结果仍需环境、数据和结果校验;静态评估上限为7分。
存在版本固定的仓库上下文、skill_info.yaml、评估任务和BENCHMARK.md,能够追踪部分声明与预期行为。扣分原因是只有单一评估任务、无完整测试套件或CI覆盖,也缺少多来源独立复核;静态评估上限为5分。
- 运行前应明确确认 Docker、GPU、S3/TAO 作业和输出目录等外部副作用,并限制凭据和数据访问范围。
- AutoML smoke profile 使用固定 S3 数据集,文档已声明不适用于生产基准;不要把它当作用户数据或生产性能证据。
- 技能依赖 NVIDIA GPU、TAO SDK/容器和远程 S3 路径;在中国大陆网络或无GPU环境中可能无法完成核心流程。
- 发布前应补充真实多任务测试、失败恢复说明、维护更新路径、Examples/Instructions 章节和作者元数据。
这个 Skill 能做什么,适合哪些场景?
该技能面向 NVIDIA TAO Toolkit 中基于 Transformer 的 DINO 二维目标检测器。它覆盖训练、评估、导出、蒸馏、量化、TensorRT 部署和推理,并包含多尺度特征、去噪训练及可选蒸馏支持。训练时必须提供训练集、验证集 URI 和类别数量;即使没有独立验证集,也必须复用训练集 URI。运行环境需要 Docker 和 NVIDIA Container Toolkit。
读取 DINO 的数据集约束、动作参数、错误模式、AutoML 和部署参考文件;根据用户输入构造各动作所需的数据源和 spec 覆盖;处理 COCO 或 coco_raw 数据;指导使用预训练骨干或完整模型检查点;执行或编排训练、评估、导出、蒸馏、量化、TensorRT 引擎生成和推理;使用 mAP50 进行快速监控,并以 val_mAP 支持 COCO/论文式比较。
- 需要用 COCO 格式数据训练 TAO DINO 二维目标检测器的视觉开发者。
- 需要评估或推理已训练 DINO 检查点的工程师。
- 需要将 DINO 导出为 ONNX 或生成 TensorRT 引擎进行部署的团队。
- 希望启用 AutoML/HPO 做训练参数搜索,同时遵守数据集和多 GPU 配置要求的用户。
- 需要使用教师模型蒸馏、量化或处理 DINO 常见 CUDA 和数据配置错误的 TAO 用户。
这个 Skill 有哪些优点和局限?
- 覆盖 DINO 从训练到部署和推理的完整 TAO 工作流。
- 明确规定验证数据始终必需,并提供类别数量、数据源和多 GPU 配置规则。
- 包含 AutoML/HPO、检查点推断、蒸馏和常见错误处理指导。
- 支持 COCO 与 coco_raw 数据格式,并说明标准数据归档布局。
- 必须具备 Docker 和 NVIDIA Container Toolkit。
- 训练需要训练集 URI、验证集 URI 和正确的类别数量;验证集不能省略。
- 数据源覆盖对每个动作都是必需的,配置错误可能导致启动失败或 CUDA device-side assert。
- 源材料未提供该单个技能的独立测试套件或具体基准结果。
如何安装这个 Skill?
使用仓库 README 支持的 Skills CLI 安装:npx skills add nvidia/skills --skill tao-train-dino --yes。也可以先运行 npx skills add nvidia/skills --list 查看目录。源材料没有说明该单个技能的独立安装包或额外版本要求。
如何使用这个 Skill?
安装后,在加载该技能的 Agent 中提出例如“train DINO”“DETR object detection”“TAO 2D detection”或“DINO with distillation”。训练前提供训练数据 URI、验证数据 URI 和 num_classes;数据通常使用 images.tar.gz 与 annotations.json。若运行 AutoML 且未提供输入,可使用技能声明的本地 smoke profile。TensorRT 引擎生成、TensorRT 评估或 TensorRT 推理前,应先阅读 references/tao-deploy-dino.md。具体本地 Docker 命令未在源材料中给出。