TAO Sparse4D 训练技能
帮助代理训练、评估、导出、量化和推理多摄像头时序3D检测跟踪模型。
文档声明仅允许 Read 和 Bash，并明确容器、数据路径、检查点和 AutoML 路由；未见恶意行为、凭据窃取或隐蔽外传。但 Bash 权限较宽，缺少逐次用户确认、最小权限边界、敏感数据处理说明、回滚方案和外部副作用控制；W&B 默认启用且可能产生外部数据流，因此扣分。
SKILL.md、skill_info.yaml、模板和故障模式对转换、训练、评估、导出、推理及量化路径描述较完整，也给出文件检查和失败提示。静态材料未提供覆盖关键路径的可执行测试或 CI 复现；文档还记录旧镜像量化失败和导出兼容性限制，因此按静态上限和不确定性扣分。
触发短语、目标用户场景、动作范围、输入格式、硬件要求和不适用条件较清楚，覆盖多相机时序 3D 检测与跟踪。未声明中文交互支持，且依赖 Docker、NVIDIA Container Toolkit、GPU、特定 TAO 镜像及可能的 S3 数据源；对中国大陆网络和镜像可达性没有说明，因此扣分。
目录包含主说明、引用文档、模板、元数据、评测报告和版本号，且许可证字段为 Apache-2.0，维护者和仓库同步背景较明确。缺少推荐的 Instructions/Examples 章节，作者格式不完整，版本变更记录、维护责任、依赖版本和统一安装/故障排查入口不充分；评测报告还记录目录层级和额外 schemas 结构问题。
技能覆盖 dataset_convert、train、evaluate、export、inference、quantize，并提供数据源映射、参数模板、检查点推断、AutoML 策略和常见故障处理，能够显著减少手工配置。静态评估无法确认实际模型结果或端到端产物；评测只有一个任务，且未证明各动作输出均可直接使用，因此扣分。
存在结构化 skill_info.yaml、可审计模板、参数映射、评测报告和固定版本信息，支持有限追溯。评测样本仅一个，缺少独立复现记录、关键动作测试套件、CI 覆盖和多来源交叉验证；报告中的 PASS 不能替代本次静态审查中的执行验证，因此未给满分。
- 执行前应确认 Bash 操作、数据挂载、W&B 外部通信和 AutoML 路由，并验证用户提供的镜像、GPU、数据源和检查点权限。
- 量化和导出存在已记录的镜像、摄像头数量、anchor 数量及检查点兼容性限制；应先做小规模验证并保留可恢复的输出。
- 未提供中文支持或中国大陆网络可达性说明，TAO 容器和远程数据源可能无法直接访问。
这个 Skill 能做什么，适合哪些场景？
该技能面向 NVIDIA TAO Toolkit 的 Sparse4D 模型，用于多摄像头时序3D目标检测与跟踪。它涵盖数据转换、训练、评估、导出、量化和推理，并处理实例库、时序推理及检查点衔接。训练阶段默认启用 AutoML，但可按单次运行关闭。运行需要 Docker、nvidia-container-toolkit 和 NVIDIA GPU；官方建议每张GPU具备40GB以上显存。
读取模型层配置、打包的JSON schema、规格模板和参考文档；要求先执行 dataset_convert，将 AICity 数据转换为 OVPKL 标注并生成 anchor_init.npy；为 train、evaluate、export、inference 和 quantize 构造必需的 spec_overrides 与数据路径；训练请求在条件满足时路由至 tao-skill-bank:tao-run-automl；调用相应容器和命令执行模型操作，并处理检查点、H5深度路径、量化失败和时序显存不足等问题。
- 需要用多摄像头数据训练 Sparse4D 3D检测模型的 TAO 用户。
- 需要在验证集或测试集上评估检测或跟踪指标的视觉团队。
- 需要导出模型用于部署，或从训练检查点执行推理的工程师。
- 需要使用 TorchAO 对 Sparse4D 检查点进行量化的部署团队。
- 需要通过 AutoML 搜索训练参数，或进行关闭HPO的普通训练实验的研究人员。
这个 Skill 有哪些优点和局限？
- 覆盖 Sparse4D 的完整训练到推理流程。
- 内置 AutoML 路由、数据依赖映射和检查点解析规则。
- 包含 AICity 转 OVPKL、H5深度路径和时序显存问题的故障处理说明。
- 明确记录多GPU、多节点和关键模型参数。
- 需要先完成 dataset_convert，数据必须符合 sparse4d/ovpkl 工作流。
- 硬件需求高：最低2张GPU，建议8张，每张40GB以上显存。
- 技能正文引用了多个 references、schemas 和模型容器，但提供材料未展示这些文件的完整内容。
- 提供材料没有给出独立测试套件、具体平台验证结果或量化成功率。
如何安装这个 Skill？
使用 NVIDIA skills CLI 安装指定技能：
npx skills add nvidia/skills --skill tao-train-sparse4d --yes
README 未说明该命令为每个平台设置的确切本地目录；CLI 会处理安装目标。
如何使用这个 Skill？
安装后，向代理提出例如“train Sparse4D”“multi-camera 3D detection”“temporal 3D tracker”或“sparse query 3D perception”。进行训练前准备兼容的数据转换结果，并先运行 dataset_convert 生成 OVPKL 标注和 anchor_init.npy。训练时可明确指定 automl_policy: on 或 automl_policy: off；其他操作包括 evaluate、export、inference 和 quantize。