TAO PointPillars 三维检测技能
帮助智能体训练、评估和部署基于激光雷达的 PointPillars 三维检测模型。
技能声明仅允许 Read 和 Bash,并要求 Docker/NVIDIA Container Toolkit;文档披露了数据路径、检查点、结果目录、加密 key 和容器挂载关系,也强调不要复用其他结果根目录。扣分在于未规定用户确认、敏感数据处理、最小化 Bash 权限、回滚方案或失败后的恢复边界;数据可使用 S3 路径,外部数据流控制仍不完整。未见恶意、凭据窃取、隐蔽外传或破坏性默认行为。
SKILL.md 提供了动作映射、数据集前置条件、路径规则、多节点环境变量、常见错误和 status.json/产物校验要求,静态上使 happy path 较清晰。扣分在于未提供可执行复现证据或覆盖关键路径的测试;skill_info.yaml 的 inference 数据源与正文表格存在不一致,且部署引用文件在提供材料中未包含,异常处理仍主要依赖代理判断。按静态校准不超过10分。
触发短语、目标用户场景、训练/评估/导出/剪枝/推理范围、GPU 和数据格式要求较明确,并说明了不支持 parent-model gen_trt_engine 及独立 retrain 子命令。扣分在于非适用范围和输入输出契约仍不完整,没有中文交互支持说明,也没有确认 Docker 镜像、S3 或相关 NVIDIA 服务在中国大陆网络中的可达性;核心功能依赖本地 GPU/Docker,部署适配证据有限。
文档包含 frontmatter、动作分层、schema/template 引用、参数示例、错误模式、版本号和作者信息;BENCHMARK.md 还记录了评测日期和维护建议,仓库 README 声称每日同步。扣分在于缺少推荐的 Instructions 和 Examples 章节,基准报告列出目录层级、schema 文件位置和 author 格式问题;技能自身没有明确 changelog、维护责任人或更新路径,且输入的许可证元数据为 NOASSERTION,而文件内容声明 Apache-2.0,需进一步治理确认。
技能覆盖 PointPillars 的数据转换、训练、恢复、评估、导出、剪枝、再训练和推理,并给出可直接改写为 spec_overrides 的示例、产物命名和失败判定规则,核心任务价值明确。扣分在于静态审查不能验证结果正确性;提供的单任务基准中 Codex correctness 为20%、effectiveness 为44%,且无负向触发样本,说明直接可用性和泛化证据不足。
存在固定 revision、多个配置模板、skill_info.yaml、单个评测用例和 BENCHMARK.md,支持有限的跨文件审计。扣分在于评测仅1个任务、每任务1次尝试,无提交的关键路径测试或真实 CI 执行证据,报告中的 PASS 不能证明该技能在本次静态审查中可复现;因此按静态校准不超过5分。
- 不要把仓库中的 NVIDIA 官方身份或 benchmark PASS 视为可靠性、安全性或效果保证;当前证据不足以证明实际训练和部署可复现。
- 执行前应核对 skill_info.yaml 与 SKILL.md 的数据源一致性,并确认当前容器可见 dataset.data_info_path、dbinfos_train.pkl、infos_train.pkl 和 infos_val.pkl。
- 训练、剪枝、导出和部署可能消耗 GPU、写入结果目录或处理敏感点云数据;应在用户确认后使用隔离的结果根目录,并保留可恢复副本。
- 确认 Docker 镜像、数据源和相关服务在目标网络环境中的可达性,尤其是中国大陆网络。
- 核对 Apache-2.0/CC-BY-4.0 文件声明与 NOASSERTION 许可证元数据后再发布或再分发。
这个 Skill 能做什么,适合哪些场景?
该技能面向使用激光雷达点云进行三维目标检测的 TAO Toolkit 工作流。它覆盖数据转换、训练、评估、推理、导出、剪枝和剪枝后再训练,并支持 TensorRT 部署流程。模型将点云编码为基于柱体的伪图像,再使用二维检测方法。运行需要 Docker、NVIDIA Container Toolkit 和至少一块 GPU。
读取技能参考文件、数据路径和模型检查点配置,运行 PointPillars CLI 的 dataset_convert、train、evaluate、inference、export 和 prune 操作,并通过 train.pruned_model_path 执行剪枝模型再训练。训练默认启用 AutoML;符合条件时调用 tao-skill-bank:tao-run-automl。部署相关的 gen_trt_engine、TensorRT evaluate 和 TensorRT inference 需要先读取 tao-deploy-pointpillars.md。技能还要求验证 data_info 文件、status.json 以及输出模型或 ONNX 等预期产物。
- 自动驾驶工程师准备包含 train/lidar、train/label、val/lidar 和 val/label 的点云数据并训练检测模型。
- 机器人研究人员希望用已有检查点进行评估或点云推理。
- 模型部署工程师需要将 PointPillars 模型导出为 ONNX 或生成 TensorRT 部署产物。
- 模型优化人员需要剪枝模型并使用剪枝后的 .tlt 文件重新训练。
- 多 GPU 或多节点用户需要通过 torchrun 和 PyTorch DistributedDataParallel 训练。
这个 Skill 有哪些优点和局限?
- 覆盖 PointPillars 的完整主要模型生命周期,包括训练、评估、推理、导出、剪枝和再训练。
- 明确规定数据转换产物、检查点文件名、容器挂载路径和失败状态检查。
- 支持 AutoML、torchrun、多 GPU 和多节点训练。
- 包含 TensorRT 部署说明入口和 TAO 生成的 schema/template 使用规则。
- 依赖 Docker、NVIDIA Container Toolkit 和 NVIDIA GPU;推荐每块 GPU 具备 16GB 以上显存。
- 必须先完成 dataset_convert,并确保 data_info 文件在当前容器中可见,路径配置较严格。
- 提供材料未给出独立测试套件、具体数据集或端到端成功示例。
- README 的仓库许可证为 Apache 2.0 与 CC BY 4.0 双许可证,而该技能自身标注为 Apache-2.0;采用时应区分技能与集合仓库的许可范围。
如何安装这个 Skill?
使用 NVIDIA 技能集合的 CLI 安装:npx skills add nvidia/skills --skill tao-train-pointpillars --yes。README 未说明该单项技能在不同客户端中的具体安装目录;安装后,智能体在加载技能并遇到相关任务时使用它。
如何使用这个 Skill?
安装后,可向智能体提出“train PointPillars”“LiDAR 3D detection”或“point-cloud object detection”等请求。使用前准备 Docker、NVIDIA Container Toolkit、GPU 和已解压的 PointPillars 数据目录;先运行 dataset_convert,再为后续动作提供当前结果根目录中的 dataset.data_info_path。训练、评估、推理、导出、剪枝或再训练时,提供对应检查点、数据路径和输出路径,并检查 status.json 与实际产物。