TAO MAL 弱监督分割
用点或框标注训练模型,生成弱监督语义分割掩码。
文档限定为 Read/Bash,并明确需要 Docker、NVIDIA Container Toolkit、GPU、数据源和检查点映射;但 Bash、容器、数据上传和默认启用 Weights & Biases 可能产生外部影响,未说明用户确认、敏感数据处理、遥测披露或回滚策略,因此扣分。NVIDIA 官方组织来源可支持归属,但不能替代安全证据。
SKILL.md、skill_info.yaml、模板和 schema 对 train/evaluate/inference、数据路径、检查点和 OOM 有较一致说明,并声明确定性 CUDA 设置;但没有实际执行日志、覆盖关键路径的测试或详细异常输入反馈,且模板/schema 内容较冗余,故按静态上限保守扣分。
名称、触发短语、训练/评估/推理场景、COCO 数据要求、GPU/显存要求和非兼容 CSV 说明较清楚;但未明确更多不适用范围、中文交互支持或中国大陆网络可达性,且依赖 Docker、NVIDIA GPU 和可能的 W&B,故扣分。
包含 Apache-2.0 许可证、版本 0.1.0、作者、标签、schema/template 组织和错误模式;但缺少 Instructions、Examples、FAQ、变更记录、明确维护责任/更新流程,作者格式也不完整,benchmark 记录了这些结构性问题,因此扣分。
核心目标、输入格式、spec_overrides、训练/评估/推理输出和检查点选择规则基本可直接指导工作;但没有可验证的代表性产物,效果依赖正确数据、预训练权重和高端 GPU,benchmark 仅含一个任务且静态审查不能确认实际结果,因此保守给分。
存在 schema 元数据、评估任务、benchmark 报告和静态验证发现,提供了一定可追溯性;但只有一个正向任务、无负向任务、无提交测试套件或 CI 覆盖,benchmark 结果也不能在本次静态审查中独立复现,因此扣分。
- 默认 W&B enable=true,文档未说明上传哪些数据或如何关闭遥测;处理敏感数据前应确认网络和遥测策略。
- 需要 COCO 风格 annotations.json、匹配的 image file_name、预训练权重和至少 24GB GPU;CSV/普通归档数据不能直接使用。
- AutoML 路由依赖打包 schema/template 和外部 tao-skill-bank 能力,缺失时只能回退直接训练;本次未执行验证。
- 文档缺少明确的失败诊断、示例、FAQ、变更记录和中国大陆网络/中文支持说明。
这个 Skill 能做什么,适合哪些场景?
该技能面向 NVIDIA TAO Toolkit 的 MAL(Mask Auto-Label)模型,用最少的点或框标注生成分割掩码。模型使用 ViT-MAE 主干,支持训练、评估和推理,并以 mIoU 作为监测指标。训练默认启用 AutoML;也可以针对单次运行关闭 AutoML。运行需要 Docker、NVIDIA Container Toolkit,以及至少一块 GPU。
读取 TAO 的模型配置、打包的训练 schema 和模板,构造训练、评估或推理所需的数据源路径,并运行相应的 TAO 工作流。它要求使用包含 images.tar.gz 和 annotations.json 的数据源,且 COCO 标注中的 file_name 必须与准备后的图像路径匹配。训练可通过 TAO AutoML 路由执行,也可进行直接训练;评估和推理使用指定或解析出的检查点,并生成模型结果或 MAL 推理 JSON。
- 需要用点标注或框标注训练弱监督分割模型的视觉团队。
- 希望使用 ViT-MAE 主干微调 MAL 模型的 TAO 用户。
- 需要在 COCO 格式数据集上训练并以 mIoU 监控效果的工程师。
- 需要对训练或 AutoML 检查点执行评估和推理的团队。
- 需要在多 GPU 或多节点环境中运行 Lightning 管理训练的用户。
这个 Skill 有哪些优点和局限?
- 覆盖 MAL 模型的训练、评估和推理流程。
- 明确规定了 COCO 标注、数据路径和检查点解析要求。
- 支持 AutoML、单 GPU、多 GPU 和多节点训练。
- 提供常见显存不足和 crop_size 配置错误的处理建议。
- 需要 Docker、NVIDIA Container Toolkit 和至少一块 NVIDIA GPU;推荐每块 GPU 具备 24GB 以上显存。
- 文档要求训练数据采用特定的压缩图像与 COCO JSON 结构,未转换的数据不能直接使用。
- 源材料没有提供独立测试套件、示例数据集或实际性能结果。
- README 的仓库级元数据标为 NOASSERTION;技能自身的 SKILL.md 标注为 Apache-2.0,仓库 README 声明整体采用 Apache 2.0 与 CC BY 4.0 双许可证。
如何安装这个 Skill?
使用 NVIDIA 技能仓库提供的 skills CLI 安装:npx skills add nvidia/skills --skill tao-train-mask-auto-label --yes。README 说明 CLI 会处理安装目标;未提供更具体的本地目录要求。
如何使用这个 Skill?
在已加载技能的 Agent 中提出“train MAL”“Mask Auto-Label”或“weakly-supervised segmentation”等请求。准备 train、eval 或 inference 数据源时,提供 images.tar.gz 和 annotations.json,并在每个动作的 spec_overrides 中填写对应路径。训练前设置 train.pretrained_model_path 指向 ViT-MAE 权重;如需关闭 AutoML,明确说明“disable AutoML”或“plain training”。