TAO SegFormer 语义分割技能
为 TAO SegFormer 提供语义分割训练、评估与部署指导。
技能明确限定为 Read 和 Bash,并要求使用 Docker/NVIDIA 容器;未见恶意行为、凭据窃取或隐蔽外传指令。但训练、上传、W&B(模板默认 enable: true)及 TensorRT 流程可能产生外部或持久化影响,缺少用户确认、敏感数据处理、最小权限说明和回滚方案,因此扣分。
文档提供了动作、数据目录、参数映射、检查点选择和常见错误处理,快乐路径较清晰。静态材料未包含覆盖关键路径的测试或可复现运行日志,且依赖版本、镜像可用性和异常反馈仍不充分;按静态上限,扣分并限制在10分以内。
目标场景、支持动作、数据格式、GPU要求和若干非适用边界较明确。未明确语义触发排除条件、输入输出契约、中文支持或中国大陆网络可达性;核心依赖Docker、NVIDIA Toolkit和TAO容器,环境适配证据有限,因此扣分。
目录结构和分层参考文件较完整,包含版本0.1.0、作者、许可证字段、模板、参数表、限制和错误模式。缺少SKILL.md建议的Instructions/Examples章节、变更日志、明确维护责任和更新路径;许可证元数据与仓库文档/源代码双许可证表述也存在边界不清,因此扣分。
技能覆盖训练、评估、导出、推理、量化和部署,并给出数据路径、规格覆盖、AutoML路由及检查点交接规则,理论上可完成核心任务。只有一个正向基准任务且静态材料未证明实际产物可直接使用,替代方案和成本收益也未比较;按静态上限给出7分并扣除验证不足。
存在版本化配置、动作清单、模板、参数映射和一份单任务基准报告,提供有限审计线索。基准没有可独立复现的完整测试套件或运行证据,且仅覆盖一个正向任务,无法支持更高静态分数,因此扣分。
- 运行训练、W&B同步或部署前应明确确认数据上传、网络访问、结果目录覆盖及GPU资源影响,并关闭不需要的W&B功能。
- 请先验证TAO容器、Docker/NVIDIA Container Toolkit、TAO版本和参考文件在目标环境可用;文档未证明中国大陆网络可达性。
- 许可证元数据、仓库双许可证声明和技能实际内容的适用范围应由维护者进一步澄清。
这个 Skill 能做什么,适合哪些场景?
该技能面向使用 NVIDIA TAO Toolkit 进行 SegFormer 语义分割的工作流。它覆盖训练、评估、导出、推理和量化,并说明 TensorRT 部署流程。技能包含数据集目录要求、关键参数、多 GPU 配置、检查点传递和常见错误处理。它适合已有分割数据和 NVIDIA GPU、希望通过 Docker 使用 TAO 的用户。
读取技能内的 TAO 配置、生成的 schema、规格模板和部署参考;指导用户为训练、评估、导出、推理及量化构造数据源路径和 spec_overrides;通过 TAO PyT CLI 处理常规模型操作,并通过 SegFormer deploy 流程生成 TensorRT 引擎及执行 TensorRT 评估或推理;根据 AutoML 策略选择 AutoML 或直接训练;从训练结果目录解析适用的模型检查点,并应用到下游操作;依据 val_miou、数据目录、类别数、图像尺寸和显存错误信息给出处理建议。
- 计算机视觉工程师使用自有 UNet 格式数据训练二分类或多类 SegFormer 模型。
- 模型开发者需要在训练后评估模型、导出 ONNX、运行推理或执行量化。
- 部署工程师需要通过 SegFormer 专用部署流程生成 TensorRT 引擎并进行 TensorRT 推理。
- AutoML 用户希望以 val_miou 最大化为目标运行 TAO SegFormer 超参数搜索。
- 使用多 GPU 或多节点环境训练,并需要 Lightning 管理的分布式启动配置的团队。
这个 Skill 有哪些优点和局限?
- 覆盖 SegFormer 的训练、评估、导出、推理和量化流程。
- 明确规定各操作的数据目录、关键 spec 字段和检查点传递方式。
- 包含 AutoML 默认策略、val_miou 优化目标、多 GPU 配置和常见故障处理。
- 说明父 PyT CLI 不支持 gen_trt_engine,并提供专用部署路径。
- 依赖 Docker、nvidia-container-toolkit 和至少一块 NVIDIA GPU。
- 只明确支持 segmentation 数据类型和 UNet 格式;其他数据格式未有证据支持。
- 训练、部署参考文件和实际容器版本的完整内容未在材料中提供。
- 材料没有给出测试套件、支持的具体 GPU 型号清单或完整端到端命令。
- TensorBoard 不支持 SegFormer 分割训练,必须保持关闭。
如何安装这个 Skill?
使用 NVIDIA/skills 仓库提供的 skills CLI 安装:
npx skills add nvidia/skills --skill tao-train-segformer --yes
README 未规定手动复制该技能目录的步骤;安装后,技能目录应由 CLI 放置到所选 agent 的技能位置。
如何使用这个 Skill?
安装后,在支持该技能的 agent 中提出明确任务,例如“训练 SegFormer 语义分割模型”或“导出并量化 TAO SegFormer 模型”。准备包含 images/<split> 和 masks/<split> 的已解压数据根目录,并提供所需检查点、类别数、图像尺寸和输出目录。训练请求默认使用 AutoML;如需本次关闭,可明确说“disable AutoML”或“plain training”。TensorRT 引擎生成、TensorRT 评估和 TensorRT 推理应使用技能 references/tao-deploy-segformer.md 所述的部署流程。精确的容器启动命令和完整运行示例未在提供的材料中说明。
这个 Skill 与同类方案有什么区别?
未提供与其他分割模型或工具的直接比较。材料仅表明该技能使用相对轻量、带层级特征提取的 SegFormer 架构,并支持 TAO 与 TensorRT 工作流。