TAO VCN 分类缺口分析
定位最脆弱的VCN分类样本并生成增强候选队列。
技能明确说明输入、挂载路径、容器输出和部分失败条件,并声明 Apache-2.0;但要求 --gpus all、--ipc=host、工作区整目录挂载、拉取外部镜像及后续 chown,未要求用户确认,也未充分说明敏感图像/日志的数据流、镜像完整性验证或可逆恢复,因此扣分。
SKILL.md 给出了输入列、阈值逻辑、常见错误和不可达 KPI 的反馈路径;但文档存在 results_dir/output_dir、kpi_gaps.parquet/gaps.parquet 及调用参数不一致,且静态审查不能验证容器关键路径,故限制在 6 分。
目标用户、输入目录、输出物、适用场景和不适用的复杂分析范围较清楚;但依赖 CUDA GPU、Docker、NVIDIA Container Toolkit 和运行时镜像,未说明中文交互支持,海外镜像/注册表可达性也未处理,故扣分。
前置元数据包含名称、描述、许可证、作者、版本和依赖说明,正文有分层的 Inputs/Setup/Method/Outputs/Pitfalls;但缺少明确维护责任、更新路径、变更日志、FAQ/Examples 标准章节,且基准报告指出结构和作者格式问题,引用的 references 文件也未在材料中提供。
算法目标、阈值选择、按标签 top-K 和 parquet 输出定义明确,基准报告还显示单项评估的正确性和有效性结果;但只有一个评估任务,结果需要人工视觉复核,且文档/钩子命名不一致可能导致产物检查失败,静态证据不足以支持高于 6 分。
提供了固定 revision、输入列、输出 schema、指标文件和钩子校验逻辑,基准报告提供有限的评估记录;但没有多任务覆盖或可独立复现的完整 CI/测试套件,且钩子与正文存在文件名矛盾,因此仅给 4 分。
- 运行会授予容器 GPU、IPC 主机访问和工作区读写挂载权限;应在用户确认后执行,并限制挂载路径。
- 正文要求生成 kpi_gaps.parquet,但多个钩子检查 gaps.parquet;results_dir/output_dir 也不一致,发布前应统一。
- 技能依赖运行时 NVIDIA 镜像、Docker、GPU 和可能受网络限制的注册表;未提供无 GPU 或镜像不可达时的等价替代流程。
- 应补充 references 文件、维护责任、更新路径、变更日志、中文使用说明,以及敏感图像和会话日志的保留/脱敏策略。
这个 Skill 能做什么,适合哪些场景?
该技能面向 NVIDIA TAO VCN Classify 实验结果,分析 PASS 与 NO_PASS 的决策边界。它在 TAO data-services 容器中扫描阈值、按标签评估样本弱点,并输出每个样本按光照条件展开的 Parquet 队列。技能还要求对少量代表性弱样本进行视觉抽查,以区分错标、边界案例、数据质量问题和系统性问题。它适合已有 VCN 推理结果、训练配置、数据集目录以及 NVIDIA GPU 环境的团队。
读取实验目录中的 inference/inference.csv、VCN 训练 YAML 和数据集图像根目录;解析 inference.csv 中的 input_path、object_name、label 和 siamese_score;通过 docker run 调用 versions.yaml 指定的 tao_toolkit.data_services 容器执行 gap_analysis vcn_aoi;扫描候选阈值并选择满足 min_recall 的最佳 F1 阈值;按真实标签计算 signed weakness,选出每标签 top_k_per_label 个最弱样本,并依据训练配置中的光照映射和图像扩展名展开;生成 kpi_gaps.parquet、threshold.txt、metrics.json 和 weak_samples_breakdown.txt;若 KPI 无法达到则生成 unreachable_kpi.txt,否则抽查 5 个最弱 PASS 样本和 5 个最弱 NO_PASS 样本并复制到 rca_images/。
- VCN 分类实验完成后,模型团队需要选择下一轮 SDA 数据增强目标。
- 质量工程师审计 PASS/NO_PASS 决策边界附近的错误样本。
- 数据团队希望按真实标签获得排序后的弱样本 Parquet 队列。
- 视觉检测团队需要通过少量图像抽查判断问题属于错标、边界案例、数据质量或系统性问题。
这个 Skill 有哪些优点和局限?
- 流程集中在一次 TAO data-services 容器调用和小规模视觉抽查。
- 按真实标签排序弱样本,并按光照条件展开,便于后续增强。
- 输出阈值、混淆矩阵、指标和每标签弱点统计。
- 对 GPU、挂载路径、-e 配置和 top_k_per_label 等常见失败点有明确说明。
- 依赖 Docker、nvidia-container-toolkit、CUDA GPU 和指定 TAO 容器。
- 仅适用于 NVIDIA TAO VCN Classify 的二分类推理结果,不覆盖其他模型维度。
- 需要访问本地推理 CSV、训练配置和图像文件;模型无论是否能达到 recall KPI,结果可能中止于容器阶段。
- 源材料未提供该单项技能的独立测试结果或运行平台覆盖证据。
- 仓库元数据标为 NOASSERTION,而 README 声明仓库采用 Apache 2.0 与 CC BY 4.0 双许可证;该 SKILL.md 自身声明 Apache-2.0。
如何安装这个 Skill?
使用仓库 README 支持的 skills CLI 安装:npx skills add nvidia/skills --skill tao-analyze-gaps-visual-changenet --yes。README 未规定其他客户端的专属安装步骤。
如何使用这个 Skill?
在已安装技能的 Agent 中提出类似“分析这个 NVIDIA TAO VCN Classify 实验的分类缺口,并生成按标签排序的增强候选样本”的请求。运行前需准备实验结果目录、训练 YAML 和数据集目录,并确保 Docker、nvidia-container-toolkit、CUDA GPU 以及 versions.yaml 中指定的 TAO data-services 镜像可用。必须传入正整数 top_k_per_label;技能会将结果写入实验目录下带实际时间戳的 rca_results/目录。具体路径参数、容器镜像解析和视觉抽查流程以 SKILL.md 为准。