TAO ChangeNet 根因分析
基于图像证据定位 NVIDIA TAO Visual ChangeNet 分类实验的模型失败原因。
技能明确限定为读取和 Bash,并将输入范围限定为实验结果、训练代码、数据集和 KPI;未发现恶意软件、凭证窃取或隐蔽外传。但 Bash 权限较宽,未要求执行前确认、最小化路径访问、敏感数据处理、回滚或清理;hook 还会复制会话转录和配置,数据流与用户同意机制不充分,因此扣分。
SKILL.md 给出了五阶段流程、报告结构和若干失败检查,BENCHMARK.md 也记录了有限评测结果。但核心流程依赖未提供的 references 文件、Docker、NVIDIA Container Toolkit 和未明确可用的 Agent 工具;未说明输入缺失、格式异常或子代理失败时的可诊断处理,且静态审查不能证明可复现,因此限制在中低分。
目标用户、ChangeNet/AOI RCA 场景、输入目录和 KPI 选项描述较清楚,触发短语也较具体;本地图片与目录分析不依赖海外服务,因此没有因大陆网络可达性额外扣分。但未充分声明不适用场景、权限前提、中文输出支持或不同数据布局的边界,因此扣分。
元数据包含名称、Apache-2.0 许可证、作者和版本号,且 README 与 BENCHMARK 提供了部分仓库和评测背景。文档缺少标准 Instructions、Examples 和 FAQ,依赖安装、维护责任、更新路径、变更记录及引用的 references 文件未在所给材料中完整呈现;静态校验也报告了目录层级、作者格式和 hooks 结构问题,因此扣分。
流程覆盖指标分析、图像审查、配置分析、反事实和修复建议,理论上能产生结构化 RCA_Report.md;有限 benchmark 报告称核心任务表现较好。但输出高度依赖真实实验目录、图像、CSV、配置和可用子代理,且强制大量表格、缩略图和反事实分析可能成本很高;没有可独立核验的代表性最终报告,因此按静态上限给中等分。
SKILL.md 要求主要结论追溯到具体图像,hooks 对报告内容、缩略图和缺陷覆盖提供了可审计检查,evals.json 也给出了一项明确测试任务。可是没有提交的完整测试套件、CI 执行链或实际 RCA 输出;BENCHMARK.md 的结果本身无法在本次静态审查中独立复现,因此扣分并保持低置信度。
- 执行前应明确要求用户确认 Bash 操作、访问路径以及会话转录和配置的复制范围。
- 补齐并固定 references 文件、Agent/子代理能力、Docker/Toolkit 版本和异常输入处理;否则核心流程可能无法运行。
- 不要将 benchmark 报告视为独立验证;应提交覆盖关键路径的真实测试、CI 和样例 RCA 输出。
- 应补充不适用场景、中文输出约定、安装步骤、维护责任、更新路径和变更记录。
这个 Skill 能做什么,适合哪些场景?
该技能面向 NVIDIA TAO Visual ChangeNet 分类实验,调查召回率、FAR 和 PASS/NO_PASS 指标异常。它结合分数统计、阈值分析、图像审查、数据与训练配置检查,形成根因分析报告。重点比较测试图像与黄金参考图像的质量、构图和缺陷可见性。技能需要实验结果、训练代码和数据集目录,并默认采用召回率优先的 KPI 目标。
读取包含 train/ 和 inference/ 的实验结果目录、visual_changenet/ 训练代码目录及数据集目录;分析分数统计、阈值、缺陷类型和 KPI;检查测试图像与黄金图像的曝光、构图和缺陷可见性;执行跨组件、位置、训练图像和光照条件分析;审查数据与训练配置;进行修复方案的反事实模拟;在实验结果目录的时间戳文件夹中生成 RCA_Report.md、图像缩略图、配置副本和会话日志。
- TAO 工程师发现 ChangeNet 模型召回率下降,需要定位具体失败样本和数据原因。
- AOI 缺陷检测团队调查 FAR 回归,并希望结合测试图像与黄金图像进行审计。
- 模型评估人员需要比较不同阈值、缺陷类型和 KPI 目标下的表现。
- 视觉检测团队怀疑黄金图像管线存在曝光或构图不一致问题,需要系统核查。
- 训练团队希望评估数据量、训练配置和决策边界对模型失败的影响。
这个 Skill 有哪些优点和局限?
- 将图像证据作为主要调查依据,而不只依赖指标统计。
- 覆盖分数、图像、数据、训练配置和修复影响分析。
- 明确要求建立 PASS 黄金图像基线,避免使用固定亮度阈值误判。
- 输出结构化 RCA 报告,并包含逐样本视觉证据。
- 仅针对 NVIDIA TAO Visual ChangeNet 分类实验,不适用于一般分类模型 RCA。
- 要求访问实验结果、训练代码、数据集和图像文件。
- 依赖 Docker 与 NVIDIA Container Toolkit,源材料未说明具体版本或硬件支持范围。
- 源材料未提供该技能的测试套件、基准结果或实际成功率。
如何安装这个 Skill?
使用 skills CLI 安装指定技能:
npx skills add nvidia/skills --skill tao-analyze-changenet-rca --yes
README 未说明其他特定安装步骤;运行环境还需要 Docker 和 NVIDIA Container Toolkit。
如何使用这个 Skill?
向已加载该技能的智能体提供实验结果目录、训练代码目录、数据集目录和目标 KPI。可使用触发语句“RCA on my ChangeNet model”或“audit ChangeNet predictions”。未指定 KPI 时,技能默认采用 Recall-first;报告保存位置由技能在实验结果目录下创建的时间戳文件夹决定。