数据与分析 ✓ NVIDIA · 官方 parquetimage-embeddingnearest-neighbor-searchdata-miningvisual-changenetoptical-inspectiondockercuda

TAO AOI 图像挖掘

使用统一图像编码器嵌入目标与源图像,并挖掘用于增强训练的近邻 AOI 图像。

FollowSkills 评估 · FSRS-2.0
不推荐
45/ 100 五分制 2.3 / 5
信任安全12 / 25 · 2.4/5

文档明确要求使用固定容器、工作区挂载、GPU和数据流步骤,并声明Apache-2.0许可及NVIDIA来源;但允许Bash执行、以容器root运行、挂载整个工作区、自动拉取镜像并复制会话日志和配置,未要求用户确认、最小化挂载、敏感数据处理或可靠回滚,因此扣分。

可靠稳定8 / 20 · 2.0/5

三步顺序、输入输出、常见错误和多个检查hook描述较清晰;但依赖Docker、NVIDIA Container Toolkit、CUDA GPU、外部镜像和未提供的versions.yaml及references文件,缺少覆盖关键路径的提交测试,且部分失败仍需用户自行诊断,因此静态评分受限。

适用触发8 / 15 · 2.7/5

目标用户、输入parquet、filepath/label要求、输出artifact和非迭代边界较明确;但仅适用于VCN AOI扩增场景,要求高端GPU和Docker,未说明更广泛的非适用场景、中文交互或中国大陆网络可达性,且核心镜像依赖外部NVIDIA注册表,因此扣分。

规范维护7 / 15 · 2.3/5

SKILL.md具有Inputs、Setup、Method、Outputs、Common pitfalls和Execution Order等分层结构,包含版本、作者和许可元数据;但版本仅为0.1.0,无变更日志、明确维护责任或更新路径,且引用的setup.md、troubleshooting.md和reference-invocation.md未出现在提供材料中,示例和FAQ也不完整。

有效结果6 / 15 · 2.0/5

流程明确产出可供下游训练使用的mined.parquet,并保留中间embedding和summary以支持审计;但实际结果质量依赖编码器、数据质量、外部容器和GPU,缺少代表性输出的可核验内容,基准仅有一个任务且结果包含Codex正确率20%,因此只能给出有限静态效用分。

证据核验4 / 10 · 2.0/5

文件包含固定命令、输出布局、检查hook、评测任务和一份单任务基准报告,提供了有限可审计线索;但没有实际运行日志、CI测试结果或独立复现证据,基准覆盖极薄,关键效果声明无法由静态材料充分验证。

证据充分度: 评估于 2026年7月20日 审查版本 55f18499943e
上游仓库在本次评估后已有新提交;当前评分仍对应所示审查版本,可能尚未覆盖最新改动。
使用前请注意
  • 执行会以容器root身份并通过-v挂载整个工作区,运行前应人工确认挂载范围、数据敏感性和输出覆盖风险。
  • 默认流程会拉取并运行外部tao_toolkit.data_services镜像;应锁定并审查versions.yaml中的具体镜像来源和凭据要求。
  • filter_by_label缺失label时会静默降级为不过滤;必须检查日志和mining_summary.txt,不能仅凭成功退出判断结果正确。
  • 核心功能依赖CUDA GPU、Docker和NVIDIA容器工具链,且未提供大陆网络可达性或离线镜像方案。
  • 自动打包claude_session.jsonl及.claude配置可能泄露会话或环境信息,应在共享结果前审查并清理。
查看完整评分方法 →

这个 Skill 能做什么,适合哪些场景?

该技能执行面向 VCN AOI 迭代的 DEFT“先嵌入、后挖掘”流程。它读取目标 parquet 和源图像池 parquet,分别生成嵌入,再按指定指标检索每个目标的近邻源图像。流程由三个 Docker 调用组成,结果包括去重后的源图像路径 parquet 和挖掘摘要。运行需要 Docker、nvidia-container-toolkit 和 CUDA GPU。

解析 versions.yaml 中的 tao_toolkit.data_services 镜像,检查 Docker、GPU 和镜像缓存;使用同一个 embedding_spec.yaml 对目标 parquet 和源池 parquet 执行 image_embeddings;使用 mining_spec.yaml 执行 tmm nearest_neighbors;按 topn、knn_metric 和可选的标签过滤挖掘近邻;输出包含唯一 filepath 的 mined parquet、两个中间嵌入 parquet 和 mining_summary.txt。

  1. 负责 VCN AOI 数据增强的工程师,需要根据 gap-analysis 输出扩展真实图像训练队列。
  2. 拥有目标弱样本 parquet 和候选源图像池,想按视觉相似度寻找可复用训练图像的数据科学家。
  3. 需要对多个 topn 或标签过滤设置进行重复挖掘的视觉模型团队。
  4. 需要保留嵌入中间结果,以便调查挖掘图像与目标不相关问题的工程团队。

这个 Skill 有哪些优点和局限?

优点
  • 流程固定且确定性强,包含两个嵌入步骤和一个近邻挖掘步骤。
  • 支持 topn、距离指标和标签过滤等运行时覆盖。
  • 保留中间嵌入 parquet,便于复用和排查编码器问题。
  • 输出会记录查询数、近邻数和去重数量等摘要信息。
局限
  • 必须使用 CUDA GPU,CPU 环境无法完成编码和 cuML/cuDF k-NN 搜索。
  • 依赖 Docker、nvidia-container-toolkit 以及 tao_toolkit.data_services 镜像。
  • 两个嵌入步骤若使用不同编码器,会产生不可比较的结果。
  • 源材料未提供该技能独立测试套件或跨平台验证证据。

如何安装这个 Skill?

使用仓库 README 支持的 skills CLI 安装指定技能:

npx skills add nvidia/skills --skill tao-mine-aoi-images --yes

README 未说明该技能的独立发布包或手动复制后的具体目录路径。

如何使用这个 Skill?

准备包含 filepath 的目标 parquet 和源池 parquet,并在工作区中准备 embedding_spec.yaml 与 mining_spec.yaml。向已加载该技能的代理提出类似请求:“对我的 VCN AOI 目标 parquet 和源池执行 tao-mine-aoi-images 的 DEFT 嵌入与近邻挖掘流程。”运行前需解析 DS_IMAGE、检查 Docker/nvidia-smi,并按顺序执行目标嵌入、源池嵌入和 nearest_neighbors 三步。两个嵌入步骤必须使用完全相同的编码器配置;SigLIP 或 CLIP 通常使用 cosine 指标。

常见问题

可以在没有 NVIDIA GPU 的机器上运行吗?
不可以。SKILL.md 明确要求 CUDA GPU,编码器前向计算和 cuML/cuDF k-NN 搜索都依赖 GPU。
源池可以直接使用 CSV 吗?
不能直接作为挖掘输入。应先转换为保留相同列的 parquet;若使用标签过滤,还需保留 label 列。
为什么挖掘结果可能包含跨标签图像?
当 filter_by_label=true 但任一嵌入 parquet 缺少 label 列时,容器会警告并继续执行而不进行过滤。
运行时可以调整挖掘数量吗?
可以。可通过 Hydra 覆盖传入例如 topn=10,也可以调整 knn_metric 或 filter_by_label。

同仓库的其他 Skills

均来自 NVIDIA/skills

数据与分析 ✓ NVIDIA · 官方

TAO VCN 样本路由

将视觉缺陷分析样本按标签资格分流至挖掘和异常生成模块。

开发与工程 ✓ NVIDIA · 官方

Holoscan SDK 安装向导

根据主机环境选择并引导完成 Holoscan SDK 的合适安装方式。

自动化与运维 ✓ NVIDIA · 官方

TAO NVIDIA GPU 主机配置

为 TAO 的 Docker 与 Kubernetes GPU 主机检查并配置 NVIDIA 驱动、CUDA 和容器运行时。

自动化与运维 ✓ NVIDIA · 官方

Holoscan NGC 容器安装助手

通过 NGC Docker 容器安装、验证并启动 NVIDIA Holoscan SDK。

自动化与运维 ✓ NVIDIA · 官方

cuOpt 安装助手

指导在 Python、C 或 REST 服务中安装并验证 NVIDIA cuOpt。

开发与工程 ✓ NVIDIA · 官方

Holoscan SDK 源码构建

在 Docker 容器中从源码构建 Holoscan SDK,并生成可供 CMake 使用的本地安装目录。

数据与分析 ✓ NVIDIA · 官方

TAO ChangeNet 根因分析

基于图像证据定位 NVIDIA TAO Visual ChangeNet 分类实验的模型失败原因。

数据与分析 ✓ NVIDIA · 官方

TAO AutoML + DEFT 三阶段训练管线

为 AOI 与其他 DEFT 应用串联超参数优化、数据改进和最终模型精调。

数据与分析 ✓ NVIDIA · 官方

TAO DEFT AOI 检测优化循环

为 PCB 视觉检测模型自动执行评估、缺陷增强、挖掘、重训与部署门控。

数据与分析 ✓ NVIDIA · 官方

TAO Visual ChangeNet 工业视觉检测

训练和部署用于 PCB 缺陷检测的图像分类与变化分割模型。

数据与分析 ✓ NVIDIA · 官方

NV-Generate-MR

通过 NVIDIA 的 rflow-mr 流程生成合成体部 MRI 影像体积。

数据与分析 ✓ NVIDIA · 官方

cuPyNumeric 分片并行加载

为分片磁盘数据构建按处理器并行的 cuPyNumeric 加载路径。

数据与分析 ✓ NVIDIA · 官方

VSS 视频分析查询

通过 VA-MCP 读取视频分析事件、指标、告警与传感器数据。

数据与分析 ✓ NVIDIA · 官方

NV-Segment-CTMR 医学影像分割

在 CT 或 MRI NIfTI 体数据上运行分割并生成可核查证据。

数据与分析 ✓ NVIDIA · 官方

Cosmos-Embed 视频检索与微调技能

用 Cosmos-Embed1 将视频与文本嵌入用于检索和微调。

自动化与运维 ✓ NVIDIA · 官方

VSS 归档视频搜索

通过自然语言搜索归档视频,并摄取文件或 RTSP 流建立可检索索引。

数据与分析 ✓ NVIDIA · 官方

TAO PyT 图像分类

用 NVIDIA TAO 训练、评估并部署 PyTorch 图像分类模型。

数据与分析 ✓ NVIDIA · 官方

TAO 光学缺陷检测训练

用孪生网络训练和部署制造业缺陷检测模型。

数据与分析 ✓ NVIDIA · 官方

脑部 MRI 合成生成

通过 NVIDIA 工作流生成合成脑部 MRI 体积。

数据与分析 ✓ NVIDIA · 官方

TAO VCN 分类缺口分析

定位最脆弱的VCN分类样本并生成增强候选队列。

相关 Skills