数据与分析 ✓ NVIDIA · 官方 dataset-annotationepisode-filteringhdf5vlmsuccess-classificationisaac-for-healthcare

i4H 数据集标注工作流

使用视觉语言模型验证轨迹是否完成任务,并筛选可用于微调的数据。

FollowSkills 评估 · FSRS-2.0
不推荐
44/ 100 五分制 2.2 / 5
信任安全11 / 25 · 2.2/5

文档明确限制产物目录、区分本地与外部VLM,并提示不要泄露密钥;但默认可自动克隆远程仓库、启动服务并将潜在医疗数据发送到可配置的外部端点,缺少用户确认、最小权限、数据脱敏、传输边界和回滚说明,因此扣分。

可靠稳定8 / 20 · 2.0/5

步骤、路径解析、HDF5选择、产物检查和故障排查较完整;但依赖外部仓库、运行中的VLM、特定环境配置和未验证的shell行为,且静态审查不能证明关键路径可运行,按校准不超过10分。

适用触发8 / 15 · 2.7/5

触发条件、离线/实时模式和非适用场景较清楚;但ENV_ID硬编码为scissor_pick_and_place,输入与环境假设有限,文档仅英文,GitHub及外部模型服务在中国大陆网络中的可达性未说明,因此扣分。

规范维护9 / 15 · 3.0/5

具备名称、版本、许可证、所有者、依赖、限制、故障排查和最终输出说明;但缺少推荐的Instructions和Examples章节,缺少明确变更记录、维护责任与更新路径,且依赖的setup技能未在本文件中展开,因此扣分。

有效结果5 / 15 · 1.7/5

能够覆盖标注、过滤和汇总这一核心任务,并定义输出产物;但VLM判断质量、不同环境和异常数据的结果未由本文件验证,基准仅含2个正向任务且有效性约45%至48%,静态校准上限为7分,因此扣分。

证据核验3 / 10 · 1.5/5

提供了提交的evals.json、基准报告和静态验证发现,具有一定可审计性;但没有该技能对应的提交测试套件或CI复现关键路径,基准结果也无法仅凭给定文件独立复核,因此仅给有限分数。

证据充分度: 评估于 2026年7月29日 审查版本 ce70ca7f1966
上游仓库在本次评估后已有新提交;当前评分仍对应所示审查版本,可能尚未覆盖最新改动。
使用前请注意
  • 运行前应明确确认是否允许克隆仓库、启动或停止VLM,以及是否可将HDF5图像发送到外部端点;医疗数据应先脱敏并记录数据流。
  • 应将ENV_ID、端点、模型和录入文件改为显式用户参数,并补充中国大陆网络不可达时的本地部署方案。
  • VLM标注结果应视为需人工复核的分类建议,不能直接作为医疗或训练数据质量的唯一依据。
查看完整评分方法 →

这个 Skill 能做什么,适合哪些场景?

该技能面向 Isaac for Healthcare 工作流中的数据集标注。它使用视觉语言模型检查每个 episode 是否满足环境任务描述,并生成成功或失败标注。用户可以据此筛选演示数据,或将结果作为微调前的成功门控。技能支持离线 HDF5 录制和运行中策略会话的实时判定。

解析 i4h-workflows 环境配置中的任务描述,选择一个 HDF5 录制文件或接收用户指定的文件;调用 OpenAI 兼容的视觉模型端点,对离线 episode 或实时相机帧进行判定;在 workflows/agentic/runs/ 下创建运行目录,写入 annotations.jsonl、日志和可选的 filtered.hdf5,并统计 success=true 与 success=false 的数量。

  1. 需要为单个 HDF5 录制中的全部 episode 生成成功/失败标签的数据工程师。
  2. 希望从遥操作或模仿学习演示中筛选成功轨迹的研究人员。
  3. 在微调前需要用成功分类器门控训练数据的团队。
  4. 已有运行中策略或 Arena 会话,并希望对最新相机帧进行实时评判的用户。

这个 Skill 有哪些优点和局限?

优点
  • 支持离线 HDF5 标注和实时相机帧判定。
  • 可生成 JSONL 标注与筛选后的 HDF5 数据集。
  • 默认从环境 YAML 读取任务描述,也支持按运行覆盖。
  • 明确避免使用不支持图像输入的文本模型。
局限
  • 依赖已配置的 i4h-workflows、`.venv`、HDF5 录制和可访问的视觉模型端点。
  • 无法仅使用文本模型完成标注;默认端点为 localhost:8000/v1。
  • 实时模式要求策略或 Arena 会话已经运行。
  • 提供的是工作流指令;源材料未提供独立测试结果或平台覆盖证据。

如何安装这个 Skill?

使用 NVIDIA 技能集合中的单技能安装命令:
npx skills add nvidia/skills --skill i4h-workflow-dataset-annotate --yes
README 未说明 i4h-workflows 本身的完整安装步骤;技能要求该工作流已设置且存在 .venv

如何使用这个 Skill?

先确保 i4h-workflows 可用、存在待标注的绝对路径 HDF5 文件,并运行可访问的视觉模型端点。离线模式使用 workflows/agentic/annotator/run.shoffline --hdf5-path <path> --filter <output> 参数;实时模式使用 live --count 5 --interval 2.0 --timeout 30.0。可通过 VLM_BASE_URLVLM_MODELHDF5_PATH 指定服务、模型与录制文件。触发示例:Run Annotation on all recorded episodes

常见问题

它会自动标注所有历史 HDF5 文件吗?
不会。未指定文件时,默认选择 `.latest` 中的可标注 HDF5,否则选择 runs 下最新的非标注 HDF5;只有用户明确要求历史批处理时才跨多个文件。
需要什么模型?
需要支持图像输入的 OpenAI 兼容视觉模型端点,例如默认的 Qwen/Qwen3-VL-8B-Instruct;文本模型如 qwen3-coder-next 不适用。
标注失败时通常检查什么?
检查 `.venv`、HDF5_PATH、模型端点地址和实际提供的模型 ID;若要生成筛选数据,还要传入 `--filter`。

同仓库的其他 Skills

均来自 NVIDIA/skills

数据与分析 ✓ NVIDIA · 官方

I4H 模拟数据集扩增

通过加入动作和状态噪声,从现有 HDF5 录制数据复制轨迹并扩增数据集。

开发与工程 ✓ NVIDIA · 官方

Isaac for Healthcare 数据集回放

在 Isaac Sim 中回放 HDF5 轨迹,检查机器人演示的视觉正确性。

数据与分析 ✓ NVIDIA · 官方

I4H 遥操作数据集录制

通过键盘、SO-ARM 主臂或 VR 遥操作,将人类示范录制为 HDF5 数据集。

数据与分析 ✓ NVIDIA · 官方

I4H 数据集转换器

将 Isaac for Healthcare 的 HDF5 录制转换为可用于训练的 LeRobot 数据集。

开发与工程 ✓ NVIDIA · 官方

Isaac for Healthcare 工作流验证

运行策略或状态机控制器并将验证回合记录到 HDF5。

数据与分析 ✓ NVIDIA · 官方

LeRobot 数据集可视化器

在浏览器中检查转换后的 LeRobot 数据集。

自动化与运维 ✓ NVIDIA · 官方

Isaac for Healthcare 全流程工作流

把 Isaac for Healthcare 从录制一路跑到验证

开发与工程 ✓ NVIDIA · 官方

I4H 场景编辑工作流

通过桥接会话实时编辑 Isaac for Healthcare 环境场景。

开发与工程 ✓ NVIDIA · 官方

导管导航设置验证

验证导管导航工作流的主机、GPU与Python路径配置。

开发与工程 ✓ NVIDIA · 官方

导管导航透视视口

启动带实时导管物理和透视控制的交互式介入导航视口。

开发与工程 ✓ NVIDIA · 官方

I4H 工作流环境创建

从现有环境快速搭建可运行的 Isaac for Healthcare 新环境。

开发与工程 ✓ NVIDIA · 官方

I4H 机器人策略微调

在 LeRobot 数据集上微调 GR00T 或 openpi PI0 策略。

开发与工程 ✓ NVIDIA · 官方

导管导航端到端烟雾测试

为 Isaac for Healthcare 导管导航工作流执行从环境验证到 DRR 渲染和单元测试的 v0.7 全流程检查。

数据与分析 ✓ NVIDIA · 官方

TAO 图像指代表达式标注管线

将图像和 KITTI 框标注转换为可定位的指代表达式数据。

数据与分析 ✓ NVIDIA · 官方

cuPyNumeric 并行 HDF5 I/O

让分布式 cuPyNumeric 数组高效读写单文件 HDF5。

自动化与运维 ✓ NVIDIA · 官方

VSS 视频摘要

通过LVS服务或VLM回退,为录制视频生成带时间戳的叙事摘要。

数据与分析 ✓ NVIDIA · 官方

cuPyNumeric 分片并行加载

为分片磁盘数据构建按处理器并行的 cuPyNumeric 加载路径。

自动化与运维 ✓ NVIDIA · 官方

VSS 视频分析报告

为单个视频片段或事件时间范围生成结构化的视频分析报告。

数据与分析 ✓ NVIDIA · 官方

VSS 视频问答

让智能体直接查看视频片段并回答具体视觉问题。

数据与分析 ✓ NVIDIA · 官方

TAO DAFT 数据集格式转换

帮助 AI 代理使用 tao-daft 在受支持的 DAFT 格式之间转换数据集。

相关 Skills