i4H 数据集标注工作流
使用视觉语言模型验证轨迹是否完成任务,并筛选可用于微调的数据。
文档明确限制产物目录、区分本地与外部VLM,并提示不要泄露密钥;但默认可自动克隆远程仓库、启动服务并将潜在医疗数据发送到可配置的外部端点,缺少用户确认、最小权限、数据脱敏、传输边界和回滚说明,因此扣分。
步骤、路径解析、HDF5选择、产物检查和故障排查较完整;但依赖外部仓库、运行中的VLM、特定环境配置和未验证的shell行为,且静态审查不能证明关键路径可运行,按校准不超过10分。
触发条件、离线/实时模式和非适用场景较清楚;但ENV_ID硬编码为scissor_pick_and_place,输入与环境假设有限,文档仅英文,GitHub及外部模型服务在中国大陆网络中的可达性未说明,因此扣分。
具备名称、版本、许可证、所有者、依赖、限制、故障排查和最终输出说明;但缺少推荐的Instructions和Examples章节,缺少明确变更记录、维护责任与更新路径,且依赖的setup技能未在本文件中展开,因此扣分。
能够覆盖标注、过滤和汇总这一核心任务,并定义输出产物;但VLM判断质量、不同环境和异常数据的结果未由本文件验证,基准仅含2个正向任务且有效性约45%至48%,静态校准上限为7分,因此扣分。
提供了提交的evals.json、基准报告和静态验证发现,具有一定可审计性;但没有该技能对应的提交测试套件或CI复现关键路径,基准结果也无法仅凭给定文件独立复核,因此仅给有限分数。
- 运行前应明确确认是否允许克隆仓库、启动或停止VLM,以及是否可将HDF5图像发送到外部端点;医疗数据应先脱敏并记录数据流。
- 应将ENV_ID、端点、模型和录入文件改为显式用户参数,并补充中国大陆网络不可达时的本地部署方案。
- VLM标注结果应视为需人工复核的分类建议,不能直接作为医疗或训练数据质量的唯一依据。
这个 Skill 能做什么,适合哪些场景?
该技能面向 Isaac for Healthcare 工作流中的数据集标注。它使用视觉语言模型检查每个 episode 是否满足环境任务描述,并生成成功或失败标注。用户可以据此筛选演示数据,或将结果作为微调前的成功门控。技能支持离线 HDF5 录制和运行中策略会话的实时判定。
解析 i4h-workflows 环境配置中的任务描述,选择一个 HDF5 录制文件或接收用户指定的文件;调用 OpenAI 兼容的视觉模型端点,对离线 episode 或实时相机帧进行判定;在 workflows/agentic/runs/ 下创建运行目录,写入 annotations.jsonl、日志和可选的 filtered.hdf5,并统计 success=true 与 success=false 的数量。
- 需要为单个 HDF5 录制中的全部 episode 生成成功/失败标签的数据工程师。
- 希望从遥操作或模仿学习演示中筛选成功轨迹的研究人员。
- 在微调前需要用成功分类器门控训练数据的团队。
- 已有运行中策略或 Arena 会话,并希望对最新相机帧进行实时评判的用户。
这个 Skill 有哪些优点和局限?
- 支持离线 HDF5 标注和实时相机帧判定。
- 可生成 JSONL 标注与筛选后的 HDF5 数据集。
- 默认从环境 YAML 读取任务描述,也支持按运行覆盖。
- 明确避免使用不支持图像输入的文本模型。
- 依赖已配置的 i4h-workflows、`.venv`、HDF5 录制和可访问的视觉模型端点。
- 无法仅使用文本模型完成标注;默认端点为 localhost:8000/v1。
- 实时模式要求策略或 Arena 会话已经运行。
- 提供的是工作流指令;源材料未提供独立测试结果或平台覆盖证据。
如何安装这个 Skill?
使用 NVIDIA 技能集合中的单技能安装命令:npx skills add nvidia/skills --skill i4h-workflow-dataset-annotate --yes
README 未说明 i4h-workflows 本身的完整安装步骤;技能要求该工作流已设置且存在 .venv。
如何使用这个 Skill?
先确保 i4h-workflows 可用、存在待标注的绝对路径 HDF5 文件,并运行可访问的视觉模型端点。离线模式使用 workflows/agentic/annotator/run.sh 的 offline --hdf5-path <path> --filter <output> 参数;实时模式使用 live --count 5 --interval 2.0 --timeout 30.0。可通过 VLM_BASE_URL、VLM_MODEL 和 HDF5_PATH 指定服务、模型与录制文件。触发示例:Run Annotation on all recorded episodes。