I4H 遥操作数据集录制
通过键盘、SO-ARM 主臂或 VR 遥操作,将人类示范录制为 HDF5 数据集。
技能明确要求人工操作、避免无头运行、清理停止进程,并说明输出文件与日志;但默认可直接克隆远程仓库、创建目录/符号链接并启动 GUI/硬件流程,缺少执行前确认、数据敏感性说明、权限边界和回滚方案,因此扣分。
步骤顺序、设备限制、绝对路径要求、日志提取、成功判定和故障排查较具体;但依赖外部仓库、特定环境、硬件和 tmux 会话,未提供本技能关键路径的可执行测试或静态可复现证据,因此按静态上限保守扣分。
触发条件、目标用户、环境示例、设备映射、非适用情形和无人操作时的行为均有说明;但未说明中文交互支持,且默认从 GitHub 克隆,面向中国大陆网络的可达性和替代方案不明确,因此扣分。
具备清晰的用途、版本 0.6.0、Apache-2.0 许可、作者、前置条件、限制、故障排查和最终输出格式;但缺少推荐的 Instructions 和 Examples 章节,变更记录、维护责任与更新路径不完整,且安装流程依赖另一个技能,因此扣分。
能够指导创建运行目录、启动 teleop、保存 HDF5、提取按设备变化的按键并验证成功 episode 数,核心结果定义明确;但实际结果依赖真人、GUI、机器人环境和硬件,无法仅凭文件确认可直接完成,且 benchmark 只有两项正向任务、codex effectiveness 为 46%,因此按静态上限保守扣分。
包含版本化 benchmark、评测任务、指标和结果,也有明确的文件/日志验证条件;但没有提交原始日志、CI 流程或覆盖关键路径的本技能测试,benchmark 结果无法由当前文件独立复现,因此扣分。
- 默认可能从 GitHub 克隆外部代码并启动机器人/仿真流程;执行前应确认仓库来源、网络可达性、工作目录和用户是否同意外部副作用。
- 录制内容可能包含相机画面、机器人状态或其他敏感数据;技能未定义数据分类、访问控制、保留期限或安全存储要求。
- 没有真人操作时只能做就绪检查,不能声称已录制指定数量的成功 episode;应核验 HDF5、日志和残留进程。
这个 Skill 能做什么,适合哪些场景?
该技能用于在 Isaac for Healthcare 的 agentic 环境中进行遥操作,并记录人类示范回合。它支持键盘、SO-ARM leader 和 VR 等设备,但具体设备取决于环境。技能通过 i4h-workflows 的 arena/run.sh 启动录制器,将成功回合保存到 HDF5。它适合拥有可用工作流、环境和遥操作硬件,并需要采集真实示范数据的用户。
解析或准备 i4h-workflows 根目录,必要时从 GitHub 克隆工作流;创建带有 data 和 logs 子目录的运行目录;通过 workflows/agentic/arena/run.sh --teleop 启动指定环境、设备和回合数的遥操作录制;从日志中提取设备专属按键;将数据写入绝对路径的 HDF5 文件;检查日志中的成功回合数和最终文件,并使用 stop.sh 停止运行。
- 机器人研究人员为 scissor_pick_and_place 环境使用键盘或 SO-ARM leader 采集成功示范。
- 具身智能开发者在 locomanip_tray_pick_and_place 环境中使用 keyboard_23d 录制移动操作数据。
- 研究团队需要把人工完成的多个回合保存为 HDF5,以供后续数据集流程使用。
- 操作员准备好真实硬件后,希望先查看 GUI、录制器状态和启动时公布的控制按键。
这个 Skill 有哪些优点和局限?
- 支持键盘、SO-ARM leader 和 VR 等多种遥操作方式。
- 明确记录成功、丢弃和重置回合的控制流程。
- 包含日志按键提取、HDF5 文件和成功回合数验证要求。
- 支持多个已列出的环境,并允许复用已有 i4h-workflows checkout。
- 设备支持按环境区分,并非所有设备适用于所有环境。
- 需要可用的 .venv、i4h-workflows、Isaac Sim 环境和实际遥操作设备。
- 没有人工操作员时不能生成有效示范;最多只能验证 GUI、录制器和控制状态。
- 设备专属按键只有启动后才会显示,且资料没有提供具体设备的完整移动控制表。
- 相对 --record-to 路径会导致数据写入嵌套的非预期目录。
如何安装这个 Skill?
使用 NVIDIA skills CLI 安装单个技能:npx skills add nvidia/skills --skill i4h-workflow-dataset-teleop --yes。技能还要求先按照 i4h-workflow-setup 完成工作流设置并存在 .venv;该设置技能的具体步骤未在本资料中提供。
如何使用这个 Skill?
先确保 I4H_WORKFLOWS 指向包含 workflows/agentic 的工作流目录,或允许技能在缺少该目录时克隆到 ~/i4h-workflows。选择环境和受支持的设备,例如 scissor_pick_and_place 搭配 keyboard 或 so101_leader,然后运行 arena/run.sh --env <env> --teleop --teleop-device <device> --episodes 3 --record-to <绝对HDF5路径>。等待日志公布完整的设备按键表,再由操作员使用 B 开始回合、N 标记成功并保存、R 丢弃并重置;F 由 Isaac Sim 保留。完成后确认 HDF5 文件存在,且日志显示的成功回合数等于请求数量。