开发与工程 ✓ NVIDIA · 官方 roboticspolicy-finetuninglerobotgr00topenpi-pi0gpu-trainingisaac-for-healthcare

I4H 机器人策略微调

在 LeRobot 数据集上微调 GR00T 或 openpi PI0 策略。

FollowSkills 评估 · FSRS-2.0
不推荐
48/ 100 五分制 2.4 / 5
信任安全12 / 25 · 2.4/5

技能明确要求本地数据集和GPU,并未要求凭据或显式导出数据;但会在未确认时克隆远程仓库、创建目录和符号链接并启动训练,缺少权限边界、用户确认、回滚和数据流说明,因此扣分。

可靠稳定8 / 20 · 2.0/5

步骤、环境映射、前置检查、验证条件和常见错误处理较完整;但依赖外部仓库、uv、GPU和特定tmux变量持久性,未提供本技能关键路径的可执行测试,静态评估不超过10分,故扣分。

适用触发10 / 15 · 3.3/5

目标用户、触发语义、支持环境和非训练环境边界较清楚;但只覆盖四个环境,未说明更多输入边界,且默认依赖GitHub克隆和海外工具链,可能影响中国大陆网络可达性,也没有中文使用支持,因此扣分。

规范维护9 / 15 · 3.0/5

具有名称、版本、Apache-2.0许可、作者、分层步骤、限制、故障排查和最终输出要求;但缺少Instructions和Examples推荐章节,参数兼容性、变更记录、维护责任和更新路径说明不充分,仓库许可元数据还标为NOASSERTION,因此扣分。

有效结果6 / 15 · 2.0/5

技能能直接指导数据预检、训练、检查checkpoint并要求汇报关键结果,且基准文件显示两项正向任务有一定效果;但只有两项、单次评测,缺少代表性实际输出和失败场景证据,静态评估按上限保守扣分。

证据核验3 / 10 · 1.5/5

存在版本化文档、评测摘要和内部评测任务,提供有限可审计线索;但没有原始日志、独立复现材料、负向触发任务或覆盖该技能关键路径的提交测试,因此证据较薄。

证据充分度: 评估于 2026年7月29日 审查版本 ce70ca7f1966
上游仓库在本次评估后已有新提交;当前评分仍对应所示审查版本,可能尚未覆盖最新改动。
使用前请注意
  • 默认流程可能在未获得用户确认时克隆远程代码并执行GPU训练;执行前应确认仓库来源、网络访问、磁盘空间、GPU资源和输出目录。
  • 训练医疗机器人策略涉及敏感数据和现实系统风险;文档未说明数据脱敏、隔离、模型安全评估或训练失败后的恢复策略。
  • 基准报告仅覆盖两项正向任务且每项一次尝试,不能证明边界触发、异常输入处理或跨环境稳定性。
查看完整评分方法 →

这个 Skill 能做什么,适合哪些场景?

该技能指导用户使用 Isaac for Healthcare 工作流,对已有 LeRobot 数据集中的演示数据进行策略微调。它支持 GR00T 和 openpi PI0,并根据环境选择对应的训练栈与 CLI。流程包括解析工作流代码、检查数据集和 GPU、运行训练,以及验证检查点和训练日志。它不用于评估检查点,且推理专用环境不能训练。

解析或克隆 i4h-workflows 基础代码;读取 LeRobot 数据集中的 meta/info.json;检查可见 GPU 数量和可用环境;根据环境选择 gr00t_n15、gr00t_n16 或 openpi_pi0 训练栈及 CLI;通过 uv 运行训练命令;将检查点和日志写入 workflows/agentic/runs 下的运行目录;检查 safetensors 文件、experiment_cfg、processor、train_loss 日志和最终训练摘要。

  1. 机器人研究人员需要在 scissor_pick_and_place 演示数据上微调 GR00T N1.5 策略。
  2. 具身智能开发者需要在 locomanip_tray_pick_and_place 或 locomanip_push_cart 环境上训练 GR00T N1.6 策略。
  3. 医疗机器人团队需要使用 ultrasound_liver_scan 数据训练 openpi PI0 策略。
  4. 数据量较小且希望降低显存占用时,用户需要冻结视觉骨干网络,仅训练动作头和投影器。

这个 Skill 有哪些优点和局限?

优点
  • 明确映射环境、训练栈和 CLI,便于执行。
  • 包含数据集、GPU、训练模块和输出检查点的预检与验证。
  • 提供批大小、学习率、训练步数、GPU 数量和视觉骨干冻结等常用参数。
  • 说明常见失败原因,包括环境未设置、数据集无效、环境仅支持推理和 Tyro 参数格式错误。
局限
  • 必须使用 GPU,且 GPU 数量不能超过可见 GPU 数量。
  • 数据集必须是包含 meta/info.json 的现有 LeRobot 目录。
  • assemble_trocar 等 policy.train_module 为 null 的环境不能微调。
  • SKILL.md 未提供训练效果、硬件平台覆盖范围或独立测试套件证据。

如何安装这个 Skill?

安装整个 NVIDIA 技能集合:npx skills add nvidia/skills。只安装本技能:npx skills add nvidia/skills --skill i4h-workflow-finetune --yes。README 未说明该技能的独立安装目录或其他专用安装步骤。

如何使用这个 Skill?

向已加载该技能的代理提出“在 LeRobot 演示数据上微调策略”之类的请求。准备已设置的 i4h-workflows 环境、包含 meta/info.json 的 LeRobot 数据集和至少一块可见 NVIDIA GPU,然后设置 DATASET_PATH 并按技能中的顺序运行预检和训练命令。支持的环境包括 scissor_pick_and_place、locomanip_tray_pick_and_place、locomanip_push_cart 和 ultrasound_liver_scan。

这个 Skill 与同类方案有什么区别?

该技能明确区分“微调/训练”和“检查点评估”:评估任务应使用 i4h-workflow-validate。

常见问题

可以直接训练 assemble_trocar 吗?
不可以。该环境被标记为仅推理,policy.train_module 为 null。
需要多少块 GPU?
至少需要一块可见 GPU;--num-gpus 的值不能超过 nvidia-smi 检测到的可见 GPU 数量。
数据集有什么格式要求?
必须提供现有的 LeRobot 数据集目录,并包含 meta/info.json。
训练失败时先检查什么?
确认 i4h-workflows 和对应栈的 .venv 已设置,DATASET_PATH 有效,环境支持训练,并使用 kebab-case 参数,例如 --max-steps。

同仓库的其他 Skills

均来自 NVIDIA/skills

数据与分析 ✓ NVIDIA · 官方

I4H 数据集转换器

将 Isaac for Healthcare 的 HDF5 录制转换为可用于训练的 LeRobot 数据集。

数据与分析 ✓ NVIDIA · 官方

LeRobot 数据集可视化器

在浏览器中检查转换后的 LeRobot 数据集。

开发与工程 ✓ NVIDIA · 官方

I4H 工作流环境创建

从现有环境快速搭建可运行的 Isaac for Healthcare 新环境。

开发与工程 ✓ NVIDIA · 官方

Isaac for Healthcare 数据集回放

在 Isaac Sim 中回放 HDF5 轨迹,检查机器人演示的视觉正确性。

数据与分析 ✓ NVIDIA · 官方

I4H 遥操作数据集录制

通过键盘、SO-ARM 主臂或 VR 遥操作,将人类示范录制为 HDF5 数据集。

开发与工程 ✓ NVIDIA · 官方

i4h 智能体工作流导航

为医疗机器人工作流提供环境、策略与阶段导航。

开发与工程 ✓ NVIDIA · 官方

Isaac for Healthcare 工作流验证

运行策略或状态机控制器并将验证回合记录到 HDF5。

开发与工程 ✓ NVIDIA · 官方

导管导航设置验证

验证导管导航工作流的主机、GPU与Python路径配置。

数据与分析 ✓ NVIDIA · 官方

I4H 模拟数据集扩增

通过加入动作和状态噪声,从现有 HDF5 录制数据复制轨迹并扩增数据集。

开发与工程 ✓ NVIDIA · 官方

I4H 场景编辑工作流

通过桥接会话实时编辑 Isaac for Healthcare 环境场景。

开发与工程 ✓ NVIDIA · 官方

导管导航透视视口

启动带实时导管物理和透视控制的交互式介入导航视口。

开发与工程 ✓ NVIDIA · 官方

导管导航端到端烟雾测试

为 Isaac for Healthcare 导管导航工作流执行从环境验证到 DRR 渲染和单元测试的 v0.7 全流程检查。

自动化与运维 ✓ NVIDIA · 官方

Isaac for Healthcare 全流程工作流

把 Isaac for Healthcare 从录制一路跑到验证

数据与分析 ✓ NVIDIA · 官方

i4H 数据集标注工作流

使用视觉语言模型验证轨迹是否完成任务,并筛选可用于微调的数据。

开发与工程 ✓ NVIDIA · 官方

TAO 平台执行 SDK

在多种 GPU 平台上提交、监控并管理 NVIDIA TAO 训练任务。

开发与工程 ✓ NVIDIA · 官方

NeMo-RL 自动研究助手

将 NeMo-RL 研究目标转化为可复现的迭代实验。

开发与工程 ✓ NVIDIA · 官方

NeMo MBridge 训练助手

帮助运行 Megatron-LM 与 Megatron Bridge 训练并核对损失曲线。

开发与工程 ✓ NVIDIA · 官方

NeMo MBridge GPU 内存调优

诊断 Megatron Bridge 训练中的 GPU OOM,并降低碎片、激活和 PEFT 内存占用。

开发与工程 ✓ NVIDIA · 官方

Megatron Bridge 激活重计算

在 Megatron Bridge 中用额外计算换取更低的 GPU 激活内存占用。

自动化与运维 ✓ NVIDIA · 官方

Megatron-LM 集群训练启动助手

帮助你在 SLURM GPU 集群上可靠启动、监控和排查多节点 Megatron-LM 训练任务。

相关 Skills