开发与工程 ✓ NVIDIA · 官方 nemo-automodelmodel-onboardinghugging-facestate-dict-adaptersmixture-of-expertsvision-language-modelsunit-testing

NeMo AutoModel 模型接入指南

指导开发者将新的 LLM、MoE 或 VLM 架构接入 NeMo AutoModel。

FollowSkills 评估 · FSRS-2.0
谨慎使用
60/ 100 五分制 3.0 / 5
信任安全18 / 25 · 3.6/5

文档声明 Apache-2.0,明确了模型架构、权重映射和测试边界,也没有发现恶意、凭据窃取或破坏性默认行为;但要求从 Hugging Face 下载配置并依赖外部模型仓库,未明确用户确认、网络数据流、来源校验、依赖安全、失败回滚或最小权限,因此扣分。

可靠稳定9 / 20 · 2.3/5

流程、目录、注册、适配器和测试要求较完整,且包含异常检查提示;但仅为静态文档,未执行关键路径,示例代码和外部组件依赖无法在此验证,且“five phases”与实际六个阶段不一致,因此按静态上限保守给分。

适用触发12 / 15 · 4.0/5

适用场景、触发条件、正反例以及 Dense/MoE/VLM 分类边界较清楚;但未说明更多非适用边界、输入缺失时的处理,也没有中文交互支持或中国大陆网络可达性说明,且核心发现阶段依赖 Hugging Face,故扣分。

规范维护9 / 15 · 3.0/5

主文档、模式参考、能力/精度说明、检查清单和评估材料形成了较好的渐进式结构,并给出许可证、作者和更新线索;但版本策略、变更日志、维护责任、依赖安装、FAQ、已知限制和引用稳定性仍不完整,基准报告还记录了作者格式和额外文件的架构告警。

有效结果7 / 15 · 2.3/5

技能直接覆盖架构发现、文件设计、注册、权重适配、测试和 parity 检查,评估材料报告了三项正向任务的较高正确性和有效性;但没有本次独立执行或可核验的代表性输出,实际建议仍需工程师审查和代码实现,因此受静态上限限制。

证据核验5 / 10 · 2.5/5

提供了 revision 范围内的详细模式文档、检查清单、评估任务和基准结果,关键主张具备一定可审计性;但没有可在本次静态审查中复现的 CI、提交测试结果或多来源交叉验证,基准材料本身也不能替代独立复核,因此按静态上限给分。

证据充分度: 评估于 2026年7月20日 审查版本 55f18499943e
上游仓库在本次评估后已有新提交;当前评分仍对应所示审查版本,可能尚未覆盖最新改动。
使用前请注意
  • 不要把基准报告中的 PASS 或高分视为本次独立验证;应在目标 NeMo AutoModel 版本上执行适配器往返、层等价、图文输入和端到端 parity 测试。
  • 从 Hugging Face 获取 config.json 和 checkpoint 前,应确认网络可达性、模型来源、许可证、依赖版本及用户授权;文档未提供中国大陆网络失败时的替代流程。
  • 技能要求较多外部文件和仓库上下文,安装包中若缺少这些模式文件,引用路径会失效。
查看完整评分方法 →

这个 Skill 能做什么,适合哪些场景?

该技能面向在 NeMo AutoModel 中新增或修改模型架构支持的开发者。它要求先分析 Hugging Face 的 config.json,再实现模型文件、权重适配器和注册项。内容覆盖稠密 LLM、MoE 和 VLM,并强调微型配置测试、层级等价性、状态字典往返和端到端 parity 测试。它属于 NVIDIA/skills 单一技能目录;该仓库整体包含 324 个技能,并通过 CLI 安装。

指导代理读取 Hugging Face config.json,判断模型属于稠密 LLM、MoE 或 VLM;指定 components/models/<name>/ 下的 model.py、state_dict_adapter.py 及可选配置、层和 RoPE 文件;更新 _transformers/registry.py 中的模型和自定义配置注册;映射路由器、专家、文本和视觉权重;创建示例 YAML、微型配置、前向形状、适配器往返、层等价性、训练损失和 parity 测试;最后更新模型覆盖文档。

  1. NeMo AutoModel 开发者要新增一个 Hugging Face 因果语言模型架构时,使用它确定实现文件、注册项和验证范围。
  2. 模型工程师接入包含路由器、共享专家或组合投影的 MoE 检查点时,使用它检查专家索引和权重映射。
  3. VLM 开发者接入同时包含 vision_config、text_config 和条件生成架构的模型时,使用它核对视觉塔、投影器、处理器和图文测试。
  4. 维护者修改现有模型的自定义注意力、RoPE、归一化、MLP 或精度敏感参数时,使用它补齐能力声明和等价性验证。

这个 Skill 有哪些优点和局限?

优点
  • 覆盖从 config.json 发现到 parity 测试的完整接入流程。
  • 明确列出稠密 LLM、MoE 和 VLM 的判定条件及关键文件。
  • 强调专家权重映射、权重绑定、微型配置和数值等价性等容易遗漏的验证。
  • 明确划定范围,不处理独立的训练 recipe、启动器或分布式策略问题。
局限
  • 内容是实现指南,不提供可直接运行的接入脚本或现成模型实现。
  • 需要访问 Hugging Face 配置和 NeMo AutoModel 源码,并具备 PyTorch 测试环境。
  • 源材料未提供具体平台测试结果、性能数据或已支持模型的完整清单。
  • 仓库元数据给出的许可证为 NOASSERTION,而该技能自身标注为 Apache-2.0;采用前应核对适用许可。

如何安装这个 Skill?

使用仓库 README 支持的命令安装此技能:npx skills add nvidia/skills --skill nemo-automodel-model-onboarding --yes。也可以指定目标代理,例如:npx skills add nvidia/skills --skill nemo-automodel-model-onboarding --agent codex。

如何使用这个 Skill?

安装后,在需要新增或修改 NeMo AutoModel 模型架构时触发,例如:“为 NeMo AutoModel 接入一个新的 Hugging Face MoE 架构,并完成状态字典适配、注册和测试。”该技能没有说明独立的运行脚本或专用命令;具体代码修改和测试执行方式取决于目标仓库环境。

常见问题

安装这个技能需要付费吗?
源材料没有提到费用。README 只提供通过 npx skills CLI 安装的方式。
它能处理普通训练 recipe 或启动器配置吗?
不能作为默认用途。技能明确将优化器、数据集、调度器、trainer wiring、分布式策略和启动器配置列为范围外,除非这些内容直接属于新架构接入。
MoE 接入最容易出现什么问题?
不要只依赖 from_pretrained() 验证;必须分别映射路由器和专家权重,保留专家索引顺序,明确处理 gate/up/down 投影及共享专家,并运行键映射和微型配置数值等价性测试。
使用它需要哪些外部资源?
指南要求获取 Hugging Face 的 config.json,并读取或修改 NeMo AutoModel 的模型、注册、示例、测试和文档文件,因此通常需要网络、Shell 和文件系统访问。

同仓库的其他 Skills

均来自 NVIDIA/skills

开发与工程 ✓ NVIDIA · 官方

MoE 分发器选型指南

根据硬件、专家并行规模和优化阶段选择 alltoall、DeepEP 或 HybridEP。

开发与工程 ✓ NVIDIA · 官方

Earth2Studio 诊断模型构建器

为 Earth2Studio 创建单步数据转换诊断模型包装器。

开发与工程 ✓ NVIDIA · 官方

NeMo MBridge MoE 通信重叠调优

优化 Megatron Bridge 中 MoE 专家并行通信与计算重叠。

开发与工程 ✓ NVIDIA · 官方

NeMo MBridge CUDA 图优化

在 Megatron Bridge 训练中配置、验证并评估 CUDA Graph,以降低主机驱动开销。

开发与工程 ✓ NVIDIA · 官方

NeMo MBridge MoE 性能优化工作流

系统化定位并优化 Megatron Bridge 中 MoE 训练吞吐瓶颈。

开发与工程 ✓ NVIDIA · 官方

NV-Reason-CXR 胸部X光推理测试技能

为胸部X光模型执行可复现的命令形状与在线推理冒烟测试。

数据与分析 ✓ NVIDIA · 官方

TAO 图像指代表达定位

将图像和文字描述转换为带像素级边界框的短语定位标注。

开发与工程 ✓ NVIDIA · 官方

Earth2Studio 预报模型封装技能

指导开发 Earth2Studio 的时序天气预报模型封装。

自动化与运维 ✓ NVIDIA · 官方

NeMo-RL Brev 运行规范

帮助 NeMo-RL 代理在 Brev 上安全管理实验存储、缓存、日志与认证。

开发与工程 ✓ NVIDIA · 官方

NeMo AutoModel 分布式训练配置

为 NeMo AutoModel 选择并配置多 GPU 与多节点训练策略。

开发与工程 ✓ NVIDIA · 官方

NeMo AutoModel 配方开发

帮助构建、修改和验证 NeMo AutoModel 训练与评估配方。

自动化与运维 ✓ NVIDIA · 官方

Jetson LLM 服务部署技能

为 NVIDIA Jetson 配置并启动 vLLM 或 SGLang 的 LLM/VLM 服务。

自动化与运维 ✓ NVIDIA · 官方

NeMo AutoModel 启动配置

为 NeMo AutoModel 配置交互式、多节点与云端任务启动。

开发与工程 ✓ NVIDIA · 官方

Megatron-Core 测试指南

帮助你在 Megatron-Core 中设计、运行并复现分布式测试。

开发与工程 ✓ NVIDIA · 官方

导管导航设置验证

验证导管导航工作流的主机、GPU与Python路径配置。

开发与工程 ✓ NVIDIA · 官方

导管导航氟透视冒烟测试

在无 GPU 环境中快速验证导管导航工作流的基础功能。

开发与工程 ✓ NVIDIA · 官方

导管导航端到端烟雾测试

为 Isaac for Healthcare 导管导航工作流执行从环境验证到 DRR 渲染和单元测试的 v0.7 全流程检查。

数据与分析 ✓ NVIDIA · 官方

Nemotron Speech ASR 定制编排

为特定领域或语言的语音识别改进选择并编排成本最低的适配路径。

开发与工程 ✓ NVIDIA · 官方

Earth2Studio 组件发现

为天气和气候任务筛选合适的模型、数据源与示例。

数据与分析 ✓ NVIDIA · 官方

TAO CLIP 微调与部署

为图文检索、零样本分类和嵌入提取训练并部署 NVIDIA TAO CLIP 模型。

相关 Skills