NeMo AutoModel 模型接入指南
指导开发者将新的 LLM、MoE 或 VLM 架构接入 NeMo AutoModel。
文档声明 Apache-2.0,明确了模型架构、权重映射和测试边界,也没有发现恶意、凭据窃取或破坏性默认行为;但要求从 Hugging Face 下载配置并依赖外部模型仓库,未明确用户确认、网络数据流、来源校验、依赖安全、失败回滚或最小权限,因此扣分。
流程、目录、注册、适配器和测试要求较完整,且包含异常检查提示;但仅为静态文档,未执行关键路径,示例代码和外部组件依赖无法在此验证,且“five phases”与实际六个阶段不一致,因此按静态上限保守给分。
适用场景、触发条件、正反例以及 Dense/MoE/VLM 分类边界较清楚;但未说明更多非适用边界、输入缺失时的处理,也没有中文交互支持或中国大陆网络可达性说明,且核心发现阶段依赖 Hugging Face,故扣分。
主文档、模式参考、能力/精度说明、检查清单和评估材料形成了较好的渐进式结构,并给出许可证、作者和更新线索;但版本策略、变更日志、维护责任、依赖安装、FAQ、已知限制和引用稳定性仍不完整,基准报告还记录了作者格式和额外文件的架构告警。
技能直接覆盖架构发现、文件设计、注册、权重适配、测试和 parity 检查,评估材料报告了三项正向任务的较高正确性和有效性;但没有本次独立执行或可核验的代表性输出,实际建议仍需工程师审查和代码实现,因此受静态上限限制。
提供了 revision 范围内的详细模式文档、检查清单、评估任务和基准结果,关键主张具备一定可审计性;但没有可在本次静态审查中复现的 CI、提交测试结果或多来源交叉验证,基准材料本身也不能替代独立复核,因此按静态上限给分。
- 不要把基准报告中的 PASS 或高分视为本次独立验证;应在目标 NeMo AutoModel 版本上执行适配器往返、层等价、图文输入和端到端 parity 测试。
- 从 Hugging Face 获取 config.json 和 checkpoint 前,应确认网络可达性、模型来源、许可证、依赖版本及用户授权;文档未提供中国大陆网络失败时的替代流程。
- 技能要求较多外部文件和仓库上下文,安装包中若缺少这些模式文件,引用路径会失效。
这个 Skill 能做什么,适合哪些场景?
该技能面向在 NeMo AutoModel 中新增或修改模型架构支持的开发者。它要求先分析 Hugging Face 的 config.json,再实现模型文件、权重适配器和注册项。内容覆盖稠密 LLM、MoE 和 VLM,并强调微型配置测试、层级等价性、状态字典往返和端到端 parity 测试。它属于 NVIDIA/skills 单一技能目录;该仓库整体包含 324 个技能,并通过 CLI 安装。
指导代理读取 Hugging Face config.json,判断模型属于稠密 LLM、MoE 或 VLM;指定 components/models/<name>/ 下的 model.py、state_dict_adapter.py 及可选配置、层和 RoPE 文件;更新 _transformers/registry.py 中的模型和自定义配置注册;映射路由器、专家、文本和视觉权重;创建示例 YAML、微型配置、前向形状、适配器往返、层等价性、训练损失和 parity 测试;最后更新模型覆盖文档。
- NeMo AutoModel 开发者要新增一个 Hugging Face 因果语言模型架构时,使用它确定实现文件、注册项和验证范围。
- 模型工程师接入包含路由器、共享专家或组合投影的 MoE 检查点时,使用它检查专家索引和权重映射。
- VLM 开发者接入同时包含 vision_config、text_config 和条件生成架构的模型时,使用它核对视觉塔、投影器、处理器和图文测试。
- 维护者修改现有模型的自定义注意力、RoPE、归一化、MLP 或精度敏感参数时,使用它补齐能力声明和等价性验证。
这个 Skill 有哪些优点和局限?
- 覆盖从 config.json 发现到 parity 测试的完整接入流程。
- 明确列出稠密 LLM、MoE 和 VLM 的判定条件及关键文件。
- 强调专家权重映射、权重绑定、微型配置和数值等价性等容易遗漏的验证。
- 明确划定范围,不处理独立的训练 recipe、启动器或分布式策略问题。
- 内容是实现指南,不提供可直接运行的接入脚本或现成模型实现。
- 需要访问 Hugging Face 配置和 NeMo AutoModel 源码,并具备 PyTorch 测试环境。
- 源材料未提供具体平台测试结果、性能数据或已支持模型的完整清单。
- 仓库元数据给出的许可证为 NOASSERTION,而该技能自身标注为 Apache-2.0;采用前应核对适用许可。
如何安装这个 Skill?
使用仓库 README 支持的命令安装此技能:npx skills add nvidia/skills --skill nemo-automodel-model-onboarding --yes。也可以指定目标代理,例如:npx skills add nvidia/skills --skill nemo-automodel-model-onboarding --agent codex。
如何使用这个 Skill?
安装后,在需要新增或修改 NeMo AutoModel 模型架构时触发,例如:“为 NeMo AutoModel 接入一个新的 Hugging Face MoE 架构,并完成状态字典适配、注册和测试。”该技能没有说明独立的运行脚本或专用命令;具体代码修改和测试执行方式取决于目标仓库环境。