NeMo Relay 调用插桩
为工具和大模型调用接入 Relay 生命周期、 中间件与护栏。
技能明确建议在既有调用边界使用托管执行,并透明说明请求改写、输入/输出清洗、拒绝行为和原始回调结果,且技能卡提示不要泄露秘密、使用最小权限凭据;但未提供用户确认、回滚方案、具体凭据范围、依赖安全审查或外部副作用控制,因此扣分。
SKILL.md覆盖多语言API、手动生命周期配对、异常结束事件、流式提前丢弃和中间件顺序,失败语义较清楚;但没有可执行的选定技能测试、版本锁定、安装验证或针对关键路径的错误示例,BENCHMARK仅为静态可见的评估报告,因此不超过静态上限并扣分。
触发场景、调用边界、支持的Rust/Python/Node.js/Go API以及转用相邻技能的条件较明确;但没有系统列出输入输出契约、非适用范围、环境要求或中文使用说明,实际运行环境适配证据有限,因此扣分。
名称、描述、许可证、作者、技能卡、版本SHA、评估日期、相关技能和仓库级维护/发布流程均有记录;但SKILL.md缺少Instructions和Examples段落,作者格式不符合评估规范,依赖/安装、已知限制、变更历史和明确维护责任仍不完整,因此扣分。
技能直接覆盖围绕既有工具和LLM调用接入Relay的核心任务,且评估文件描述了正向和负向路由任务;但没有选定技能内的代表性代码示例或静态可验证的完整输出,用户仍需补足具体类型、配置和调用细节,因此仅给有限分数。
存在提交的BENCHMARK.md、evals/evals.json及版本信息,提供了评估任务、指标和结果,具备一定审计线索;但报告没有随技能提供可复现执行证据或第三方交叉来源,且仓库测试示例不覆盖该技能关键路径,因此仅给有限分数。
- 该技能只提供概念和API形态,未包含可直接复制的Rust、Python、Node.js或Go完整示例;接入前应核对实际NeMo Relay版本和签名。
- 清洗请求/响应只影响事件载荷,不影响应用侧原始值;不要将其误当作业务数据脱敏或安全边界。
- 手动生命周期模式必须保证每个start都有匹配的end或error路径;流式调用提前丢弃可能导致最终事件不完整。
- 技能卡未明确API密钥、外部服务、数据保留和地域合规要求,生产部署前需由使用方补充审查。
这个 Skill 能做什么,适合哪些场景?
该技能面向已经拥有工具函数或模型/供应商调用点的应用,指导其通过 NeMo Relay 正确执行调用。它强调在自然的代理、请求、工作流或图边界建立作用域,并优先使用托管执行 API。内容覆盖工具调用、LLM 调用、请求与执行拦截器、条件执行护栏、事件载荷清理、流式响应和上下文传播。它适合需要保持原有可调用行为,同时增加生命周期捕获、元数据和中间件处理的工程团队。
指导开发者将现有工具函数包装到 NeMo Relay 的托管工具执行 API 中,并将现有 LLM/供应商调用包装到对应的 LLM 执行 API 中。它列出 Rust、Python、Node.js 和 Go 的 API 入口,说明条件执行护栏、请求拦截器、执行拦截器以及请求/响应清理对输入、输出和事件的影响。它还说明失败后的结束事件、手动生命周期 API 的配对要求、流式 LLM 包装器的收尾行为,以及跨线程或异步任务时的上下文传播。
- 负责 AI 代理工具调用链的开发者,需要为现有工具增加 Relay 生命周期事件和元数据。
- 维护模型或供应商调用封装的工程师,需要在正确的抽象层接入 LLM 拦截器和护栏。
- 使用 Rust、Python、Node.js 或 Go 构建代理工作流的团队,需要优先采用 Relay 托管执行 API。
- 开发框架适配器的工程师,框架已经自行管理执行流程,因而需要使用手动生命周期 API。
- 实现流式 LLM 调用的团队,需要确保流结束时能完成响应收集和最终事件通知。
这个 Skill 有哪些优点和局限?
- 覆盖工具和 LLM 调用的托管执行、生命周期事件、中间件与护栏语义。
- 提供 Rust、Python、Node.js 和 Go 的 API 入口提示。
- 明确区分原始输入、实际执行输入、事件载荷和应用可见返回值。
- 强调保留原有业务 callable 行为,并包含失败、流式调用和上下文传播注意事项。
- 内容是集成指导,不包含具体 NeMo Relay SDK 的安装步骤、版本要求或完整代码样例。
- 没有提供测试套件、性能数据或已验证的平台清单。
- 手动生命周期和部分拦截器 API 需要开发者自行保证配对、错误处理和框架适配。
如何安装这个 Skill?
使用仓库 README 中给出的 skills CLI 流程安装指定技能:
npx skills add nvidia/skills --skill nemo-relay-instrument-calls --yes
README 未说明该技能所需的 NeMo Relay SDK 具体安装命令、版本或平台矩阵。
如何使用这个 Skill?
将技能目录安装到代理可加载的 skills 目录后,在相关任务中触发,例如:“请为现有的 Python 工具和 LLM 调用接入 NeMo Relay 托管执行 API,并保留原有参数与返回值行为。” 使用时先确定作用域边界,再按语言选择对应的 managed execute API;只有宿主框架无法包装时才采用手动生命周期 API。源材料未提供完整项目代码示例。
这个 Skill 与同类方案有什么区别?
源材料没有提供可直接比较的替代方案。它仅建议在需要追踪导出、运行时调试、上下文隔离或可配置插件行为时,使用相关的其他 NeMo Relay 技能。