这个 Skill 能做什么，适合哪些场景？
该技能用于在 NVIDIA Jetson 设备上测量 vLLM、llama.cpp 和 Ollama 的大语言模型或视觉语言模型服务性能。它通过对应的 Bash 包装脚本执行预热和基准测试，并输出便于差异比较的结构化 JSON。结果可覆盖首 token 延迟、令牌间延迟、每输出令牌时间、吞吐量和端到端延迟。它适合已有模型服务或本地 GGUF 模型的性能对比，但不会启动或调优 vLLM 服务。
根据运行时选择并执行 scripts/bench_vllm.sh、scripts/bench_llama_cpp.sh 或 scripts/bench_ollama.sh；调用运行中的 vLLM OpenAI 兼容服务、Ollama 的 /api/generate REST API，或通过 NVIDIA-AI-IOT llama.cpp 容器运行 llama-bench；对 vLLM 执行并发度扫描，对 llama.cpp 和 Ollama 执行单流测试；读取 Jetson 的设备、L4T、容器和功耗/热状态信息；最终输出包含配置、指标和 warnings 的单个 JSON 对象。
- Jetson 工程师需要比较同一模型在 vLLM 不同并发度下的延迟和吞吐量。
- 运行 Ollama 的用户需要测量指定模型在本地 daemon 上的单流性能。
- 使用 GGUF 模型的用户需要通过 Jetson 适配的 llama.cpp 容器测量提示词和生成速度。
- 用户在应用内存调优或 JetPack 升级前后，需要用一致配置比较性能变化。
- 基准结果出现 GPU 背景负载或热降频警告时，运维人员需要转交诊断技能处理。
如何安装这个 Skill？
- 默认 Docker 镜像使用可变 latest 标签；合规或发布测量应由用户确认并使用摘要固定镜像。
- vLLM 使用 host 网络并向运行中服务发送请求；执行前应确认端点、模型、网络权限及可接受的外部镜像拉取。
- 脚本依赖 Jetson 检测脚本和本机 Docker/curl/python3/运行时，未在本次静态审查中验证；解析器格式漂移可能产生零值或不完整指标。
- Ollama 生成的随机提示词使重复测量不完全确定，且未见完整的热状态、GPU 背景负载和容器来源告警覆盖。
- 中文使用说明及中国大陆网络可达性未被证明。
- Shell / 命令行
- 网络访问
- 本地文件系统
DockervLLM server for the vLLM pathOllama daemon for the Ollama pathReadable GGUF model file for the llama.cpp path
使用仓库 README 提供的 skills CLI 安装指定技能：npx skills add nvidia/skills --skill jetson-llm-benchmark --agent codex。也可以将 --agent codex 替换为 README 支持的其他客户端选项。安装后，技能会在代理下次加载技能并遇到相关任务时可用。
tmp="$(mktemp -d)"
git clone --depth 1 https://github.com/NVIDIA/skills.git "$tmp"
mkdir -p ~/.claude/skills
cp -R "$tmp/skills/jetson-llm-benchmark" ~/.claude/skills/
rm -rf "$tmp"根据源仓库地址和 Skill 路径自动生成，只复制这个 Skill 的文件夹。如果上文有作者提供的安装方式，请优先按作者说明操作；想只在当前项目中使用，把 ~/.claude/skills 换成项目里的 .claude/skills。
如何使用这个 Skill？
安装后，把下面任意一句发给 Agent 即可触发：
- 如何测量
先确认目标运行时、模型标识或本地 GGUF 路径，以及设备已设置目标功耗模式。对于“如何测量”类请求，先运行匹配包装脚本的帮助命令，例如 scripts/bench_vllm.sh --help、scripts/bench_llama_cpp.sh --help 或 scripts/bench_ollama.sh --help，再按选项执行；vLLM 示例为 scripts/bench_vllm.sh --model <served-model-id> --concurrency 1,8 --input-len 2048 --output-len 128 --num-prompts 50。运行时必须使用匹配的包装脚本，不能手动调用底层基准工具或 Ollama API。
这个 Skill 有哪些优点和局限？
- 同时覆盖 vLLM、llama.cpp/GGUF 和 Ollama 三条 Jetson 测试路径。
- 输出统一 JSON 外壳，适合比较模型、运行时参数、功耗模式和调优前后结果。
- 包含预热、容器选择和设备状态警告逻辑。
- 明确区分 vLLM 并发扫描与其他运行时的单流指标。
- vLLM 路径要求已有可访问的 OpenAI 兼容 vLLM 服务。
- Ollama 仅支持并发度为 1，结果不能直接与 vLLM 并发扫描比较。
- llama.cpp 默认需要 Docker，并可能拉取和执行外部 NVIDIA-AI-IOT 容器镜像。
- 源材料没有提供测试套件、实测性能数字或平台覆盖证据。
这个 Skill 与同类方案有什么区别？
与相关 Skills 并排比较；分数均按同一 FSRS 标准得出。
| Skill | FS 评分 | Star 数 | 最近更新 | License |
|---|---|---|---|---|
| Jetson 大模型基准测试 本页 ✓ NVIDIA · 官方 | 53 · 谨慎使用 | ★ 3.8k | 今天 | Apache-2.0 |
| Jetson 软件包与环境助手 ✓ NVIDIA · 官方 | 56 · 谨慎使用 | ★ 3.8k | 今天 | Apache-2.0 |
| Jetson LLM 服务部署技能 ✓ NVIDIA · 官方 | 54 · 谨慎使用 | ★ 3.8k | 今天 | Apache-2.0 |
| Jetson vLLM 推测解码调优 ✓ NVIDIA · 官方 | 54 · 谨慎使用 | ★ 3.8k | 今天 | Apache-2.0 |
| RAG 性能基准测试 ✓ NVIDIA · 官方 | 55 · 谨慎使用 | ★ 3.8k | 今天 | Apache-2.0 |
该技能直接比较三种运行时路径：vLLM 通过 OpenAI 兼容服务并可扫描并发度；Ollama 通过 /api/generate REST API 进行单流测试；llama.cpp 针对本地 GGUF 模型运行 llama-bench。源材料明确指出 Ollama 与 vLLM 的结果不应直接比较，跨 Jetson 代际和量化格式比较时也需要控制模型、量化、输入输出长度、功耗、时钟和热状态。
FollowSkills 如何评估这个 Skill？
脚本主要读取模型、调用本地服务并以只读方式挂载模型目录，未见凭据窃取或隐蔽外传；但默认使用可变标签的外部 Docker 镜像，vLLM 使用 host 网络，且缺少统一的运行前确认、镜像摘要固定和更明确的数据流披露，因此扣分。
文档、参数、错误码和 JSON 契约较完整，且包含预检与失败提示；但脚本依赖未随选定路径展示的 detect_jetson.sh，vLLM 结果依赖脆弱的文本正则，格式变化可能静默产生零值，Ollama 请求失败处理和清理也不完全稳健。静态评估不授予超过10分。
目标用户、三种运行时路径、触发场景和不适用范围描述清楚；但仅适用于 Jetson，中文支持未声明，核心容器和模型/服务依赖 Docker、GHCR、Ollama 等网络与环境条件，未证明中国大陆网络可达性，因此扣分。
SKILL.md 结构清晰，包含版本、参数、示例、限制、错误处理和交接关系；BENCHMARK.md 记录了评估与已知 schema 问题，且有维护更新提示。扣分来自缺少推荐的 Examples 小节、作者格式不完整、许可证/元数据存在 Apache 与 CC-BY-4.0 表述不完全一致，以及缺少明确 changelog 和稳定依赖版本。
三条运行时路径、结构化 JSON 输出和比较注意事项具有直接使用价值；提交的评估报告显示存在任务级收益，但评估数据不可用且本次未执行，无法确认真实输出完整性、指标解析正确性或相对手工方案的稳定收益。按静态校准上限计7分。
脚本、评估断言、输出契约和提交的评估报告提供了可审计材料；但报告缺少原始任务、日志、CI 或可独立复现的运行证据，外部来源仅以链接声明，事实覆盖有限，因此未给满分。
点击维度查看打分理由
证据充分度：低 — 主要依赖静态检查、作者材料或有限演示；适合发现线索，不适合做高风险决策。
查看完整评分方法 →