Hugging Face 本地模型运行器
帮助你从 Hugging Face 选择合适的 GGUF 量化模型，并用 llama.cpp 在本机运行。
文档主要指导本地下载、编译和运行模型，没有发现恶意代码、凭据窃取或隐蔽外传；但缺少下载模型来源校验、哈希/签名验证、敏感输入处理、安装与认证确认、服务暴露边界及回滚说明，因此未接近满分。
工作流从搜索、确认文件到启动服务较连贯，且提供自定义文件名和无GGUF时的转换路径；但未固定llama.cpp或工具版本，没有针对关键路径的提交测试，平台构建命令存在差异，异常输入、网络失败、兼容性失败和诊断反馈覆盖不足，静态评估按上限保守扣分。
目标用户、CPU/Metal/CUDA/ROCm场景和主要输入输出较明确，也说明了量化选择范围；但触发条件、非适用模型/硬件边界和环境前置条件不够完整，核心检索和下载依赖Hugging Face海外服务，未说明中国大陆网络可达性或替代路径。
SKILL.md配合三个主题化参考文档，具备渐进式说明、示例、故障排查和Apache-2.0许可证上下文；但缺少版本要求、变更记录、维护负责人、更新路径、依赖锁定、确认过时内容的方法，以及更完整的安装和FAQ说明，因此扣除维护性分数。
对于已安装llama.cpp且可访问Hugging Face的用户，搜索GGUF、选择量化、确认文件名和生成llama-cli/llama-server命令具有直接价值；但没有已验证的代表性输出或执行证据，硬件容量估算、模型兼容性、服务安全配置和转换结果仍需用户复核，静态校准限制有效性不超过7分。
文档给出具体Hugging Face页面、树API、命令和量化表，且仓库存在生成校验CI与安全策略；但选定技能没有提交测试、执行日志或第三方复现证据，量化性能数字和示例可用性无法仅凭文件独立确认，因此仅给有限可验证性分数。
- 运行llama-server前应确认仅监听受信任的本机或网络接口，并不要把示例中的无效Bearer令牌当作真实访问控制。
- 下载模型、转换脚本和依赖前应核对仓库、文件哈希、许可证及安全来源；文档未提供这一流程。
- 核心Hugging Face URL工作流可能受中国大陆网络访问限制，需准备可达性验证或离线/镜像方案。
- 示例中的模型、命令参数和量化性能数据未在所给文件中提供可复现证据，使用前应按实际版本和硬件复核。
这个 Skill 能做什么，适合哪些场景？
该技能面向希望在本地运行 Hugging Face 模型的开发者。它搜索与 llama.cpp 兼容的 GGUF 仓库，协助选择量化版本，并生成使用 llama-cli 或 llama-server 的运行方式。它还支持确认精确 GGUF 文件名、必要时从 Transformers 权重转换，以及启动 OpenAI 兼容的本地服务。适用平台包括 CPU、Mac Metal、CUDA 和 ROCm，但材料未提供性能基准。
搜索 Hugging Face Hub 上标记为 llama.cpp 的模型；打开模型的本地应用页面并读取量化建议；通过模型树 API 确认精确的 .gguf 文件名；使用 llama-cli 或 llama-server 从 Hub 启动模型；在自定义文件名时使用 --hf-repo 与 --hf-file；仅在没有 GGUF 文件时下载 Transformers 权重、转换为 GGUF 并量化；通过 curl 请求本地服务器的 OpenAI 兼容聊天接口。
- 需要在 CPU、Mac Metal、CUDA 或 ROCm 设备上运行 Hugging Face 模型的开发者。
- 需要根据内存或显存预算选择 Q4、Q5、Q6、Q3 或仓库专用量化版本的用户。
- 需要准确定位某个 GGUF 文件并用 llama-server 提供本地 API 的开发者。
- 拥有 Transformers 权重但模型仓库尚未提供 GGUF 文件、需要执行转换的用户。
这个 Skill 有哪些优点和局限？
- 覆盖从 Hub 搜索、量化选择、精确文件确认到本地服务启动的完整流程。
- 保留仓库原生量化标签，并提供内存受限和代码工作负载的选择建议。
- 支持 llama-cli、llama-server、GGUF 转换和 OpenAI 兼容接口。
- 明确要求在已有 GGUF 时避免不必要的转换。
- 依赖 llama.cpp、Hugging Face CLI、Python 以及本地文件系统和网络访问。
- 材料未提供自动化测试、性能基准或不同硬件上的验证结果。
- 量化选择仍需结合模型页面和实际硬件；技能不会替用户保证最佳质量或速度。
- 受限仓库需要额外完成 Hugging Face 身份验证。
如何安装这个 Skill？
将仓库中的 skills/huggingface-local-models 文件夹复制或符号链接到 Codex 等客户端的标准 .agents/skills 目录，例如 $REPO_ROOT/.agents/skills 或 $HOME/.agents/skills。安装 llama.cpp 可使用 brew install llama.cpp、winget install llama.cpp，或从 https://github.com/ggml-org/llama.cpp 克隆后执行 make。需要访问受限仓库时，执行 hf auth login。
如何使用这个 Skill？
在支持 Agent Skills 的编码代理中明确要求使用 Hugging Face Local Models 技能，例如：“使用 Hugging Face Local Models 技能，为我选择一个适合本机内存的 GGUF 模型，并启动 llama-server。”典型运行命令为 llama-server -hf unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_M。若需指定文件，可使用 --hf-repo 与 --hf-file。