TRL 大模型训练助手
用 TRL 命令行完成语言模型的监督微调、偏好对齐与强化学习训练。
证据显示技能主要提供 TRL CLI 命令和训练建议，没有恶意行为或凭据窃取指令；但示例包含 --push_to_hub、远程模型/数据集加载和 hf auth login，未说明最小权限、数据流、用户确认、敏感数据处理、依赖安全或回滚，因此扣分。
文档覆盖 SFT、DPO、GRPO、RLOO、Reward Model、配置和常见故障，快乐路径看似连贯；但没有针对关键命令的提交测试、版本兼容矩阵、输入校验或可诊断失败输出，静态审查上限内扣分。
目标用户和训练场景较清楚，涵盖多种后训练方法及单机/分布式用法；但缺少数据格式、硬件、版本和方法选择的明确边界，也未说明中文支持或中国大陆网络环境适配，且核心流程依赖 Hugging Face Hub 等外部服务，因此扣分。
SKILL.md 结构清晰，具有 frontmatter、分层示例、配置、分布式训练、故障排查和最佳实践；Apache-2.0、版本 1.0.0 及文档入口明确，但缺少 changelog、维护责任人、更新路径、依赖安装说明、FAQ 和已知限制，故未给高分。
命令示例可直接作为训练起点，LoRA、配置文件和故障排查具有实际价值；但示例未被文件内的执行证据验证，结果质量、评估完整性、资源成本和相对手工操作的收益证据不足，部分工作仍需用户自行补充，故扣分。
存在 revision 范围内的源文档、Apache 许可证和生成文件校验 CI，支持有限审计；但 CI 不覆盖 TRL 关键训练路径，没有提交测试、真实输出或多来源交叉验证，因此只能给静态审查下的有限分数。
- 使用 --push_to_hub 前应明确确认上传范围、凭据权限、私有性和敏感数据风险；文档未提供回滚或撤销说明。
- 执行前需核对已安装 TRL、Transformers、Accelerate、PEFT 与硬件/CLI 参数版本；示例可能因版本变化失效。
- 远程 Hub 访问、认证和大模型下载可能受网络、账号权限和资源限制影响；文档未提供中国大陆网络替代方案。
- 应先在隔离环境和小数据集上验证数据 schema、奖励函数、显存和输出，再进行长时间或分布式训练。
这个 Skill 能做什么，适合哪些场景？
该技能指导代理使用 Hugging Face TRL 训练和微调 Transformer 语言模型。它覆盖 SFT、DPO、GRPO、RLOO 和奖励模型训练，并提供可直接执行的 CLI 示例。技能还说明了 LoRA、YAML 配置、Accelerate 分布式训练及常见故障排查方法。适合已经准备好模型与数据集、希望通过 Hugging Face 生态开展后训练的用户。
运行 trl sft、trl dpo、trl grpo、trl kto、trl rloo 和 trl reward 命令；从 Hugging Face Hub 或本地路径读取模型与数据集；配置学习率、批大小、评估、LoRA 和输出目录；使用 YAML 配置文件复现实验；通过 Accelerate 执行多 GPU、多节点、FSDP 或 DeepSpeed ZeRO 训练；将模型或训练结果推送到 Hub；根据 CUDA 内存不足、数据集、模型加载、训练速度和生成问题给出排查建议。
- 需要将基础模型微调为指令或对话模型的研究者，使用 SFT 训练流程和示例参数。
- 拥有 chosen/rejected 偏好数据、希望进行直接偏好优化的对齐工程师，使用 DPO 命令。
- 需要依据奖励函数或 LLM 评判生成结果的团队，使用 GRPO 训练模型。
- 希望让模型在线生成文本并依据自定义标准获得奖励的研究者，使用 RLOO。
- 需要为 RLHF 流程训练文本评分器的团队，使用 reward 命令。
- 显存有限或需要可复现实验的用户，使用 LoRA、YAML 配置和 Accelerate。
这个 Skill 有哪些优点和局限？
- 覆盖 SFT、DPO、GRPO、RLOO 和奖励模型训练。
- 提供完整训练、LoRA、配置文件和分布式训练示例。
- 包含 CUDA OOM、数据集加载、模型加载和生成问题的排查建议。
- 基于 TRL、Transformers 和 Accelerate，能够接入 Hugging Face 生态。
- 没有提供安装 TRL、Transformers 或 Accelerate 的步骤。
- 示例依赖具体模型、数据集、硬件和数据格式，不能保证直接适用于所有项目。
- SKILL.md 没有提供测试套件、基准结果或平台验证信息。
- `kto` 出现在命令元数据中，但正文没有对应的使用示例或说明。
如何安装这个 Skill？
该仓库包含 26 个独立技能。按 README 的 Codex 方式，将 skills/trl-training/ 复制或符号链接到 Codex 的标准 .agents/skills 位置，例如 $REPO_ROOT/.agents/skills 或 $HOME/.agents/skills，之后由兼容 Agent Skills 的客户端发现其中的 SKILL.md。源材料未提供 TRL 本身的安装命令。
如何使用这个 Skill？
安装后，直接向编码代理提出具体任务，例如："Use the trl-training skill to fine-tune Qwen/Qwen2-0.5B on trl-lib/Capybara with SFT and LoRA." 也可以按技能中的命令运行，例如 trl sft --config sft_config.yaml --learning_rate 1.0e-5。实际训练前应确认模型、数据集格式、硬件和所需训练方法。