Azure AI Foundry 模型微调
为 Azure AI Foundry 提供从训练数据准备到微调部署与评估的完整工作流。
文档覆盖基线评估、数据验证、检查点评估、成本衡量和清理，但未明确要求用户确认训练、部署或删除操作，也未透明说明训练数据、Bearer 密钥和外部工具端点的数据流；cleanup.py 的删除范围、回滚和恢复方式未说明。MIT、Microsoft 来源和安全报告政策提供一定归属证据，但因缺少最小权限、敏感数据处理和恢复控制而扣分。
流程结构一致，包含常见错误及修复方向、重试/容量/端点提示；但引用的脚本和 workflows 文件未在所给材料中提供，无法复现关键路径，命令依赖当前工作目录，且部分平台与 SDK 细节可能随版本变化。静态评估下 happy path 尚可，异常反馈和依赖可用性证据有限，因此低于静态上限10。
触发条件、覆盖范围和不适用范围写得清楚，区分 SFT、DPO、RFT、部署、评估及数据准备；但没有明确输入输出契约、模型/区域限制或中文使用指导，且核心功能依赖 Azure AI Foundry、Copilot/SDK 等外部服务，未提供中国大陆网络可达性说明，因此扣分。
采用 SKILL.md、workflows、references、scripts 和错误处理的分层结构，包含示例命令、格式说明、MIT 许可证、作者和版本字段；但版本为 0.0.0-placeholder，未见该技能专属 changelog、维护责任人、更新路径、安装依赖清单或 FAQ，且脚本实现未随证据提供。
文档直接覆盖训练数据准备、提交、监控、诊断、部署和评估，命令与示例对目标任务有明显实用价值；不过静态材料未证明脚本真实存在、能运行或产生可直接交付结果，也未验证 API 示例与当前平台兼容性。按静态校准最高只能给7分，且完整性仍需人工审查。
存在结构化格式规则、错误表、评估方法、外部 Microsoft 文档/示例引用，以及仓库级 CI 和测试材料；但提供的 CI/测试并未证明该 finetuning 技能关键路径已覆盖，未见技能专属测试结果或第三方执行证据。静态可审计性有限，因此低于5分。
- 训练和部署可能产生云端费用及外部状态变更；使用前应明确用户确认、权限范围、成本上限和删除恢复流程。
- 示例包含 Bearer 密钥、工具服务器 URL 和训练数据处理，但没有系统化的密钥管理、脱敏、保留期限或数据驻留说明。
- SKILL.md 引用的 workflows 和 scripts 未在材料中给出；应先确认文件存在、依赖版本、参数契约和实际错误处理。
- 核心服务依赖 Azure AI Foundry、OpenAI/Azure SDK 及可能的预览功能；应单独核验当前区域可用性、API 版本和中国大陆网络可达性。
它能做什么 & 适用场景
这是 Microsoft Agent Skills 集合中的一个 Foundry 微调子技能，专门处理 SFT、DPO 和 RFT。它覆盖数据准备与验证、训练任务提交与监控、检查点分析、模型部署和评估。配套脚本还支持数据格式转换、蒸馏数据生成、数据质量评分、RFT grader 校准及资源清理。该技能适合已经使用 Azure AI Foundry、需要系统化微调流程的开发团队。
指导用户准备、格式化和验证 SFT、DPO、RFT 训练数据；运行 Python 脚本提交并监控训练任务；分析训练曲线和检查点；校准 RFT grader 的 pass threshold；在 Azure AI Foundry 部署微调模型；使用测试数据进行 LLM judge 评估；转换数据集格式、生成蒸馏数据、评分数据质量，并清理旧文件和部署。
- Azure AI Foundry 开发者需要提交并监控一次 SFT、DPO 或 RFT 训练任务时。
- 机器学习工程师需要验证训练数据格式、转换数据集或评估数据质量时。
- RFT 使用者需要校准 grader 和 pass threshold，避免奖励信号过难或过易时。
- 模型团队需要比较基础模型、训练检查点和最终模型的效果与 token 成本时。
- 平台工程师需要部署微调模型、处理大文件上传或清理旧部署时。
优缺点一览
- 同时覆盖 SFT、DPO 和 RFT，范围从数据准备延伸到部署与评估。
- 提供提交、监控、校准、检查、部署、评估和清理等具体脚本。
- 内置先做基线评估、提交前验证、检查点评估和 token 成本衡量等流程规则。
- 包含训练类型、数据格式、超参数、grader 设计、部署和常见平台问题等参考主题。
- 版本字段仍为 `0.0.0-placeholder`，README 也明确说明仓库处于积极开发阶段。
- 提供材料没有说明 Azure 身份验证、权限配置、区域可用性或具体模型资格要求。
- 提供材料没有展示该微调子技能自身的测试场景或覆盖率。
- 运行脚本需要本地 shell、文件系统、Python 和网络访问，裸模型 API 不能直接执行这些操作。
如何安装
安装整个集合：运行 npx skills add microsoft/skills，在向导中选择需要的技能。README 说明技能会安装到所选 Agent 的目录，例如 GitHub Copilot 使用 .github/skills/；也可以克隆仓库后复制目标技能目录。源材料未提供该子技能独立安装包或单独版本发布流程。
如何使用
在支持 Agent Skills 的编码代理中提出明确请求，例如“准备 SFT 数据并提交 Azure AI Foundry 训练任务”或“校准 RFT grader 并评估训练检查点”。在技能目录中可运行源材料列出的命令，例如 python scripts/validate/validate_sft.py data.jsonl、python scripts/submit_training.py --model gpt-4.1-mini --training-file train.jsonl --validation-file val.jsonl --type sft，以及 python scripts/evaluate_model.py --deployment-name my-eval --test-file test.jsonl。