Trackio 实验追踪
记录、监控并分析机器学习训练实验，让指标和诊断告警可供自动化工作流使用。
文档明确披露远程 Space 默认公开，并说明 webhook、云端同步和自动创建 Space 等外部数据流；但未要求用户确认、未说明凭据处理、最小权限、隔离或回滚方案，因此扣分。
提供了 Python API、CLI 命令、错误示例和非零退出说明，主路径在文档层面较连贯；但未提供针对 Trackio 关键路径的测试、版本约束或静态可复现证据，且部分 CLI 示例存在参数形式不完全一致，因此不超过静态上限并扣分。
目标场景、Python/CLI 接口和自动化实验流程较明确；但未充分声明不适用范围、触发边界、环境要求或中文支持，且远程核心能力依赖 Hugging Face Spaces/webhook 等外部服务，面向中国大陆网络的可达性未说明，因此扣分。
文档按日志、告警、检索分层，含安装说明、示例、JSON 格式和部分错误处理；仓库提供 Apache-2.0、通用安全政策和 CI 元数据，但该技能未说明版本、变更记录、维护责任或更新路径，故未满分。
内容覆盖指标记录、告警、检索和自动化迭代，示例输出面向可编程使用；但未执行验证，依赖版本、接口兼容性和真实结果完整性无法确认，仍可能需要用户调试，因此保守扣分。
文档给出仓库与官方文档链接，并包含较具体的命令和 JSON 示例；但没有本技能专属测试、CI 覆盖或第三方执行证据，静态审查只能支持有限可验证性。
- 远程 Space 默认公开；记录的指标、配置和可能包含敏感信息的告警应在启用同步或 webhook 前确认数据范围，并显式使用私有配置。
- 文档建议代理自主停止、调整超参数并重新启动训练，但未定义用户确认、权限边界或回滚流程。
- Trackio、TRL、Transformers、Hugging Face Spaces 和 webhook 的版本、可用性及中国大陆网络可达性未在技能中固定或验证。
这个 Skill 能做什么，适合哪些场景？
该技能通过 Trackio 记录机器学习训练指标，并将实验同步到 Hugging Face Spaces 仪表板以进行实时监控。它提供 Python API，用于初始化实验、记录指标、发送诊断告警和结束运行。它还提供 CLI，用于列出项目、运行、指标和告警，获取指标值，启动仪表板以及同步到 Space。输出支持 JSON，适合 LLM Agent 或其他自动化流程读取。
在训练脚本中调用 trackio.init()、trackio.log()、trackio.alert() 和 trackio.finish()；通过 CLI 的 trackio list、trackio get、trackio show 和 trackio sync 命令发现或读取项目、运行、指标和告警，并可使用 --json 生成程序化输出。指标可以同步到 Hugging Face Space，告警可以显示在终端和仪表板中，也可通过 webhook 发送到 Slack 或 Discord。
- 正在训练模型、需要持续记录 loss 和 accuracy 等指标的 Python 用户。
- 在远程或云端训练中，希望把指标持久化到 Hugging Face Space 仪表板的团队。
- 需要检测 loss 激增、NaN 梯度、低准确率或训练停滞的实验开发者。
- 运行自主实验迭代、需要通过 CLI 轮询告警并读取指标的 LLM Agent。
- 需要以 JSON 格式提取指标和告警、供脚本或自动化流程处理的工程师。
这个 Skill 有哪些优点和局限？
- 同时覆盖 Python 指标记录、Python 告警和 CLI 查询三类实验追踪任务。
- 支持实时仪表板、Hugging Face Space 同步、webhook 告警和 JSON 自动化输出。
- 为自主实验迭代提供了从告警轮询到指标读取的明确工作流。
- 可与 TRL 的 report_to="trackio" 集成。
- 所给材料未提供 Trackio 详细安装步骤、版本要求或完整参考文档内容。
- 自动创建的 Hugging Face Spaces 默认公开，处理敏感实验指标时必须显式使用 private=True。
- 技能负责追踪、告警和查询，不负责模型训练、超参数调整或自动停止运行本身。
- 所给材料没有测试套件、平台覆盖或具体 webhook 配置验证信息。
如何安装这个 Skill？
该仓库将技能放在 skills/huggingface-trackio/。按照 README，可将该技能文件夹复制或 symlink 到 Codex 的标准 .agents/skills 位置，例如 $REPO_ROOT/.agents/skills 或 $HOME/.agents/skills。README 还说明可使用 hf skills add <skill-name> 按需安装额外技能；本技能名称为 huggingface-trackio。其他客户端的具体安装流程未在所给材料中完整说明。
如何使用这个 Skill？
在支持 Agent Skills 的编码 Agent 中提示："使用 Hugging Face Trackio 技能，为我的 Python 训练脚本加入指标记录和异常告警，并用 CLI 以 JSON 轮询结果。"训练代码中使用 import trackio、trackio.init()、trackio.log()、trackio.alert() 和 trackio.finish()；随后可运行 trackio list projects --json，或运行 trackio get metric --project my-project --run my-run --metric loss --json。远程训练时可传入 space_id；Space 默认公开，如需私有指标则传入 private=True。