数据与分析

Trackio 实验追踪

记录、监控并分析机器学习训练实验,让指标和诊断告警可供自动化工作流使用。

43/ 100
不推荐

当前收益不足以覆盖风险或不确定性。

查看评分依据 ↓
可直接使用于
Codex · Claude Code
Star 数
★ 11k
最近更新
18 天前
License
Apache-2.0
experiment-trackingml-trainingtrackiometrics-logging
+2training-alertshugging-face-spaces

这个 Skill 能做什么,适合哪些场景?

该技能通过 Trackio 记录机器学习训练指标,并将实验同步到 Hugging Face Spaces 仪表板以进行实时监控。它提供 Python API,用于初始化实验、记录指标、发送诊断告警和结束运行。它还提供 CLI,用于列出项目、运行、指标和告警,获取指标值,启动仪表板以及同步到 Space。输出支持 JSON,适合 LLM Agent 或其他自动化流程读取。

在训练脚本中调用 trackio.init()、trackio.log()、trackio.alert() 和 trackio.finish();通过 CLI 的 trackio list、trackio get、trackio show 和 trackio sync 命令发现或读取项目、运行、指标和告警,并可使用 --json 生成程序化输出。指标可以同步到 Hugging Face Space,告警可以显示在终端和仪表板中,也可通过 webhook 发送到 Slack 或 Discord。

适合
  • 正在训练模型、需要持续记录 loss 和 accuracy 等指标的 Python 用户。
  • 在远程或云端训练中,希望把指标持久化到 Hugging Face Space 仪表板的团队。
  • 需要检测 loss 激增、NaN 梯度、低准确率或训练停滞的实验开发者。
  • 运行自主实验迭代、需要通过 CLI 轮询告警并读取指标的 LLM Agent。
  • 需要以 JSON 格式提取指标和告警、供脚本或自动化流程处理的工程师。

如何安装这个 Skill?

使用前请注意
  • 远程 Space 默认公开;记录的指标、配置和可能包含敏感信息的告警应在启用同步或 webhook 前确认数据范围,并显式使用私有配置。
  • 文档建议代理自主停止、调整超参数并重新启动训练,但未定义用户确认、权限边界或回滚流程。
  • Trackio、TRL、Transformers、Hugging Face Spaces 和 webhook 的版本、可用性及中国大陆网络可达性未在技能中固定或验证。
开始前你需要
Agent 需要具备
  • Shell / 命令行
  • 网络访问
需要预先安装
  • Python
  • Trackio
  • Hugging Face Spaces

该仓库将技能放在 skills/huggingface-trackio/。按照 README,可将该技能文件夹复制或 symlink 到 Codex 的标准 .agents/skills 位置,例如 $REPO_ROOT/.agents/skills 或 $HOME/.agents/skills。README 还说明可使用 hf skills add <skill-name> 按需安装额外技能;本技能名称为 huggingface-trackio。其他客户端的具体安装流程未在所给材料中完整说明。

通用方式:手动安装到 Claude Code(macOS / Linux)
tmp="$(mktemp -d)"
git clone --depth 1 https://github.com/huggingface/skills.git "$tmp"
mkdir -p ~/.claude/skills
cp -R "$tmp/skills/huggingface-trackio" ~/.claude/skills/
rm -rf "$tmp"

根据源仓库地址和 Skill 路径自动生成,只复制这个 Skill 的文件夹。如果上文有作者提供的安装方式,请优先按作者说明操作;想只在当前项目中使用,把 ~/.claude/skills 换成项目里的 .claude/skills。

如何使用这个 Skill?

试试这样说

安装后,把下面任意一句发给 Agent 即可触发:

  • 使用 Hugging Face Trackio 技能,为我的 Python 训练脚本加入指标记录和异常告警,并用 CLI 以 JSON 轮询结果。

在支持 Agent Skills 的编码 Agent 中提示:"使用 Hugging Face Trackio 技能,为我的 Python 训练脚本加入指标记录和异常告警,并用 CLI 以 JSON 轮询结果。"训练代码中使用 import trackio、trackio.init()、trackio.log()、trackio.alert() 和 trackio.finish();随后可运行 trackio list projects --json,或运行 trackio get metric --project my-project --run my-run --metric loss --json。远程训练时可传入 space_id;Space 默认公开,如需私有指标则传入 private=True。

这个 Skill 有哪些优点和局限?

优点
  • 同时覆盖 Python 指标记录、Python 告警和 CLI 查询三类实验追踪任务。
  • 支持实时仪表板、Hugging Face Space 同步、webhook 告警和 JSON 自动化输出。
  • 为自主实验迭代提供了从告警轮询到指标读取的明确工作流。
  • 可与 TRL 的 report_to="trackio" 集成。
局限
  • 所给材料未提供 Trackio 详细安装步骤、版本要求或完整参考文档内容。
  • 自动创建的 Hugging Face Spaces 默认公开,处理敏感实验指标时必须显式使用 private=True。
  • 技能负责追踪、告警和查询,不负责模型训练、超参数调整或自动停止运行本身。
  • 所给材料没有测试套件、平台覆盖或具体 webhook 配置验证信息。

这个 Skill 与同类方案有什么区别?

与相关 Skills 并排比较;分数均按同一 FSRS 标准得出。

Skill FS 评分 Star 数 最近更新 License
Trackio 实验追踪 本页 43 · 不推荐 ★ 11k 18 天前 Apache-2.0
Trackio 实验追踪技能 53 · 谨慎使用 ★ 38k 14 天前 MIT
Hugging Face LLM 训练器 48 · 谨慎使用 ★ 11k 18 天前 Apache-2.0
Hugging Face 视觉模型训练助手 43 · 不推荐 ★ 11k 18 天前 Apache-2.0
Sentence Transformers 训练助手 47 · 谨慎使用 ★ 11k 18 天前 Apache-2.0

FollowSkills 如何评估这个 Skill?

FollowSkills 评估 · FSRS-2.0
不推荐
43/ 100 五分制 2.2 / 5
上游仓库在本次评估后已有新提交;当前评分仍对应所示审查版本,可能尚未覆盖最新改动。
1信任安全10 / 25 · 2.0/5

文档明确披露远程 Space 默认公开,并说明 webhook、云端同步和自动创建 Space 等外部数据流;但未要求用户确认、未说明凭据处理、最小权限、隔离或回滚方案,因此扣分。

2可靠稳定8 / 20 · 2.0/5

提供了 Python API、CLI 命令、错误示例和非零退出说明,主路径在文档层面较连贯;但未提供针对 Trackio 关键路径的测试、版本约束或静态可复现证据,且部分 CLI 示例存在参数形式不完全一致,因此不超过静态上限并扣分。

3适用触发8 / 15 · 2.7/5

目标场景、Python/CLI 接口和自动化实验流程较明确;但未充分声明不适用范围、触发边界、环境要求或中文支持,且远程核心能力依赖 Hugging Face Spaces/webhook 等外部服务,面向中国大陆网络的可达性未说明,因此扣分。

4规范维护8 / 15 · 2.7/5

文档按日志、告警、检索分层,含安装说明、示例、JSON 格式和部分错误处理;仓库提供 Apache-2.0、通用安全政策和 CI 元数据,但该技能未说明版本、变更记录、维护责任或更新路径,故未满分。

5有效结果6 / 15 · 2.0/5

内容覆盖指标记录、告警、检索和自动化迭代,示例输出面向可编程使用;但未执行验证,依赖版本、接口兼容性和真实结果完整性无法确认,仍可能需要用户调试,因此保守扣分。

6证据核验3 / 10 · 1.5/5

文档给出仓库与官方文档链接,并包含较具体的命令和 JSON 示例;但没有本技能专属测试、CI 覆盖或第三方执行证据,静态审查只能支持有限可验证性。

1 2 3 4 5 6

点击维度查看打分理由

评估于 2026年7月20日 审查版本 86cdeee824b7 评估证据[1][2][3][4][5][6][7][8]

证据充分度:低 — 主要依赖静态检查、作者材料或有限演示;适合发现线索,不适合做高风险决策。

查看完整评分方法 →

常见问题

这个技能会替我训练模型吗?
不会。材料显示它用于记录和可视化训练指标、发送告警以及查询结果;训练脚本和实验迭代仍由用户或 Agent 执行。
实验指标默认会公开吗?
会。同步到 Space 时,自动创建的 Spaces 默认公开;如果指标不应公开,应在 trackio.init() 中传入 private=True。
它适合自动化或 LLM Agent 工作流吗?
适合。CLI 支持 --json,材料还给出了轮询告警、读取指标、调整超参数并启动新运行的自主实验流程。
使用成本和权限要求是什么?
所给材料未说明费用或完整权限模型。可以确认的是,远程同步依赖 Hugging Face Spaces,webhook 告警还涉及 Slack 或 Discord。

同仓库的其他 Skills

均来自 huggingface/skills

数据与分析

Hugging Face LLM 训练器

在 Hugging Face 云端 GPU 上训练、微调并保存模型。

★ 11k FS 48 谨慎使用 18 天前
开发与工程

LoRA Space Demo Builder

为 Hugging Face LoRA 自动设计并发布定制化 Gradio 演示 Space。

★ 11k FS 51 谨慎使用 18 天前
开发与工程

Hugging Face Spaces 构建器

帮助智能体创建、部署和维护 Hugging Face Spaces 应用。

★ 11k FS 50 谨慎使用 18 天前
数据与分析

Hugging Face 视觉模型训练助手

在 Hugging Face Jobs 云 GPU 上训练检测、分类与分割视觉模型,并将结果保存到 Hub。

★ 11k FS 43 不推荐 18 天前
开发与工程

Hugging Face ZeroGPU 开发指南

帮助你构建可靠的 Gradio ZeroGPU AI 演示与 GPU 工作负载。

★ 11k FS 56 谨慎使用 18 天前
数据与分析

Sentence Transformers 训练助手

为检索、相似度与稀疏搜索训练 Sentence Transformers 模型。

★ 11k FS 47 谨慎使用 18 天前
开发与工程

Hugging Face Hub CLI 技能

让智能体通过 hf 命令管理 Hugging Face Hub 上的模型、数据集、空间、作业与基础设施。

★ 11k FS 42 不推荐 18 天前
开发与工程

Hugging Face MCP 助手

通过 MCP 让智能体直接搜索、阅读并使用 Hugging Face Hub 资源。

★ 11k FS 36 不推荐 18 天前
数据与分析

Hugging Face 数据集探索助手

通过 Dataset Viewer API 探索、检索和提取 Hugging Face 数据集。

★ 11k FS 49 谨慎使用 18 天前
开发与工程

Hugging Face 论文研究助手

读取 AI 论文并提取 Hugging Face 论文页的结构化元数据。

★ 11k FS 49 谨慎使用 18 天前
数据与分析

Hugging Face 本地模型评测

在本地硬件上为 Hugging Face Hub 模型运行可控的 inspect-ai 或 lighteval 评测。

★ 11k FS 47 谨慎使用 18 天前
数据与分析

Hugging Face 模型内存估算器

在不下载权重的情况下估算模型推理所需内存。

★ 11k FS 44 不推荐 18 天前
开发与工程

Hugging Face 本地模型运行器

帮助你从 Hugging Face 选择合适的 GGUF 量化模型,并用 llama.cpp 在本机运行。

★ 11k FS 44 不推荐 18 天前
数据与分析

Hugging Face 模型优选器

根据任务、基准成绩和设备内存筛选并推荐合适的 AI 模型。

★ 11k FS 42 不推荐 18 天前
开发与工程

Hugging Face API 工具构建器

把 Hugging Face API 调用组合成可复用、可管道化的命令行工具。

★ 11k FS 41 不推荐 18 天前
写作与内容

Hugging Face 论文发布器

在 Hugging Face Hub 上发布、关联和管理研究论文。

★ 11k FS 36 不推荐 18 天前
数据与分析

TRL 大模型训练助手

用 TRL 命令行完成语言模型的监督微调、偏好对齐与强化学习训练。

★ 11k FS 48 谨慎使用 18 天前
自动化与运维

AWS 云账户上下文发现

在 AWS 操作前准确识别本地配置、账户与身份。

★ 11k FS 50 谨慎使用 18 天前
自动化与运维

SageMaker 模型部署规划器

为不同模型和流量需求选择合适的 AWS SageMaker 部署路径。

★ 11k FS 50 谨慎使用 18 天前
自动化与运维

SageMaker Python 环境管家

为 SageMaker 与 AWS 任务创建隔离且版本正确的 Python 环境。

★ 11k FS 49 谨慎使用 18 天前

相关 Skills