开发与工程

远程 GPU 训练全流程技能

覆盖深度学习实验全生命周期:把作业跑起来(RUN)、验证数字是真的(VERIFY)、交付可复现的图表(DELIVER),专为自有或租用的 GPU 设计。

65/ 100
推荐

整体可靠,存在已披露的局限;按说明试用并保留回滚路径。

查看评分依据 ↓
可直接使用于
Codex · Claude Code
Star 数
★ 42
最近更新
12 天前
License
MIT
gpu-rentalpytorchdistributed-trainingreproducibility
+4experiment-trackingmlopsspot-instancesssh

这个 Skill 能做什么,适合哪些场景?

这是一个面向深度学习实验完整生命周期的 Agent Skill,核心是一段 SKILL.md 加按需加载的参考文档与脚本模板,而非 CLI 或 SDK。它的深度在远程 GPU 运维:AutoDL、RunPod、vast.ai、Lambda、Paperspace、国内租卡平台、裸 SSH、Slurm、Kubernetes 都有各自的 profile,记录了停止与销毁的计费陷阱、spot 抢占、镜像源等具体细节。VERIFY 层提供 14 探针方法论,判断一个指标是 bug、真效应还是噪声;DELIVER 层把每个图表锁死为单一不可变证据层的确定性函数。适用于已经会写训练代码、但被计费、断连、结果可信度反复坑过的实验者。

  • 按租用平台的 profile 生成六阶段运维流程:环境审计、SSH 凭据、CPU 冒烟测试、detach 启动、持久监控、验证后销毁。
  • 用 pull 清单(RSHA-256 + 字节比对)建立销毁前铁闸:在本地逐一重读每个数字之前,禁止释放/终止/删除。
  • 提供 OOM、分布式挂起、NaN/损失尖峰、吞吐、断点续训、收敛失败、dataloader 正确性等 8 类训练故障的 symptom→根因→修复调试层。
  • 用泄漏、公平对比、表征崩塌、方差等探针方法验证指标可信度,并保留 wandb 取证脚本。
  • 把结果封装成 export/<run-id> 密封胶囊(不可变证据层),生成单源图表并跨文档对账。
  • 处理 Windows + Clash/Mihomo 高端口 SSH banner 超时、fake-IP、TUN 干扰等网络传输故障。
适合
  • 在 AutoDL 租卡跑长训练,担心断连丢 checkpoint、关机与销毁分不清计费,想要 detach + 断点续训 + 安全停机的完整流程。
  • 实验结果「好得意外」,需要系统性判断是 bug、泄漏还是真效应,而不是直接写进论文。
  • 论文修改后幻灯片里的旧数字没同步,需要单一证据源生成全部图表、跨文档自动对账。
  • 在 RunPod/vast.ai 等 spot 实例上跑作业,需要抢占宽限期的 checkpoint 节奏与不可逆销毁前的字节级校验。
  • 多卡 DDP 启动挂起、NaN 尖峰、显存 OOM,想要按症状快速定位根因的调试手册。
  • 维护大量 SSH 租用实例,害怕某个忘关的盒子 24 小时计费,需要持久的监控与健康巡逻。
不适合
  • 想在多家西方云之间自动比价、托管 spot 恢复的用户——请用 SkyPilot;此技能不做云编排。
  • 想要零运维 serverless 推理的用户——请用 Modal;此技能不提供推理服务。
  • 不想手动运维 torchrun/accelerate/deepspeed 的用户——技能教你如何驱动它们,但不替代它们。

如何安装这个 Skill?

使用前请注意
  • 静态审阅未执行任何代码:teardown/计费等涉及金钱的事实使用前请按 skill 自身要求对照平台当前文档复核(6个平台 profile 作者自述未实测)。
  • 销毁/关机不可逆:即使遵循 Iron Law,也务必亲自核对本地 PULL_VERIFIED. 再确认计费动作。
  • 该技能会深度操作远程主机与计费动作,建议先在小额/短租实例上试用;publisher 身份未经验证。
  • 跨技能引用(research-artifact-hygiene、mirror-research-artifacts 等)为可选依赖,缺失时部分 DELIVER 指引标记为 legacy。
开始前你需要
Agent 需要具备
  • Shell / 命令行
  • 网络访问
  • 本地文件系统
需要预先安装
  • SSH access to remote GPU hosts
  • rsync/scp
  • uv (optional, for install validation)

标准 Agent Skill:把整个文件夹克隆进对应 agent 的 skills 目录并重启 agent。目录名需保持 remote-gpu-trainer。

Claude Code

git clone https://github.com/Hanyuyuan6/remote-gpu-trainer.git ~/.claude/skills/remote-gpu-trainer

OpenAI Codex

git clone https://github.com/Hanyuyuan6/remote-gpu-trainer.git ~/.agents/skills/remote-gpu-trainer

Cursor · Trae · Gemini CLI · VS Code / Copilot · Goose · Kiro 等兼容 agent
克隆到该 agent 的 skills 目录;具体路径见各家文档或 agentskills.io。可用官方校验器验证安装:

uvx --from skills-ref agentskills validate ~/.claude/skills/remote-gpu-trainer

如何使用这个 Skill?

试试这样说

安装后,把下面任意一句发给 Agent 即可触发:

  • 我在 AutoDL 租了张 4090 跑训练,帮我设置断点续训和持久监控,并告诉我关机前怎么确认结果已经安全取回。
  • 我的 loss 突然变成 NaN 了,帮我按 precision-stability 的流程排查 fp16/AMP 配置。
  • 这次消融实验的 1.2% 提升可信吗?帮我用 VERIFY 的探针检查有没有泄漏或不公平对比。
  • 训练跑完了,帮我走完 pull 校验清单再销毁这台 RunPod 实例。

无需手动调用——当任务涉及远程 GPU 训练、调试、验证或导出时技能会自动触发。加载 SKILL.md 这个路由中枢后按阶段取用:RUN 先选 profiles/<平台>.md(绑定具体路径、计费动词、代理规则),再走六阶段流程,每阶段以可运行的检查收尾;核心不变量是「checkpoint 到持久位置 + 启动时无条件加载最新 + 幂等恢复」。VERIFY 用 references/verifying/ 的 14 探针方法论,先分类 bug/效应/噪声再报告。铁律:任何 release/terminate/destroy 之前,必须通过 PULL_MANIFEST. 字节级校验且用户显式批准。可选伴侣技能(画图、镜像、编排等)均非必需,技能可独立工作。

这个 Skill 有哪些优点和局限?

优点
  • 平台细节非常落地:停止 vs 销毁的计费差异、inode 上限、cgroup 内存、镜像源陷阱都有具体命令与引用。
  • VERIFY 与 DELIVER 层是平台无关的方法论,自有 GPU 上同样适用。
  • 内置 evals 回归护栏与 U1–U44 陷阱目录,费用相关的关键事实均带 verified 月份戳。
  • MIT 协议,可独立使用,不强制任何伴侣技能。
局限
  • 除 AutoDL 为作者日常实战外,其余六个租用平台 profile 来自官方文档与社区报告,作者未独立实测。
  • 它是知识与模板,不是 CLI/SDK——监控、调度等能力依赖宿主 agent 的后台任务与调度能力映射。
  • 平台计费规则会变,使用前仍需对照官方文档核对销毁/计费事实。

这个 Skill 与同类方案有什么区别?

与相关 Skills 并排比较;分数均按同一 FSRS 标准得出。

Skill FS 评分 Star 数 最近更新 License
远程 GPU 训练全流程技能 本页 65 · 推荐 ★ 42 12 天前 MIT
NeMo MBridge GPU 内存调优 ✓ NVIDIA · 官方 61 · 推荐 ★ 3.6k 11 天前 Apache-2.0
NeMo AutoModel 配方开发 ✓ NVIDIA · 官方 55 · 谨慎使用 ★ 3.6k 11 天前 Apache-2.0
NeMo-RL 自动研究助手 ✓ NVIDIA · 官方 51 · 谨慎使用 ★ 3.6k 11 天前 Apache-2.0
Megatron Bridge 激活重计算 ✓ NVIDIA · 官方 59 · 推荐 ★ 3.6k 11 天前 Apache-2.0

与 SkyPilot、dstack、Modal 等基础设施编排器互补而非竞争:它们负责开箱与比价,本技能在其之后让你的代码正确断点续训,并继续进入它们不触及的 VERIFY 与 DELIVER 阶段。它专做编排器跳过的原始租用实例——AutoDL、国内平台、廉价裸 SSH,以及磁盘预算、inode 上限、镜像停滞、spot 宽限窗口这类日常现实。

FollowSkills 如何评估这个 Skill?

FollowSkills 评估 · FSRS-2.0
推荐
65/ 100 五分制 3.3 / 5
上游仓库在本次评估后已有新提交;当前评分仍对应所示审查版本,可能尚未覆盖最新改动。
1信任安全20 / 25 · 4.0/5

证据显示安全设计成熟:销毁/关机前有 Iron Law 证据门(PULL_MANIFEST、SHA-256、逐字节校验、用户显式确认)、禁止静默删除与改路由/DNS、密钥经 stdin、严格 host-key 校验、Paramiko 回退需记录证据且失败即关闭。扣分:整体权限面广(SSH、计费动词、清理脚本),Paramiko 单套接字回退路径复杂,静态审阅无法验证其安全实现细节。

2可靠稳定9 / 20 · 2.3/5

指令自洽性高:渐进式披露结构清晰、平台verb模型一致、CI 中有结构性可达性 evals 与 reconcile 单元测试。扣分:静态审查无法复现关键路径;六份以上 profile 与数十个 reference/script 的实际一致性未经执行验证;README 自述六个平台 profile 未经实测,失败反馈质量只能部分推断。

3适用触发12 / 15 · 4.0/5

受众与场景明确(自有/租用GPU、AutoDL、SSH、调试、验证、交付),非适用范围(SkyPilot/dstack/Modal 场景)明确声明,触发词含中文且覆盖国内平台与镜像,对中国用户环境适配良好。扣分:触发条件宽泛(几乎所有训练任务都可能命中),语义触发精度缺乏实际调用证据。

4规范维护13 / 15 · 4.3/5

分层文档结构优秀:hub + references + profiles + scripts + examples + evals;MIT 许可证明确、版本 v1.0.0、 SECURITY.md、维护路径(self-improvement、staleness 检查、verified 时间戳)齐备。扣分:无独立 CHANGELOG,部分 DELIVER 层被标记为 legacy 非规范,存在跨技能依赖的历史包袱与隐藏假设。

5有效结果6 / 15 · 2.0/5

方法论价值高:RUN→VERIFY→DELIVER 全链路、可运行示例、单一真源交付架构,边际价值明显(覆盖平台文档不含的运维与验证知识)。扣分:静态上限 7;实际输出(图表/导出胶囊)的直接可用性未经执行验证,代表产物未核实。

6证据核验5 / 10 · 2.5/5

仓库含真实 CI workflow(evals.yml:结构可达性 evals + reconcile 单元测试 + staleness 检查)、evals/RESULTS.md 声称的导航记录、逐条引用并盖 verified 时间戳的计费事实。扣分:静态上限附近;测试覆盖的是结构性漂移与单个脚本,不覆盖技能关键路径(训练、拉取、销毁门)的端到端复现,作者自述六个平台 profile 未实测。

1 2 3 4 5 6

点击维度查看打分理由

评估于 2026年9月10日 审查版本 892e5674ccf3 评估证据[1][2][3][4][5]

证据充分度:低 — 主要依赖静态检查、作者材料或有限演示;适合发现线索,不适合做高风险决策。

查看完整评分方法 →

常见问题

它是一个 CLI 工具吗?
不是。它是一个 Agent Skill:SKILL.md 加参考文档与脚本模板,由你的 AI agent 读取并执行;不是可直接运行的命令行程序。
别的平台的计费信息可信吗?
AutoDL 是作者日常实战验证;其余六个 profile 引自官方文档与社区报告并标注 verified 月份,但作者未独立实测。技能内置的铁闸会强制在使用前重查文档,把过期事实变成「重查」而不是静默损失。
会不会替我乱删数据或乱花钱?
不会。成本与破坏性操作一律由用户决定:绝不自动释放实例,销毁前必须通过字节级 pull 清单校验,且仍需你显式批准该次计费动作。
需要同时安装其他技能吗?
不需要。nature-figure、mirror-research-artifacts 等伴侣技能都是可选增强,本技能完全可独立使用。

相关 Skills