自我改进循环
让智能体系统在受控评估中迭代自身的上下文、工作流与代码。
内容明确要求运行时隔离、外置评估器、权限与预算控制、沙箱、人工审批、候选归档和失败记录,降低自修改系统的越权与不可恢复风险;但未具体定义敏感数据处理、用户确认流程、通用回滚实现或依赖安全,因此扣9分。
文档结构一致,覆盖能力阈值、停滞检测、双数据集验收、异常奖励攻击和失败反馈,并提供可读的伪代码与归档布局;但本次仅静态阅读,选定技能没有配套可执行测试、脚本或关键路径复现证据,且部分规则依赖外部实现,因此扣12分。
激活条件、非适用范围、优化层级和与相邻技能的路由边界较清晰,适用于多类自改进与进化搜索场景;但输入输出契约、语义触发的实证覆盖、中文使用支持及中国大陆网络环境适配未明确,因此扣3分。
具备渐进式章节结构、检查清单、示例、集成说明、内部证据文件、版本和更新时间,并有仓库MIT许可证;但维护责任、变更日志、依赖安装和更新路径不充分,作者仅以贡献者群体表述,因此扣4分。
内容提供优化阶梯、失败驱动流程、接受门、归档布局和路由示例,能直接指导设计讨论并减少常见错误;但它是概念与伪代码指南,没有选定技能自身的可运行实现或代表性输出验证,实际任务仍需较多工程工作,因此扣1分。
关键断言带有claim ID,内部参考文件给出日期、论文或报告来源及部分实验数据,且明确披露复现限制;但证据主要是文档转述,未提供本次静态范围内的独立复现、测试覆盖或多源交叉验证,因此达到静态上限5分。
- 这是低置信度静态评估,未执行示例、代码或仓库CI。
- 引用的数值和研究结论标注为易变,需在实际采用前重新核验。
- 自修改系统仍需由宿主运行时实现权限隔离、不可变评估器、回滚和人工审批;技能文本本身不能保证这些控制存在。
- 未说明中文交互或中国大陆网络可达性;依赖外部论文、网站或远程基础设施时需单独确认可访问性。
这个 Skill 能做什么,适合哪些场景?
该技能面向把 harness、脚手架、工作流或上下文机制本身作为优化对象的系统。它覆盖失败驱动的自编辑、元 harness 搜索、进化式脚手架搜索、上下文机制演化,以及自修改系统的验收门。核心方法是把评估器、权限和预算置于循环之外,并用 held-in 与 held-out 数据集验证候选修改。它适合已有可靠评估基础、需要持续改进代理系统的工程团队,不适合没有稳定反馈信号的一次性提示优化。
指导系统从失败轨迹中聚类可修复的问题,区分验证器原因、代理行为责任和可复用机制;限定可编辑表面并要求候选修改附带目标、预期效果和回归风险;在 held-in 与 held-out 数据集上重复评估候选;将候选源代码、分数、原始执行轨迹、差异、血缘和决策写入文件系统经验档案;通过多样性维护、近重复拒绝和归档候选选择来支持搜索;提醒运行时在循环外强制执行权限、预算与沙箱边界。
- 负责代理 harness 的工程师希望根据失败轨迹提出受限的自编辑,并在合并前验证回归风险。
- 研究元 harness 的团队需要在工作流图、harness 代码或优化器代码上运行候选搜索。
- 上下文工程师希望让条目化 playbook 或生成上下文的 skill 随反馈增量演化。
- 评估工程师需要为自修改代理设计双数据集、重复运行和反奖励作弊的验收流程。
- 代理系统出现奖励作弊、多样性坍缩、上下文坍缩或无声停滞时,团队需要诊断循环退化。
这个 Skill 有哪些优点和局限?
- 提供从提示、结构化上下文到优化器代码的六级优化阶梯,帮助把失败修复在最低可表达层级。
- 明确要求评估器、仪表、权限和预算位于可修改表面之外,以降低奖励作弊风险。
- 强调保存候选源代码与原始轨迹,而不是只依赖分数或模型生成的摘要。
- 给出失败聚类、双数据集验收、多样性维护和上下文增量合并等具体设计模式。
- 依赖快速、确定性、可自动化的评估器;慢速、含糊或只能依赖评审者的任务不适合直接采用。
- 技能本身是设计指导和 Python 伪代码示例,不提供完整的自修改运行时或可直接部署的实现。
- 需要文件系统档案、运行时沙箱、权限边界和独立评估器,工程接入成本可能较高。
- 源材料没有提供该单项技能的独立测试套件或跨平台实测结果。
如何安装这个 Skill?
将完整的 skills/self-improvement-loops 目录复制到兼容主机的技能目录,例如:mkdir -p .codex/skills && cp -R skills/self-improvement-loops .codex/skills/。也可复制到 .claude/skills/、.cursor/skills/ 或 .agents/skills/。必须保留目录结构,不能只复制 SKILL.md。该技能没有在源材料中说明独立的可执行安装器或 turnkey runtime。
如何使用这个 Skill?
在已加载该技能的 Agent Skills 主机中提出具体任务,例如:“设计一个从失败轨迹中生成受限 harness 修改、使用 held-in/held-out 双重验收并保存原始轨迹的自我改进循环。”先确认存在快速、确定性、自动化的评估器、不可见的 held-out 数据集、运行时沙箱和候选血缘档案,再启用自修改。
这个 Skill 与同类方案有什么区别?
它与 harness-engineering 的边界是:harness-engineering 管理单个自主循环的锁定表面、日志、回滚和审批,而本技能研究如何让这些机制本身成为优化对象。evaluation 和 advanced-evaluation 负责评估器、质量门与裁判设计;context-optimization 关注一次性上下文效率,而本技能关注上下文机制随时间演化。