开发与工程 self-improvement-loopsharness-engineeringevolutionary-searchcontext-evolutionreward-hackingruntime-sandboxing

自我改进循环

让智能体系统在受控评估中迭代自身的上下文、工作流与代码。

FollowSkills 评估 · FSRS-2.0
不推荐
58/ 100 五分制 2.9 / 5
信任安全16 / 25 · 3.2/5

内容明确要求运行时隔离、外置评估器、权限与预算控制、沙箱、人工审批、候选归档和失败记录,降低自修改系统的越权与不可恢复风险;但未具体定义敏感数据处理、用户确认流程、通用回滚实现或依赖安全,因此扣9分。

可靠稳定8 / 20 · 2.0/5

文档结构一致,覆盖能力阈值、停滞检测、双数据集验收、异常奖励攻击和失败反馈,并提供可读的伪代码与归档布局;但本次仅静态阅读,选定技能没有配套可执行测试、脚本或关键路径复现证据,且部分规则依赖外部实现,因此扣12分。

适用触发12 / 15 · 4.0/5

激活条件、非适用范围、优化层级和与相邻技能的路由边界较清晰,适用于多类自改进与进化搜索场景;但输入输出契约、语义触发的实证覆盖、中文使用支持及中国大陆网络环境适配未明确,因此扣3分。

规范维护11 / 15 · 3.7/5

具备渐进式章节结构、检查清单、示例、集成说明、内部证据文件、版本和更新时间,并有仓库MIT许可证;但维护责任、变更日志、依赖安装和更新路径不充分,作者仅以贡献者群体表述,因此扣4分。

有效结果6 / 15 · 2.0/5

内容提供优化阶梯、失败驱动流程、接受门、归档布局和路由示例,能直接指导设计讨论并减少常见错误;但它是概念与伪代码指南,没有选定技能自身的可运行实现或代表性输出验证,实际任务仍需较多工程工作,因此扣1分。

证据核验5 / 10 · 2.5/5

关键断言带有claim ID,内部参考文件给出日期、论文或报告来源及部分实验数据,且明确披露复现限制;但证据主要是文档转述,未提供本次静态范围内的独立复现、测试覆盖或多源交叉验证,因此达到静态上限5分。

证据充分度: 评估于 2026年7月20日 审查版本 c578e85e40fe
使用前请注意
  • 这是低置信度静态评估,未执行示例、代码或仓库CI。
  • 引用的数值和研究结论标注为易变,需在实际采用前重新核验。
  • 自修改系统仍需由宿主运行时实现权限隔离、不可变评估器、回滚和人工审批;技能文本本身不能保证这些控制存在。
  • 未说明中文交互或中国大陆网络可达性;依赖外部论文、网站或远程基础设施时需单独确认可访问性。
查看完整评分方法 →

这个 Skill 能做什么,适合哪些场景?

该技能面向把 harness、脚手架、工作流或上下文机制本身作为优化对象的系统。它覆盖失败驱动的自编辑、元 harness 搜索、进化式脚手架搜索、上下文机制演化,以及自修改系统的验收门。核心方法是把评估器、权限和预算置于循环之外,并用 held-in 与 held-out 数据集验证候选修改。它适合已有可靠评估基础、需要持续改进代理系统的工程团队,不适合没有稳定反馈信号的一次性提示优化。

指导系统从失败轨迹中聚类可修复的问题,区分验证器原因、代理行为责任和可复用机制;限定可编辑表面并要求候选修改附带目标、预期效果和回归风险;在 held-in 与 held-out 数据集上重复评估候选;将候选源代码、分数、原始执行轨迹、差异、血缘和决策写入文件系统经验档案;通过多样性维护、近重复拒绝和归档候选选择来支持搜索;提醒运行时在循环外强制执行权限、预算与沙箱边界。

  1. 负责代理 harness 的工程师希望根据失败轨迹提出受限的自编辑,并在合并前验证回归风险。
  2. 研究元 harness 的团队需要在工作流图、harness 代码或优化器代码上运行候选搜索。
  3. 上下文工程师希望让条目化 playbook 或生成上下文的 skill 随反馈增量演化。
  4. 评估工程师需要为自修改代理设计双数据集、重复运行和反奖励作弊的验收流程。
  5. 代理系统出现奖励作弊、多样性坍缩、上下文坍缩或无声停滞时,团队需要诊断循环退化。

这个 Skill 有哪些优点和局限?

优点
  • 提供从提示、结构化上下文到优化器代码的六级优化阶梯,帮助把失败修复在最低可表达层级。
  • 明确要求评估器、仪表、权限和预算位于可修改表面之外,以降低奖励作弊风险。
  • 强调保存候选源代码与原始轨迹,而不是只依赖分数或模型生成的摘要。
  • 给出失败聚类、双数据集验收、多样性维护和上下文增量合并等具体设计模式。
局限
  • 依赖快速、确定性、可自动化的评估器;慢速、含糊或只能依赖评审者的任务不适合直接采用。
  • 技能本身是设计指导和 Python 伪代码示例,不提供完整的自修改运行时或可直接部署的实现。
  • 需要文件系统档案、运行时沙箱、权限边界和独立评估器,工程接入成本可能较高。
  • 源材料没有提供该单项技能的独立测试套件或跨平台实测结果。

如何安装这个 Skill?

将完整的 skills/self-improvement-loops 目录复制到兼容主机的技能目录,例如:mkdir -p .codex/skills && cp -R skills/self-improvement-loops .codex/skills/。也可复制到 .claude/skills/、.cursor/skills/ 或 .agents/skills/。必须保留目录结构,不能只复制 SKILL.md。该技能没有在源材料中说明独立的可执行安装器或 turnkey runtime。

如何使用这个 Skill?

在已加载该技能的 Agent Skills 主机中提出具体任务,例如:“设计一个从失败轨迹中生成受限 harness 修改、使用 held-in/held-out 双重验收并保存原始轨迹的自我改进循环。”先确认存在快速、确定性、自动化的评估器、不可见的 held-out 数据集、运行时沙箱和候选血缘档案,再启用自修改。

这个 Skill 与同类方案有什么区别?

它与 harness-engineering 的边界是:harness-engineering 管理单个自主循环的锁定表面、日志、回滚和审批,而本技能研究如何让这些机制本身成为优化对象。evaluation 和 advanced-evaluation 负责评估器、质量门与裁判设计;context-optimization 关注一次性上下文效率,而本技能关注上下文机制随时间演化。

常见问题

这个技能会自动修改并部署生产 harness 吗?
不会。它描述候选生成、评估、归档和合并原则,并明确把生产推广、评估器变化和可编辑表面扩展保留为人工决策。
是否需要把评估器源码提供给提案代理?
不应提供。技能要求对提案者隐藏评分实现,只暴露分数和轨迹,并在运行时保护仪表与权限检查。
没有可靠反馈信号时能否演化上下文?
不建议。技能指出缺少可靠执行信号或标签时,自管理上下文可能低于静态基线。

同仓库的其他 Skills

均来自 muratcankoylan/Agent-Skills-for-Context-Engineering

开发与工程

上下文工程与智能体系统指南

帮助团队设计、优化和评估具备可靠上下文管理能力的生产级智能体系统。

开发与工程

自主智能体控制台

为自主智能体设计可控、可恢复、可审计的运行框架。

开发与工程

上下文工程基础

用注意力预算和上下文质量原则,理解并设计更可靠的智能体上下文。

开发与工程

潜在简报

通过任务引导的 KV 缓存压缩,在可控运行时高效共享编排器与工作器之间的上下文状态。

开发与工程

Agent 评估方法

为智能体流水线建立可重复的评估、回归检测与质量门禁。

开发与工程

Agent Skill 蓝图模板

为上下文工程技能提供可复用的结构、边界和质量检查框架。

开发与工程

多智能体架构模式

帮助你设计具备上下文隔离、协调协议和可靠交接机制的多智能体系统。

开发与工程

上下文退化诊断

定位并缓解长上下文中的注意力丢失、污染、干扰、混淆与冲突。

开发与工程

上下文压缩策略

在长期代理会话中压缩上下文,同时保留文件变更、决策和后续行动。

开发与工程

文件系统上下文工程

将大型、持久或共享的代理上下文移入文件,按需检索以减少上下文压力。

开发与工程

上下文效率优化

通过缓存、遮蔽、压缩与分区降低上下文成本,同时保护回答质量。

开发与工程

推理轨迹优化器

通过分析智能体的推理轨迹,定位上下文、工具和指令问题,并迭代优化提示词。

开发与工程

长程智能体提示设计

为长期自主运行和并行多智能体任务设计可验证、抗近似交付的启动提示。

开发与工程

高级 LLM 评测

为 LLM 输出构建可审计、可校准并能缓解评测偏差的自动化评估流程。

开发与工程

持久语义记忆架构

帮助智能体设计可扩展、可检索且能处理时间变化的持久记忆系统。

开发与工程

智能体工具设计指南

帮助你设计清晰、可路由、可恢复的智能体工具接口。

开发与工程

项目级智能体开发方法论

帮助你判断是否该用大语言模型,并设计可迭代、可解析、可控成本的智能体项目流水线。

开发与工程

BDI 心智状态建模

把 RDF 上下文转化为可解释的信念、愿望与意图链。

开发与工程

严谨研究代理

为多步骤研究建立验证、故障恢复与来源追踪流程。

效率与协作

数字大脑个人操作系统

用结构化文件和 AI 管理内容、关系、知识与目标。

相关 Skills