开发与工程 prompt-engineeringprompt-repetitionstructured-tasksunit-testingparsinglintinghaiku-agentsaccuracy

Loki 提示词优化技能(Prompt Optimization)

通过自动重复提示词,让 Haiku 等非推理模型在结构化任务上的准确率提升数倍,且不增加延迟。

FollowSkills 评估 · FSRS-1.0
推荐
60/ 100 五分制 3.0 / 5
本条评估按 FSRS 1.0 标准完成,维度分不做换算,已进入按 FSRS 2.0 重新评估的复核队列。
1 2 3 4 5 6
1价值适配11 / 20 · 2.8/5
2可靠性10 / 20 · 2.5/5
3安全性22 / 25 · 4.4/5
4证据5 / 15 · 1.7/5

声称基于一篇 arXiv 论文的「提示重复提升非推理模型准确率」技巧,并给出了具体的性能提升数字(+46%/+36%/+62%),但这些数字未见独立复现验证,本次评估未核实。

5易用性7 / 10 · 3.5/5
6维护性5 / 10 · 2.5/5
证据充分度: 评估于 2026年7月17日
评估证据 [1]
查看完整评分方法 →

这个 Skill 能做什么,适合哪些场景?

这是 Loki Mode 仓库内捆绑的四个技能之一,路径为 agent-skills/prompt-optimization/SKILL.md。它基于论文《Prompt Repetition Improves Non-Reasoning LLMs》(arXiv 2512.14982v1),对运行测试、lint、解析、列表操作等结构化任务的 Haiku 代理,自动将提示词重复两遍(或三遍)。重复发生在可并行的 prefill 阶段,据称准确率提升 4-5 倍且零延迟代价。该技能自动激活,无需用户手动调用,且明确不适用于 Opus/Sonnet 等推理模型。

在检测到 Haiku 代理执行结构化任务(单元测试执行、lint 与格式化、解析与提取、列表查找/过滤/计数)时,自动把原始提示词重复 2 次(可通过 LOKI_PROMPT_REPETITION_COUNT 设为 3 次以适配位置敏感任务)。重复机制利用 prefill 阶段的双向注意力来提高准确率。它还会在 .loki/metrics/prompt-optimization/ 下记录准确率提升与成本收益指标。

  1. 在 Loki Mode 流水线中,让 Haiku 子代理更可靠地执行单元测试命令,准确率从 65% 提升到 95%。
  2. 使用 Haiku 代理解析结构化数据(JSON/YAML 提取)时,减少解析遗漏,实测准确率从 58% 升至 94%。
  3. 运行 lint 与格式化任务,让代理准确识别全部违规项(72% → 98%)。
  4. 在长列表中查找、过滤、计数条目时,降低代理漏项或计错的概率。
  5. 位置敏感的任务可把重复次数调到 3 次,以缓解非推理模型对提示词中位置信息的忽略。

这个 Skill 有哪些优点和局限?

优点
  • 零延迟代价:重复发生在 prefill 阶段而非生成阶段。
  • 自动激活,代理无需额外指令,用户零配置即可受益。
  • 有学术研究支撑(arXiv 2512.14982v1),并给出分任务类型的量化提升数据。
  • 可按任务场景调参(重复次数),且可随时通过环境变量关闭。
局限
  • 仅对 Haiku 等非推理模型有效,对 Opus/Sonnet 等推理模型无收益且不生效。
  • 提升数据为仓库自报,第三方复现结果未提供。
  • 与 Loki Mode 环境绑定(专属环境变量与 .loki 指标目录),脱离该环境需自行改造。
  • 仓库许可证标注为 NOASSERTION(README 写明整体项目为 BUSL-1.1),商用需注意许可条款。

如何安装这个 Skill?

该技能随 Loki Mode 仓库整体分发。安装 Loki Mode 即包含此技能:运行 bun install -g loki-mode(也支持 npm、Homebrew、Docker,详见仓库安装文档)。若要单独使用,可参照仓库中 agent-skills/prompt-optimization/ 目录的结构放置到你的 Agent Skills 目录;SKILL.md 未说明单独安装到其他 Agent Skills 客户端的具体步骤。

如何使用这个 Skill?

默认对 Haiku 代理自动激活,无需手动调用。可用环境变量控制:LOKI_PROMPT_REPETITION=true/false 开关功能;LOKI_PROMPT_REPETITION_COUNT=2(默认)或 =3 调整重复次数。指标输出在 .loki/metrics/prompt-optimization/ 下的 accuracy-improvement. 与 cost-benefit.。完整文档见技能引用的 references/prompt-repetition.md。

这个 Skill 与同类方案有什么区别?

源材料未给出该技能的直接同类竞品;它是 Loki Mode 内部质量机制之一,与通用的提示词工程技巧(如 few-shot 示例)作用层面不同,不宜直接对比。

常见问题

它会让我的模型变慢吗?
不会。重复发生在 prefill(并行处理)阶段,不进入生成阶段,仓库声称延迟影响为零。
我需要手动开启或配置吗?
不需要。它在 Loki Mode 中对 Haiku 代理默认启用;只有想关闭(LOKI_PROMPT_REPETITION=false)或调整重复次数(LOKI_PROMPT_REPETITION_COUNT)时才需要设置环境变量。
用 Opus 或 Sonnet 时它有用吗?
没有。SKILL.md 明确说明推理模型从重复中看不到收益,该技能不适用于 Opus/Sonnet 代理。
单独把这个技能装到其他 Agent Skills 客户端可行吗?
SKILL.md 本身是标准格式的说明文件,但其自动重复机制依赖 Loki Mode 的运行时与专属环境变量;脱离 Loki 环境只能作为提示词重复实践的参考文档使用。

同仓库的其他 Skills

均来自 asklokesh/loki-mode

相关 Skills