Loki 提示词优化技能(Prompt Optimization)
通过自动重复提示词,让 Haiku 等非推理模型在结构化任务上的准确率提升数倍,且不增加延迟。
声称基于一篇 arXiv 论文的「提示重复提升非推理模型准确率」技巧,并给出了具体的性能提升数字(+46%/+36%/+62%),但这些数字未见独立复现验证,本次评估未核实。
这个 Skill 能做什么,适合哪些场景?
这是 Loki Mode 仓库内捆绑的四个技能之一,路径为 agent-skills/prompt-optimization/SKILL.md。它基于论文《Prompt Repetition Improves Non-Reasoning LLMs》(arXiv 2512.14982v1),对运行测试、lint、解析、列表操作等结构化任务的 Haiku 代理,自动将提示词重复两遍(或三遍)。重复发生在可并行的 prefill 阶段,据称准确率提升 4-5 倍且零延迟代价。该技能自动激活,无需用户手动调用,且明确不适用于 Opus/Sonnet 等推理模型。
在检测到 Haiku 代理执行结构化任务(单元测试执行、lint 与格式化、解析与提取、列表查找/过滤/计数)时,自动把原始提示词重复 2 次(可通过 LOKI_PROMPT_REPETITION_COUNT 设为 3 次以适配位置敏感任务)。重复机制利用 prefill 阶段的双向注意力来提高准确率。它还会在 .loki/metrics/prompt-optimization/ 下记录准确率提升与成本收益指标。
- 在 Loki Mode 流水线中,让 Haiku 子代理更可靠地执行单元测试命令,准确率从 65% 提升到 95%。
- 使用 Haiku 代理解析结构化数据(JSON/YAML 提取)时,减少解析遗漏,实测准确率从 58% 升至 94%。
- 运行 lint 与格式化任务,让代理准确识别全部违规项(72% → 98%)。
- 在长列表中查找、过滤、计数条目时,降低代理漏项或计错的概率。
- 位置敏感的任务可把重复次数调到 3 次,以缓解非推理模型对提示词中位置信息的忽略。
这个 Skill 有哪些优点和局限?
- 零延迟代价:重复发生在 prefill 阶段而非生成阶段。
- 自动激活,代理无需额外指令,用户零配置即可受益。
- 有学术研究支撑(arXiv 2512.14982v1),并给出分任务类型的量化提升数据。
- 可按任务场景调参(重复次数),且可随时通过环境变量关闭。
- 仅对 Haiku 等非推理模型有效,对 Opus/Sonnet 等推理模型无收益且不生效。
- 提升数据为仓库自报,第三方复现结果未提供。
- 与 Loki Mode 环境绑定(专属环境变量与 .loki 指标目录),脱离该环境需自行改造。
- 仓库许可证标注为 NOASSERTION(README 写明整体项目为 BUSL-1.1),商用需注意许可条款。
如何安装这个 Skill?
该技能随 Loki Mode 仓库整体分发。安装 Loki Mode 即包含此技能:运行 bun install -g loki-mode(也支持 npm、Homebrew、Docker,详见仓库安装文档)。若要单独使用,可参照仓库中 agent-skills/prompt-optimization/ 目录的结构放置到你的 Agent Skills 目录;SKILL.md 未说明单独安装到其他 Agent Skills 客户端的具体步骤。
如何使用这个 Skill?
默认对 Haiku 代理自动激活,无需手动调用。可用环境变量控制:LOKI_PROMPT_REPETITION=true/false 开关功能;LOKI_PROMPT_REPETITION_COUNT=2(默认)或 =3 调整重复次数。指标输出在 .loki/metrics/prompt-optimization/ 下的 accuracy-improvement. 与 cost-benefit.。完整文档见技能引用的 references/prompt-repetition.md。
这个 Skill 与同类方案有什么区别?
源材料未给出该技能的直接同类竞品;它是 Loki Mode 内部质量机制之一,与通用的提示词工程技巧(如 few-shot 示例)作用层面不同,不宜直接对比。