广告实验设计师
为付费广告设计严谨的A/B与增效实验,并解读结果是否既显著又有实际价值。
技能明确将CSV视为不可信数据,默认使用用户手动导出的自有数据,不要求API密钥;统计助手不自动选择业务动作,缺少负责人或预提交规则时返回UNDECIDED,并在写入记忆前请求确认。这些措施降低了数据外泄和未经授权动作风险,但对已批准动作的具体权限范围、确认界面、回滚机制和数据流披露仍不完整,因此扣7分。
模式选择、缺失输入处理、假设披露、统计方法和失败状态较清晰,且参考指南提供了可复核公式。静态审查未执行experiment.py,也未确认脚本、CLAUDE_PLUGIN_ROOT路径或各引用文件在目标环境中可用;异常输入和跨主机失败反馈覆盖有限。按静态上限扣分,得8分。
触发条件、输入、输出、非适用范围、ROAS profile和决策边界均有明确说明,并提供中英文描述;核心计算可使用手动数据和本地方法,不依赖海外服务。通用主机兼容性与中文环境下的实际触发可达性证据不足,且通用主机可能无法使用Claude专属路径,因此扣4分。
文档结构完整,包含Quick Start、契约、数据源、步骤、引用材料、交接和下一技能;版本、Apache-2.0许可证及仓库主页明确。维护责任、变更记录和更新路径在该技能中不清晰,且Security Policy称17.x为当前支持线,与技能18.0.0存在治理信息不一致,因此扣4分。
技能定义了假设、变体矩阵、样本量、持续时间、功效、显著性、实际效果、护栏和决策输出,核心任务的预期结果较直接可用。静态审查未执行统计助手或验证代表性结果,且引用的运行时与外部参考未完全提供,因此按静态上限得7分。
选定技能和测试设计指南提供了可审计的输入、公式、规则与Calculated/User-provided来源标签;仓库测试覆盖架构和审计工件,但未覆盖本技能统计关键路径。没有第三方执行证据或独立结果复现,因此得4分。
- 未执行experiment.py,不能确认样本量、p值、区间和边界计算在实际环境中可复现。
- 应用已批准动作时,技能未明确具体外部写操作、最终确认步骤或回滚方案。
- CLAUDE_PLUGIN_ROOT命令路径可能不适用于所有声明兼容的技能主机。
- Security Policy的17.x支持声明与技能18.0.0版本不一致,需核对维护和支持状态。
这个 Skill 能做什么,适合哪些场景?
这是 Aaron Marketing Skills 中专注付费广告编排阶段的实验设计技能。它可设计创意、落地页 A/B/n 测试和增效测试,规划假设、变体矩阵、样本量、持续时间、统计功效及护栏指标。对于用户提供的测试结果 CSV,它会计算效果量、不确定性区间、统计显著性和实际效果状态。它不会自动决定推广或停止,缺少预先约定的决策规则和负责人时会返回 UNDECIDED。
读取测试目标、ROAS 画像、基线 CVR/CTR、流量规模,以及用户导出的每个变体的曝光或会话数与转化数。它生成可证伪假设、一次只改变一个变量的变体矩阵、主指标、次指标和护栏指标,并规划基线、MDE、alpha、功效、比较次数、读取日期、持续时间及序贯规则。它可使用仓库提供的 Python 实验辅助脚本计算比例、连续指标或样本量相关结果,并输出效果估计、区间、p 值、统计与实际效果标记,以及带有 User-provided、Calculated 或 Estimated 来源标注的交付文档。
- 增长或投放负责人准备比较两个落地页首屏,需要基于基线转化率和目标提升幅度制定样本量与测试周期。
- 付费广告团队有多个 RSA 或创意方案,需要建立隔离单一变量的 A/B/n 测试矩阵。
- 实验负责人希望评估广告变更带来的增效,而不是只比较平台归因转化。
- 分析师拿到包含 variant、sessions 和 conversions 的自有结果 CSV,需要判断效果、置信区间、显著性和护栏状态。
这个 Skill 有哪些优点和局限?
- 同时覆盖实验设计和完成后的统计解读。
- 明确区分统计显著性、实际效果和护栏状态。
- 默认使用用户手动导出的自有数据,不要求付费广告 API 或 MCP。
- 强调预先提交 alpha、功效、多重比较和序贯读取规则。
- 不负责生成广告创意变体;应转交 ad-creative-builder。
- 不负责读取单个已上线变更或跨渠道报告。
- 没有预提交的负责人和行动规则时不能给出推广、回滚或停止决定。
- 设计和解读依赖基线、流量或逐变体结果等输入;缺失时只能请求补充数据。
如何安装这个 Skill?
可直接安装整个仓库:npx skills add aaron-he-zhu/aaron-marketing-skills;也可克隆仓库:git clone https://github.com/aaron-he-zhu/aaron-marketing-skills。在 Claude Code 中可使用 /plugin marketplace add aaron-he-zhu/aaron-marketing-skills,随后执行 /plugin install aaron-marketing@aaron。README 还给出了按技能安装的通用命令格式;本技能目录为 ad/orchestrate/ad-test-designer/SKILL.md。
如何使用这个 Skill?
设计示例:Design an A/B test for two landing-page hero variants. Baseline CVR is 3%, I want to detect a 15% lift. Goal is DR. 结果解读时提供自有导出 CSV,至少包含每个变体的曝光或会话数及转化数。可指定 direct-response、prospecting 或 incremental-profit 画像,以及 baseline、alpha、power 和 MDE。若没有设计简报或结果 CSV,技能会返回 NEEDS_INPUT;若没有预提交的负责人和行动规则,则返回 decision: UNDECIDED。
这个 Skill 与同类方案有什么区别?
它明确区别于 ad-creative-builder(生成变体)、paid-measurement-loop(读取单个已上线变更)和 performance-analyzer(跨渠道报告)。