数据与分析 ab-testingincrementality-testingsample-size-planningstatistical-significancepaid-advertisingroasconversion-rate-optimization

广告实验设计师

为付费广告设计严谨的A/B与增效实验,并解读结果是否既显著又有实际价值。

FollowSkills 评估 · FSRS-2.0
不推荐
59/ 100 五分制 3.0 / 5
信任安全18 / 25 · 3.6/5

技能明确将CSV视为不可信数据,默认使用用户手动导出的自有数据,不要求API密钥;统计助手不自动选择业务动作,缺少负责人或预提交规则时返回UNDECIDED,并在写入记忆前请求确认。这些措施降低了数据外泄和未经授权动作风险,但对已批准动作的具体权限范围、确认界面、回滚机制和数据流披露仍不完整,因此扣7分。

可靠稳定8 / 20 · 2.0/5

模式选择、缺失输入处理、假设披露、统计方法和失败状态较清晰,且参考指南提供了可复核公式。静态审查未执行experiment.py,也未确认脚本、CLAUDE_PLUGIN_ROOT路径或各引用文件在目标环境中可用;异常输入和跨主机失败反馈覆盖有限。按静态上限扣分,得8分。

适用触发11 / 15 · 3.7/5

触发条件、输入、输出、非适用范围、ROAS profile和决策边界均有明确说明,并提供中英文描述;核心计算可使用手动数据和本地方法,不依赖海外服务。通用主机兼容性与中文环境下的实际触发可达性证据不足,且通用主机可能无法使用Claude专属路径,因此扣4分。

规范维护11 / 15 · 3.7/5

文档结构完整,包含Quick Start、契约、数据源、步骤、引用材料、交接和下一技能;版本、Apache-2.0许可证及仓库主页明确。维护责任、变更记录和更新路径在该技能中不清晰,且Security Policy称17.x为当前支持线,与技能18.0.0存在治理信息不一致,因此扣4分。

有效结果7 / 15 · 2.3/5

技能定义了假设、变体矩阵、样本量、持续时间、功效、显著性、实际效果、护栏和决策输出,核心任务的预期结果较直接可用。静态审查未执行统计助手或验证代表性结果,且引用的运行时与外部参考未完全提供,因此按静态上限得7分。

证据核验4 / 10 · 2.0/5

选定技能和测试设计指南提供了可审计的输入、公式、规则与Calculated/User-provided来源标签;仓库测试覆盖架构和审计工件,但未覆盖本技能统计关键路径。没有第三方执行证据或独立结果复现,因此得4分。

证据充分度: 评估于 2026年7月20日 审查版本 ebd436747f8f
上游仓库在本次评估后已有新提交;当前评分仍对应所示审查版本,可能尚未覆盖最新改动。
使用前请注意
  • 未执行experiment.py,不能确认样本量、p值、区间和边界计算在实际环境中可复现。
  • 应用已批准动作时,技能未明确具体外部写操作、最终确认步骤或回滚方案。
  • CLAUDE_PLUGIN_ROOT命令路径可能不适用于所有声明兼容的技能主机。
  • Security Policy的17.x支持声明与技能18.0.0版本不一致,需核对维护和支持状态。
查看完整评分方法 →

这个 Skill 能做什么,适合哪些场景?

这是 Aaron Marketing Skills 中专注付费广告编排阶段的实验设计技能。它可设计创意、落地页 A/B/n 测试和增效测试,规划假设、变体矩阵、样本量、持续时间、统计功效及护栏指标。对于用户提供的测试结果 CSV,它会计算效果量、不确定性区间、统计显著性和实际效果状态。它不会自动决定推广或停止,缺少预先约定的决策规则和负责人时会返回 UNDECIDED。

读取测试目标、ROAS 画像、基线 CVR/CTR、流量规模,以及用户导出的每个变体的曝光或会话数与转化数。它生成可证伪假设、一次只改变一个变量的变体矩阵、主指标、次指标和护栏指标,并规划基线、MDE、alpha、功效、比较次数、读取日期、持续时间及序贯规则。它可使用仓库提供的 Python 实验辅助脚本计算比例、连续指标或样本量相关结果,并输出效果估计、区间、p 值、统计与实际效果标记,以及带有 User-provided、Calculated 或 Estimated 来源标注的交付文档。

  1. 增长或投放负责人准备比较两个落地页首屏,需要基于基线转化率和目标提升幅度制定样本量与测试周期。
  2. 付费广告团队有多个 RSA 或创意方案,需要建立隔离单一变量的 A/B/n 测试矩阵。
  3. 实验负责人希望评估广告变更带来的增效,而不是只比较平台归因转化。
  4. 分析师拿到包含 variant、sessions 和 conversions 的自有结果 CSV,需要判断效果、置信区间、显著性和护栏状态。

这个 Skill 有哪些优点和局限?

优点
  • 同时覆盖实验设计和完成后的统计解读。
  • 明确区分统计显著性、实际效果和护栏状态。
  • 默认使用用户手动导出的自有数据,不要求付费广告 API 或 MCP。
  • 强调预先提交 alpha、功效、多重比较和序贯读取规则。
局限
  • 不负责生成广告创意变体;应转交 ad-creative-builder。
  • 不负责读取单个已上线变更或跨渠道报告。
  • 没有预提交的负责人和行动规则时不能给出推广、回滚或停止决定。
  • 设计和解读依赖基线、流量或逐变体结果等输入;缺失时只能请求补充数据。

如何安装这个 Skill?

可直接安装整个仓库:npx skills add aaron-he-zhu/aaron-marketing-skills;也可克隆仓库:git clone https://github.com/aaron-he-zhu/aaron-marketing-skills。在 Claude Code 中可使用 /plugin marketplace add aaron-he-zhu/aaron-marketing-skills,随后执行 /plugin install aaron-marketing@aaron。README 还给出了按技能安装的通用命令格式;本技能目录为 ad/orchestrate/ad-test-designer/SKILL.md

如何使用这个 Skill?

设计示例:Design an A/B test for two landing-page hero variants. Baseline CVR is 3%, I want to detect a 15% lift. Goal is DR. 结果解读时提供自有导出 CSV,至少包含每个变体的曝光或会话数及转化数。可指定 direct-responseprospectingincremental-profit 画像,以及 baseline、alpha、power 和 MDE。若没有设计简报或结果 CSV,技能会返回 NEEDS_INPUT;若没有预提交的负责人和行动规则,则返回 decision: UNDECIDED

这个 Skill 与同类方案有什么区别?

它明确区别于 ad-creative-builder(生成变体)、paid-measurement-loop(读取单个已上线变更)和 performance-analyzer(跨渠道报告)。

常见问题

必须连接广告平台 API 吗?
不需要。技能以用户手动导出的广告平台、网站分析或电商数据为 Tier 1 输入;API 和 MCP 只是可选便利。
它会自动选择赢家并执行推广吗?
不会。统计辅助程序不选择商业行动;只有在负责人和行动规则都已预先约定时才应用该规则,否则返回 UNDECIDED。
没有结果 CSV 还能使用吗?
可以设计新实验,但需要设计简报或基线、流量和目标提升等输入;两者都缺失时返回 NEEDS_INPUT。
可以用它生成广告文案吗?
不可以。生成创意应使用 ad-creative-builder;本技能负责实验设计和统计解释。

同仓库的其他 Skills

均来自 aaron-he-zhu/aaron-marketing-skills

数据与分析

付费广告归因对账器

用订单ID真值集去重付费广告转化并读取增量效果。

写作与内容

邮件实验设计师

为邮件营销设计可验证的 A/B、发送时间和留出组实验,并解读统计与实际效果。

写作与内容

达人流量落地页优化器

让达人流量进入页面后更顺畅地完成转化。

数据与分析

付费广告账户审计员

用自有账户数据评估付费广告是否值得上线或扩量。

写作与内容

付费广告搜索词挖掘器

从搜索词报告中挖掘转化关键词并清理浪费支出。

数据与分析

付费广告预算节奏监控

判断广告花费是否按计划推进,并识别何时需要重新分配预算。

写作与内容

广告疲劳与频次管理器

根据频次、CTR 和 CVR 趋势判断广告疲劳或受众饱和,并选择换素材、扩人群或暂缓。

写作与内容

付费广告受众分群器

把你的客户、CRM 或 GA4 导出整理成种子、排除和漏斗受众。

写作与内容

付费广告出价策略规划器

根据转化历史为付费广告选择出价策略、设定起始目标,并规划学习期。

写作与内容

付费广告账户架构师

规划付费广告账户结构,减少内部竞价与付费自然流量冲突。

写作与内容

付费广告转化价值建模器

把广告转化价值映射到利润,让 tROAS 不再只追逐订单收入。

写作与内容

付费广告转化追踪质检

在投放前验证转化信号、UTM和跨平台去重,避免广告数据失真。

写作与内容

品牌安全排除管理器

在付费广告上线前建立投放位置、网络、内容和受众排除规则。

写作与内容

付费广告复盘回路

用对照组和固定窗口判断广告改动应推广、继续测试、回滚还是暂无法证明。

写作与内容

广告创意构建器

批量生成与落地页一致的付费广告创意。

写作与内容

广告落地页体验检查器

在付费广告上线前,检查广告承诺是否被落地页清晰、快速且适配移动端地兑现。

写作与内容

商品Feed优化器

审计并修复Shopping与Performance Max商品Feed,让商品更易获批、匹配搜索意图并支持可控的广告分组。

写作与内容

达人营销 ROI 核算器

用可追溯的数据核算达人活动回报,支持 ROI、ROAS、EMV、归因与 LTV 分析。

写作与内容

发布分级规划器

为产品发布确定规模、类型、目标与止损条件。

写作与内容

消息测试设计器

在扩大投放前,用面板测试验证品牌消息是否清晰、相关且有差异化。

相关 Skills