GR · MM · 259
实验决策启发法则
Experimentation Heuristic · experimentation-heuristic--elena-verna-30
所属簇 实验体系与统计方法论
解决什么问题
增长团队陷入"凡事必测"的实验瘫痪，如何判断哪些该 A/B 测试、哪些直接上？
核心内容
核心判断准则 1 个月规则：如果一项实验在 1 个月内无法收集到足够样本量，就不要 A/B 测试，改用 pre-vs-post 对比。
何时需要精确实验
- 战略性大转向：验证后续大量工作是否值得
- 高流量场景：0.1% 差异就意味着百万级美元
何时直接上
- 低流量页面（8 个月才出结果没意义）
- 显而易见的修复
- 直觉足够强的判断
Pre-vs-Post 操作
- 上线后做 24 小时、7 天、28 天 readout
- 必要时一年后回看留存数据
- 不行就 rollback，再做迭代
- 失败仍然不可避免，但时间成本可控
警示
- 把所有 initiative 都做成实验 = "致瘫疾病"
- 统计显著性（95%）被很多人误读为"必然 lift"，其实只是方向性数据点
- 数据是好的，但只在数据量足够时才好
适用边界
- 高流量、高财务杠杆场景仍需要严格 A/B
- 不鼓励盲目上线——上线后仍要追踪 readout，只是不做对照实验
- 失败是 growth 的常态，目标是缩短失败周期，不是消灭失败
关键引述 · 原话
"If every single one of your initiatives that you're doing on growth is an experiment, that's a problem. It's almost like a disease, like a paralyzing disease." — Elena Verna
关联卡片
与 Redesign Does Not Drive Growth 关联：很多低信号项（颜色、单封邮件）不值得实验。
出处：Elena Verna 3.0 · 03-podcasts/elena-verna-30.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2