GR · BM · 261
实验样本量与置信度基准
Experiment Sample Size And Confidence Benchmark · experiment-sample-size-and-confidence-benchmark--when-not-to-run-an-experiment---issue-54
所属簇 增长基准数据库
解决什么问题
评估进行一次有效的 A/B 测试所需的样本量与时间成本，以及如何通过调整置信度加快实验速度。
核心内容
- 样本量基准：若一个转化漏斗当前转化率为 10%，想要测出 5% 的相对提升（即提升到 10.5%），每个变体需要超过 60,000 名独立用户（即总实验样本需达到 120,000）。对于大多数初创公司，产品深处功能的实验因耗时过长而不具可行性。
- 置信度权衡基准：在快速迭代阶段，如果可以接受偶尔上线略带负面影响的实验，可以将置信区间降低至 85%（h/t Yair Livne）。随着规模扩大和试错成本增加，再提高置信区间标准。
适用边界
样本量计算仅适用于衡量短期、可量化指标。若涉及品牌、网络效应或长期留存，数学预期不适用，应改用长期 holdout。降低置信度会增加假阳性或假阴性概率，仅适用于下行风险可控的场景。
关键引述 · 原话
"It turns out you’d need over 60,000 unique users (per variation!) before you could draw a confident conclusion."
"lowering your confidence interval to something like 85% ... isn’t a terrible idea."
关联卡片
为 when-to-skip-an-experiment 提供量化判断依据。
出处：Lenny Rachitsky · 02-newsletters/when-not-to-run-an-experiment---issue-54.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2