GR · BM · 258
实验采纳与流量基准
Experimentation Adoption Benchmarks · experimentation-adoption-benchmarks--ronny-kohavi
所属簇 增长基准数据库
解决什么问题
团队对实验失败率缺乏现实预期，或者不知道自己是否具备启动A/B测试的流量门槛。
核心内容
- 流量启动门槛：
- 几万用户：可开始跑实验，但只能检测出极大效应（如10%以上的变化）。
- 20万用户：开始产生魔力的临界点，能够可靠检测出5%左右的变化，应转向"Test Everything"文化。
- 实验失败率基准：
- Microsoft整体：约66%（2/3）的想法失败。
- Bing（高度优化的成熟业务）：约85%失败。
- Airbnb搜索相关性：约92%失败。
- Booking、Google Ads等：80%-90%失败。
- 大重构/大赌注的失败率：约80%的大型重新设计会失败。如果打包上线17个改动，极大概率是负向的。
- 初次实验中止率：约10%的实验在第一天就被迫中止，通常是因为工程Bug而非想法本身错误。
适用边界
每个团队刚开始做实验时，都会盲目认为自己比平均水平更好，但最终都会被上述基准狠狠打脸（Humbling reality）。成熟业务因为低垂果实已被摘光，失败率会更高。
关键引述 · 原话
"If in peace time you're wrong two thirds to 80% of the time, why would you be subtly right in wartime, in Covid time?" (Ronny Kohavi)
出处：Ronny Kohavi · 03-podcasts/ronny-kohavi.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2