实验失败率基准

基准数据：约 80-90% 的实验假设是失败的。

• Netflix、Microsoft 等公司的数据反复验证：80%+ 的实验假设不会产生预期的指标影响
• 某些公司数据显示高达 90% 失败率
• 这意味着：如果一年只跑 10 个实验，可能只有 2 个有效果

为什么失败率这么高——一个成功实验需要全部对齐：

1. 完美理解问题
2. 完美理解是谁的问题
3. 在正确的时机呈现
4. 解决方案本身正确
5. 解决方案的呈现/沟通方式正确

• 以上任何一环偏差，实验就不会成功

推论——迭代优于大重构：

• 越是闭门造车长时间开发再发布，越可能交付那 80% 的错误内容
• 越是迭代式小步快跑，越能及早发现方向错误
• 失败不应是一堵墙，而应是指南针——引导你走向正确方向

更便宜的验证方法（在进入 A/B 测试前）：

• Painted doors：在功能不存在时先测试概念/想法
• Mocks：让设计师做出 mock，放给用户看互动情况
• 只有通过这些前置验证的假设才进入 A/B 测试

Growth Team 时间预期管理：

• Growth team 不应被周/月度指标绑架
• 以年为承诺周期，用 low/medium/high 三档预期沟通（而非单一数字）
• 短期时间线催生 vanity metrics 和数据造假