降低置信区间

核心论点：95% 置信区间属于制药和学术研究领域，增长团队可以也应该接受更低的置信区间。

为什么 95% 不适用于增长团队：

• 95% 置信区间的起源：学术研究发表的结果会影响教育政策、偏见理解等，false positive 后果严重
• 制药行业：错误的结论可能危及生命
• 增长团队：转化用户、做 upsell——false positive 的后果可控

收益：

• 降低置信区间可以将年度实验量翻倍
• 考虑到 80%+ 的失败率，跑更多实验的净效果是正向的——即使多了一些 false positive，整体成功的绝对数量也会更多

必须配套的纪律：

1. 事前设定：置信区间和验证方法必须在实验前就确定，不能事后调整数据去凑假设
2. 定性佐证：接受更低置信区间时，必须用定性数据（用户反馈、Hotjar 录屏等）来交叉验证定量结果
3. 始终有明确假设：不能没有假设就跑实验

如何说服数据科学家：

• 用 80% 失败率这个硬数据解释：如果一年只跑 10 个实验（95% 置信区间下可能只有 2 个有效），机会成本巨大
• 不跑足够多的实验本身就是一个巨大的风险