P值与假阳性风险

P Value False Positive Risk · p-value-false-positive-risk--ronny-kohavi

增长洞察过渡期 2023-07 Ronny Kohavi ✓ 已核验出处

解决什么问题

盲目将 P值 < 0.05 等同于“有95%的概率该功能是有效的”，导致大量虚假胜利被写入组织记忆。

核心内容

P值是“假设原假设为真时，观察到当前数据的条件概率”，它不等于“功能有效”的概率。真实的假阳性风险（False Positive Risk）远高于5%，它取决于实验的成功率：

如果一个团队的历史实验成功率只有8%（如Airbnb搜索团队），即便得到 P < 0.05 的结果，该结果为假阳性的概率高达26%，而不是5%。
操作建议：不要仅凭一次 P < 0.05 就上线。对于 0.01 < P < 0.05 的结果，必须重新运行实验进行复现，然后使用 Fisher's method 或 Stouffer's method 合并两次实验的P值，以大幅降低假阳性风险。

适用边界

不适用于法律强制要求上线且无法反复测试的场景。对于成功率极低（高度成熟）的业务线，尤其需要降低P值阈值或强制复现。

关键引述 · 原话

"If you get a statistically significant result with a P value less than 0.05, there is a 26% chance that this is a false positive result. It's not 5%, it's 26%." (Ronny Kohavi)

— Ronny Kohavi

出处：Ronny Kohavi · 03-podcasts/ronny-kohavi.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2