实验体系与统计方法论
回答：多严谨的实验才算数？什么时候该跳过实验直接上线？
统计正统方法论：†oec-overall-evaluation-criterion（Ronny Kohavi：综合评估标准必须能因果预测 LTV，主指标+反向指标的约束优化问题——Amazon 推荐邮件案例：超一半活动实际是负收益）、†twymans-law-for-experimentation（Ronny Kohavi："好到难以置信的数字通常是错的"，10 次里 9 次异常结果是 bug，突破性胜利需经受极严苛复现审查）、p-value-false-positive-risk（Ronny Kohavi）、prediction-vs-causal-inference（Ramesh Johari：预测准确不等于决策正确）、srm-sample-ratio-mismatch-playbook。
文化与心态（本簇核心分歧所在）：airbnb-experimentation-culture-playbook、embrace-humility-in-experimentation、experimentation-discipline（Lauryn Isford：过度依赖 A/B 测试导致工程/分析时间浪费在本可靠严谨产品流程判断的改动上）、experimentation-heuristic（Elena Verna：凡事必测的实验瘫痪）、†yolo-vs-experiment（Luc Levesque：部分改动直接跳过 A/B 测试上线，用 pre-post + holdout group 监控损害，"有时候你就是知道它会有效"）、lower-confidence-intervals（Laura Schaffer：95% 置信区间是制药/学术界标准，对增长团队过于保守）。
样本与执行约束：low-sample-experimentation（Brian Tolkin：低频高客单价场景如何建立决策信心）、maximize-treatment-effect、fail-conclusively（Sri Batchu：B2B 小样本要确保"确定性失败"而非反复半吊子重试）、long-term-holdout-experimentation（Archie Abrams：短期指标提升≠长期业务价值）、scrappy-experimentation、low-effort-weekly-testing-cadence、high-tempo-experimentation-model。
优先级组合：cannonballs-vs-lead-bullets（Adriel Frederick：大改动 vs 微优化的组合管理）、explore-and-exploit（Albert Cheng）、rice-prioritization-playbook（DRICE 现代优先级框架）。
OEC总体评估准则Oec Overall Evaluation Criterion
在A/B测试中，如果只优化单一目标（如收入），极易导致破坏用户体验的短视行为（如页面塞满广告）。OEC（Overall Evaluation Criterion）框架用于明确并平衡“什么是真正的成功”。
实验中的特温曼定律Twymans Law For Experimentation
面对A/B测试中“好到难以置信”的异常结果时，团队容易陷入过度兴奋而直接上线，导致基于错误数据做出决策。
直接上线与实验的权衡Yolo Vs Experiment
增长团队普遍默认"一切皆需实验"，但实验有隐性成本（搭建、等待结果、分析），导致执行速度被拖慢。何时应该跳过实验直接上线？
P值与假阳性风险P Value False Positive Risk
盲目将 P值 < 0.05 等同于“有95%的概率该功能是有效的”，导致大量虚假胜利被写入组织记忆。
预测与因果推断辨析Prediction Vs Causal Inference
数据科学团队用机器学习模型做预测（预测谁会被雇佣、预测用户 LTV），然后直接用预测结果做业务决策（排序、发券），但预测准确不等于决策正确。
样本比例不匹配手册Srm Sample Ratio Mismatch Playbook
实验组和对照组的流量分配比例与设计不符（如设计50/50，实际50.2/49.8），导致实验结果完全不可信，但团队往往因为想发布功能而忽略这一问题。
Airbnb实验文化指南Airbnb Experimentation Culture Playbook
团队想要建立实验和数据驱动文化，但不知道从何入手或如何在规模化过程中维持。
实验中的谦逊原则Embrace Humility In Experimentation
团队在做产品决策时过度依赖直觉，对实验结果感到惊讶或拒绝接受反直觉的数据。
增长实验纪律Experimentation Discipline
Growth 团队过度依赖 A/B 测试，把实验当成默认步骤，导致大量工程/分析时间浪费在验证那些可以通过更严谨的产品流程获得信念的改动上。
实验决策启发法则Experimentation Heuristic
增长团队陷入"凡事必测"的实验瘫痪，如何判断哪些该 A/B 测试、哪些直接上？
降低置信区间Lower Confidence Intervals
95% 置信区间是 A/B 测试的行业标准，但对于增长/营销团队来说，这个标准来自制药/学术领域，可能过于保守，导致实验吞吐量不足。如何在可控风险下提升实验量？
小样本实验方法Low Sample Experimentation
低频高客单价产品（如房产交易）样本量极小，无法进行常规高频 A/B 测试时，如何建立对产品决策的信心。
最大化处理效应Maximize Treatment Effect
B2B或低流量场景下如何确保实验得出“确定性失败”的结论，避免因实验设计不当导致未来重复测试同一无效假设。
彻底失败证伪法Fail Conclusively
在 B2B 增长实验中，由于样本量（M）极小，实验往往难以达到统计显著；同时团队常陷入“半吊子”测试，导致某个假设失败后被反复重试，浪费资源。
长期留出实验法Long Term Holdout Experimentation
短期实验指标（如激活率、首次付费率）的提升往往无法转化为长期的业务价值，导致增长团队高估了“成功”实验的实际影响，把时间浪费在仅有“透支未来效应”的功能上。
零代码增长实验法Scrappy Experimentation
早期初创公司工程资源紧缺，如何在不写代码、不开发新功能的情况下快速验证增长假设。
低成本周测节奏Low Effort Weekly Testing Cadence
团队在流量尚小时不愿做测试，或测试流程过重导致迭代速度下降，失去了低成本获取增长洞察的机会。
高频实验增长模型High Tempo Experimentation Model
增长团队如何通过实验机制最大化学习速度，从而快速找到有效的增长杠杆。
炮弹与铅弹实验法则Cannonballs Vs Lead Bullets
实验团队的精力分配与投资组合管理，避免陷入只做微小优化（Lead bullets）而忽略根本性大改动（Cannonballs）的“懒惰增量思维”。
探索与利用Explore And Exploit
增长团队在"不断尝试新方向"和"深挖已有成功点"之间缺乏节奏感，要么 ideas 满天飞没有 through line，要么在局部最优点上停滞不前。
RICE 优先级手册Rice Prioritization Playbook
当团队面对大量（通常数十个）备选想法时，如何用低成本的快速评估方式将它们进行初步排序，筛选出值得进一步深入评估的初选名单。