跳过实验决策准则

默认情况下应尽量通过实验验证改动，但在以下三种场景中应跳过实验直接上线或采取其他方式：

1. 获得可行动结果需要太长时间

   • 当样本量不足以快速得出结论时（参见样本量计算器）。
   • 当需要衡量品牌影响、网络效应、长期留存等需要数月或数年才能看出的指标时。
   • 操作：直接上线改动，并保留一个小比例的 holdout（对照组）来追踪长期影响。
   • 提速技巧：如果能接受偶尔上线略带负面影响的实验，可将置信区间要求降至 85%，随着规模扩大再提高标准。

2. 改动的下行风险低（且实验成本高）

   • 决策前先问五个问题：这是否是已被验证的最佳实践（如减少流程步骤）？能否通过前后数据或客服反馈发现显著负面影响？此类实验见过的最差结果是什么？拿到实验结果后会采取什么具体行动？团队设置和分析实验通常需要多久？
   • 决策准则：权衡“不实验直接上线的风险”与“占用团队做更高影响力工作的时间风险”。如果实验只需几小时，就做；如果实验很痛苦且改动无害，就跳过。

3. 推出全新的产品

   • 跑实验需要对照组，但全新独立产品或业务转型没有可对比的旧版本。
   • 操作：设定独立的成功标准（如特定的留存率或新用户注册门槛），而不是生硬地设计实验。