小样本实验方法

低样本量下的实验与决策操作手册：

1. 做功效分析：不要硬上 A/B 测试。先计算流量、可检测的最小影响幅度和所需运行时间。
2. 接受长周期实验：如果重要实验需要跑 6 个月才能得出结论，那就“设置后不管”，接受超长周期以服务未来规划。
3. 放弃假精确度：最坏的做法是以为 1 个月能出结果，结果数据不显著却假装它显著。如果拿不到 95% 置信度，可以主动降低标准到 80%（接受多犯一次错的代价）。
4. 使用替代统计方法：利用观察数据、双重差分法、同城/姊妹城对比、按地域分群。
5. 多管齐下建立信念：如果没有统计算法可用，去和更多客户交谈，或设置长期对照组来验证直觉。
6. 相信直觉并建立反馈环：如果实在无法测试，评估自己的信念水平。低/中信念且后果重大时不轻易发布；若必须基于直觉发布，必须建立辅助反馈环（如客服工单量、功能采用率）来追踪结果。