长期留出实验法

Shopify 采用双层长期对照实验机制来校准增长决策：

1. 双层 Holdout 设计：
   • 全局 Holdout：每个季度将 5% 的流量作为全局对照组，不触达该季度的任何新变更。
   • 新用户分组 Holdout：针对仅影响新用户的实验，采用 50/50 分流运行几周。判定胜出后，将胜出方案全量上线，但保留对初始实验分组人群的长期追踪。
2. 自动化长期回顾：实验系统会在实验结束后的 3 个月、6 个月、9 个月、12 个月自动向实验相关人员发送更新邮件，展示该批人群当前的长期指标表现（如 GMV）。
3. 决策校准：通过长期数据反馈，修正团队对“有效增长动作”的认知。如果短期有提升但长期无增量，团队会停止在此方向过度投资，转向寻找真正能改变长期 GMV 曲线的实验。