实验中的特温曼定律

Twyman's law（特威曼定律）指出：任何看起来有趣或不同的数字，通常都是错的。 在A/B测试中的应用逻辑：

• 正常的实验指标波动通常在1%以内。如果某个实验突然带来了10%的收入提升，第一反应不应是庆祝，而应假设实验本身有Bug。
• 10次中有9次，这类异常结果最终会被证实是实验实施或数据管道的错误。
• 真正的突破性结果（如Bing调整广告标题带来12%收入提升）虽然存在，但前提是经过多次复现、反复排查Bug且无任何异常后才确认成立。