操盘手年鉴The Operators’ Almanac
GR · PB · 348

样本比例不匹配手册

Srm Sample Ratio Mismatch Playbook · srm-sample-ratio-mismatch-playbook--ronny-kohavi
增长 操作手册 过渡期 2023-07 Ronny Kohavi ✓ 已核验出处

解决什么问题

实验组和对照组的流量分配比例与设计不符(如设计50/50,实际50.2/49.8),导致实验结果完全不可信,但团队往往因为想发布功能而忽略这一问题。

核心内容

Sample Ratio Mismatch (SRM,样本比例不匹配) 是A/B测试中最常见的数据失效原因。操作手册:

  1. 计算概率:不要凭肉眼判断比例偏差是否合理。使用卡方公式/电子表格,输入实际对照组和实验组人数及期望比例,计算该偏差纯粹由随机产生的概率。如果在50万次实验中才可能发生一次,则确认存在SRM。
  2. 定位常见原因:首要排查Bots(爬虫对改动后的页面解析失败导致重试比例不同)、数据管道过滤逻辑差异、或是流量路由代码的起始点错误。
  3. 强制阻断展示:在实验平台上不要只加Banner提示(PM会无视它)。必须将记分板数据完全留白或用红线划掉所有数字,强制要求PM点击确认才能查看,确保截图汇报时无法掩盖SRM警告。
  4. 排查比例基准:即使成熟如Microsoft,也有约8%的实验会触发SRM。

适用边界

当发现SRM时,绝对不能基于该实验的指标数据做上线决策,但可以通过排查SRM的来源来发现工程实现上的Bug。

关键引述 · 原话

"People want to see success. I mean, this is a natural bias, and then we have to be very conscientious and fight that bias and say when something looks too good to be true, investigate." (Ronny Kohavi)

关联卡片

是Twyman's law在工程层面的具体落地检查项。

出处Ronny Kohavi · 03-podcasts/ronny-kohavi.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2