Ronny Kohavi
署名于 增长
增长 · 5 张
GR·BM·258 基准数据
实验采纳与流量基准Experimentation Adoption Benchmarks
团队对实验失败率缺乏现实预期，或者不知道自己是否具备启动A/B测试的流量门槛。
Ronny Kohavi 过渡期
GR·MM·263 思维模型
实验中的特温曼定律Twymans Law For Experimentation
面对A/B测试中“好到难以置信”的异常结果时，团队容易陷入过度兴奋而直接上线，导致基于错误数据做出决策。
Ronny Kohavi 过渡期
GR·PB·348 操作手册
样本比例不匹配手册Srm Sample Ratio Mismatch Playbook
实验组和对照组的流量分配比例与设计不符（如设计50/50，实际50.2/49.8），导致实验结果完全不可信，但团队往往因为想发布功能而忽略这一问题。
Ronny Kohavi 过渡期
GR·FW·504 框架
OEC总体评估准则Oec Overall Evaluation Criterion
在A/B测试中，如果只优化单一目标（如收入），极易导致破坏用户体验的短视行为（如页面塞满广告）。OEC（Overall Evaluation Criterion）框架用于明确并平衡“什么是真正的成功”。
Ronny Kohavi 过渡期
GR·IN·511 洞察
P值与假阳性风险P Value False Positive Risk
盲目将 P值 < 0.05 等同于“有95%的概率该功能是有效的”，导致大量虚假胜利被写入组织记忆。
Ronny Kohavi 过渡期
框架、方法、洞察本身属于 Ronny Kohavi。卡片是用中文重新组织的转述，仅保留少量带署名的短引述。关于与出处 →