OEC总体评估准则

Oec Overall Evaluation Criterion · oec-overall-evaluation-criterion--ronny-kohavi

增长框架过渡期 2023-07 Ronny Kohavi ✓ 已核验出处

解决什么问题

在A/B测试中，如果只优化单一目标（如收入），极易导致破坏用户体验的短视行为（如页面塞满广告）。OEC（Overall Evaluation Criterion）框架用于明确并平衡“什么是真正的成功”。

核心内容

OEC是一个综合评估标准，核心原则是必须能够因果预测用户的生命周期价值（Lifetime Value）。

主指标与反向指标结合：不仅看短期转化（如收入/转化率），必须引入约束用户体验的反向指标（如任务完成时间、会话成功率）。
约束优化问题：将优化目标转化为带约束的数学问题。例如：在给定的平均广告像素预算（垂直像素总量）内，最大化收入。
长期指标预测建模：对于发生滞后的长期指标（如用户入住后的评分），使用历史数据建立数据科学模型进行预测，将其纳入OEC。
量化反向指标成本：例如Amazon推荐邮件团队，将“用户退订”量化为损失的长期LTV美元价值。将发送邮件的收益与退订的成本相减，得出真实的净收益，从而发现超过一半的邮件活动实际是负收益的。

适用边界

如果一个团队对某个指标的方向性都无法达成一致（例如：支持网站停留时间变长，到底是好是坏），说明OEC定义错误，此时实验毫无意义。

关键引述 · 原话

"Once you put that model of lifetime value, people say, 'Okay, what about retention rates? We can measure that. What about the time to achieve a task? We can measure that.' And those are these countervailing metrics that make the OEC useful." (Ronny Kohavi)

— Ronny Kohavi

关联卡片

与Twyman's law和SRM检查互为补充：OEC定义了“测什么”，而Twyman's law和SRM确保“测得准”。

出处：Ronny Kohavi · 03-podcasts/ronny-kohavi.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2