PD · FW · 262
平台评分系统设计
Rating System Design · rating-system-design--ramesh-johari
解决什么问题
Marketplace 的评分系统随时间出现 rating inflation(评分通胀),且简单平均算法对新进入者不公平,导致供给侧流失和市场质量下降。
核心内容
问题一:Rating Inflation(评分通胀)
- 随时间推移,marketplace 评分中位数持续上升(oDesk、Uber 等均存在此现象)。
- 两个驱动因素:
- 互惠性:给对方好评几乎无成本,大多数人不愿做"坏人"。
- 规范漂移:随着市场平均分上升,"4 星"从"还不错"变成"很差",评分标尺失去区分度。
- 对策——重新定义评分含义:
- 将最高档从"优秀"改为"超出预期"。
- 引入比较式提问:"这次体验相比你之前给出过高分的体验如何?"——用户更容易说"好但没超过那次"而非直接给低分。
问题二:简单平均的分配性不公平
- 简单平均对成熟者有利、对新进入者极其不利。
- 一家有一万条评价的 Yelp 餐厅,下一条评价几乎不影响其评分。但一个新卖家如果第一条评价是负面,eBay 研究显示其即时预期收入下降约 8%,且显著增加退出平台的概率。
- 对策——引入 prior(先验信念):
- 不直接用平均分,而是将新用户的评分与一个先验信念做加权平均。
- 如果新用户收到一条差评,先验信念会把评分向上拉,给其继续获客的机会,而非直接被埋没。
问题三:The Sound of Silence(沉默的信息)
- 不留评价本身包含大量信息。eBay 研究(Steve Tadelis 等)提出"effective percent positive":不只用已留评分计算好评率,而是把"未留评价"也纳入分母——这比传统好评率更能预测卖家后续表现。
- Airbnb 的 double-blind review(双盲评价:双方提交前看不到对方评价)意外提升了评价提交率——"某人给你留了评价,想看就也留一条"的机制让更多沉默信息被表达出来。
适用边界
- 适用于所有依赖用户评分/评价系统的 marketplace。
- 作者认为评分系统整体被严重低估和研究不足,是 marketplace 数据科学中最未被充分开发的领域。
- 具体设计(star rating vs binary vs comparative)需要根据 marketplace 的品类和用户行为定制。
关键引述 · 原话
"I believe pretty strongly in this kind of distributional fairness element of designing rating systems. I think it's been understudied." — Ramesh Johari
关联卡片
上游:marketplace-data-science-flywheel(评分系统是"learning about matches"环节的核心工具)。关联:experimentation-learning-culture(评分改动同样面临 whac-a-mole 和短期实验 flat 的问题)。
出处:Ramesh Johari · 03-podcasts/ramesh-johari.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2