评估投资 ROI 启发式
解决什么问题
回应"AI 产品到底需不需要做 eval,还是靠 vibe check 就够了"这个业内常见争论;帮团队判断该把有限的工程精力投在打磨已有功能的 eval 上,还是投在做新功能上。
核心内容
核心结论:不需要追求完美,只需要"足够好且稳定"就能赢(you don't have to be absolutely perfect, you just need to be good enough and being consistent about it)。她用真实案例说明团队不做 eval 的理性一面:某个新功能已经上线、用户还算满意、流量在涨,工程师提出"我们该建 eval 了",估算需要两名工程师投入一段时间,预期效果只是把某个指标从 80% 提到 82-85%——这时候,把同样的人力投到一个全新功能上,可能带来更大的整体收益。也就是说,eval 投入本身要用"预期边际收益 vs 转投新功能的机会成本"来决策,而不是默认"有产品就要有 eval"。
但她也划了必须重视 eval 的边界条件(满足其一就不能只靠 vibe check):
- 运营在大规模场景下,失败后果是灾难性的(catastrophic consequences)——这时必须"暴君式"地把关,理解每一种失败模式。
- 这个功能/产品本身就是竞争优势所在,你需要清楚知道自己相对竞品的具体位置。
如果只是一个"锦上添花但非核心"的功能,即使失败了影响也有限,可以先不追求理论完备的 eval 体系。
适用边界
她强调 eval 数量没有固定答案("不是问需要几个 eval,而是需要多少 eval 才能获得对应用表现的高置信度覆盖")——见过只有个位数指标的产品,也见过挂着几百个指标的通用型产品(如 verbosity、敏感信息、长度等各有专门 eval)。
关键引述 · 原话
"you don't have to be absolutely perfect... you just need to be good enough and being consistent about it" — Chip Huyen
"I do think eval is very, very important if you... operate at scale and where failures can have catastrophic consequences" — Chip Huyen
关联卡片
与 agentic-eval-per-step-decomposition--chip-huyen 互补:这张卡讲"要不要做 eval"的投入决策,那张卡讲"决定做的话,eval 该怎么拆解设计"。
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2