AI · MM · 467
Eval 即 PRD 与营销
Eval As Prd And Marketing · eval-as-prd-and-marketing--brendan-foody
解决什么问题
很多人仍然把 eval(评测集)理解成"训练完之后拿来打分的东西",低估了它在整条 AI 产品/研发链路里的位置。这个模型说明 eval 其实同时扮演了三个角色,帮你理解为什么"写好 eval"正在变成一项核心能力,而不只是研究团队的分内事。
核心内容
- 核心类比:"如果说模型是产品,那 eval 就是产品需求文档(PRD)"。研究员的日常工作方式是针对一个 eval 集反复做小幅实验,而强化学习已经强大到"一旦有了 eval,几乎可以顺着它爬上去"——作者举例:Olympiad Math、SWE-bench 这些基准一旦被团队重点攻关,饱和速度极快。这意味着能不能提出"用什么标准衡量成功"这件事本身,直接决定了智能体能被自动化到什么程度。
- 企业落地 AI 的前提,是先为自己的核心价值链建立可衡量的测试:比如一家建筑事务所要衡量 AI 能不能自动化出图纸,首先要有一套系统性的方法衡量"这个图纸好不好、对不对";每家公司(或每条产品线)都要先想清楚怎么衡量自己的价值链,这是全公司应用 AI 的前提,而不是事后才补的动作。
- Eval 同时是销售材料:作者引用同行观点"evals are your new marketing"——因为 eval 不仅告诉研究员该往哪个方向优化,也是对外证明"我们的模型/产品到底有多强"的证据。行业趋势正从"PhD 级别的学术型 eval"(GPQA、Humanity's Last Exam、Olympiad Math)转向"人们实际关心的能力"(能不能自动化搭建一个软件平台、能不能做一份投行分析)。
- 一句被反复引用的客户原话:"models are only as good as their evals"——这句话被作者称为始终成立的真理,也呼应了 Greg Brockman 的说法"evals are all you need"。
适用边界
- 这个类比最适用于"能力可被量化衡量"的场景;对创意、情感、伦理判断等主观领域,rubrics/model-as-judge 是变通方案,但仍然依赖人类专家先定义"好"的标准,eval 本身不会凭空产生。
- 从"学术 eval"转向"业务价值链 eval"需要企业自己投入梳理价值链和衡量标准的工作,不是简单套用现成公开基准就能完成。
关键引述 · 原话
Brendan Foody: "If the model is the product, then the eval is the product requirement document... reinforcement learning is becoming so effective that once they have an eval, they can help climb it."
Brendan Foody: "One of my favorite quotes from customers is that, 'Models are only as good as their evals,' which has always held true."
关联卡片
- 与语料库已有的 `writing-evals-core-pm-skill--kevin-weil`、`ai-evals-error-analysis-lifecycle--hamel-husain` 互为印证,均指向"eval 正在成为产品/研发核心工作"这一共识,但本卡的独特之处在于强调 eval 同时是"销售/营销资产"这一层。
被这些卡引用
出处：Brendan Foody (Mercor 联合创始人兼 CEO) · 03-podcasts/brendan-foody.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2