写 Evals 的 PM 技能

什么是 eval：给模型的测验/考试——类比"模型的 unit tests"。像微积分课配微积分考试一样，用一组题目衡量模型在某类任务上的能力（创意写作、研究生级科学、竞赛编程……）。

为什么这是 PM 技能而非纯工程技能：产品形态由正确率决定。模型在你的用例上 60% 正确、95% 正确、99.5% 正确，要建的产品完全不同。传统软件"数据库跑通一次就每次都通"，LLM 是模糊输入→模糊输出，不深入用例和 evals 就不知道该建什么产品。

Deep Research 的实操流程（边设计产品边设计 evals）：

1. 列出 hero use cases："这是我们希望用户能问的问题 + 这是一个惊艳的答案"
2. 把这些用例转成 evals
3. 用 evals 做 hill climbing：针对性收集数据、fine-tune 模型，反复测 eval 分数是否上升
4. 当关键 evals 的表现持续上涨，"okay, I think we have a product here"——这就是 go 信号

上限论：模型能力的发挥被 evals 的质量封顶。智能是多维的（竞赛编程强 ≠ 前端强 ≠ COBOL 转 Python 强）；且世界上大部分数据、知识、流程是私有的（在公司/政府墙内），不在训练集里。未来 = 聪明的通用模型 + 公司/场景特定数据 fine-tune + 用 custom evals 度量效果。

降低门槛：可以直接用模型帮你写 evals，"它们写得挺好"。