Evals 常见误区与速成

作者观察到的三个常见错误：

1. 一上来就把 eval 做得太复杂——会产生"噪声"信号，让团队对这套方法失去信任。应该先聚焦具体、单一的输出维度，复杂度可以以后再加。
2. 不测边缘案例——应该在 prompt 里提供一两个"好"和"坏"的具体例子（few-shot prompting），帮助 judge-LLM 建立判断的锚点。
3. 忘了拿 eval 结果去对照真实用户反馈做验证——容易忘记你不是在测代码，而是在验证 AI 是否真的解决了用户的问题。

给完全没做过 evals 的人的四步启动清单：

1. 挑一个最关键的功能来评估（常见起点：聊天机器人/agent 的"幻觉检测"，因为这是最容易定义好坏的一类）
2. 写一条简单的 eval，检查 LLM 输出是否忠实引用了提供的内容，还是编造了信息
3. 在 5-10 个真实/构造的代表性样本上跑一遍
4. 检查结果并迭代，持续打磨 eval prompt 直到准确率提升

核心心态：写 eval 逼着你站在用户的角度看问题——它们是你捕捉"坏"场景、知道该改进什么的方式,而不只是纯技术性的测试代码环节。