评估标准漂移

Shreya Shankar 的研究 "Who Validates the Validators?"（2023 年底启动的开发者用户研究）发现：

• 开发者无法预先定义完整的评估标准。对"好/坏"的判断会随着看到更多真实输出而改变——这个现象叫 criteria drift（标准漂移）。
• 大量失败模式是看了十来个输出之后才想得到的；即便是造过许多 LLM pipeline 和 agent 的专家也一样。这是 LLM 时代区别于传统 ML 的新困难。
• 推论 1：evals 判定标准必须从 error analysis（看真实数据）里长出来，而不是从想象的需求清单里来。
• 推论 2：PRD 仍然有用（是好的思考抽象），但一定会变；随着看数据你会不断发现"原来我还希望产品有这种 vibe"，这些新期望应回流进 PRD 和 judge prompt。
• 推论 3：跳过 error analysis 直接跑 A/B 测试是本末倒置——很多团队测的是想象中重要的东西，而真实错误（如笨拙的人工转接、短信多轮拼接乱序）完全在别处。A/B 测试应由 error analysis 发现的真问题驱动。