Eval 方法对比矩阵

三种 eval 方式的对比：

1. 人工评估（Human evals）：产品里设计的人类反馈回路（点赞/点踩、评论框），或雇佣领域专家/标注员打标签，用于对齐产品与人类偏好（例如 RLHF）。

• 优点：直接反映真实用户
• 缺点：非常稀疏（大多数人不会点赞/点踩）、信号弱（点踩到底是嫌准确率低还是嫌语气差？）、成本高（如果要雇标注员）

2. 基于代码的评估（Code-based evals）：对 API 调用或代码生成结果做检查（生成的代码是否"合法"、能否运行；某个字符串是否出现在段落里等）。

• 优点：写起来便宜快速，从简单字符串检查到复杂逻辑判断都可以；比 LLM-as-judge 更快更省（后者仍需要模型推理和校准）
• 缺点：对主观或开放式任务信号不强

3. 基于 LLM 的评估（LLM-based evals，即 LLM-as-judge）：用外部 LLM 作为"裁判"给 agent 输出打分。

• 优点：高度可扩展（相当于用便宜得多的方式模拟人工标注），用自然语言写判断标准（PM 可以直接上手），可以让判断 LLM 给出解释、提高可调试性；单次判断可能主观，但在大数据集上会变得有实用价值——人能打分的东西，LLM 也能打分；生产系统常用置信分数或多个 LLM 裁判组成"陪审团"提高可靠性
• 缺点：需要先用一批已标注样本搭建并校验 judge 系统；结果是概率性而非确定性的，需要足够的量才能信任这个信号

关键认知：LLM-based evals 本身也是自然语言 prompt——评估一个 AI 系统同样需要 prompt 能力，就像构建这个系统本身需要 prompt 能力一样。