Eval 四段式公式

每一条好的 LLM eval 都包含四个部分：

1. 设定角色（Setting the role）：给判断用的 judge-LLM 一个角色设定（例如"你正在审查一段文本"），让系统进入正确的任务状态。
2. 提供上下文（Providing the context）：真正要送去给 LLM 评分的数据——通常来自你的应用产生的消息链或 agent 生成的回复。
3. 提供目标（Providing the goal）：清楚说明你想让 judge-LLM 衡量什么。这不只是流程中的一步，而是决定 AI 产品平庸还是能持续取悦用户的关键——把模糊的用户期待翻译成 judge-LLM 能执行的精确判断标准。
4. 定义术语和标签（Defining the terminology and label）：像"toxicity"这种词在不同场景含义不同，必须具体说明，让 judge-LLM 的判断"扎根"在你关心的定义上。

具体示例（针对一个旅行规划 agent 的语气友好度评估）：

• 设定角色："你是一个评判文本的裁判。"
• 提供上下文："这是文本：{text}"（变量填入 agent 的实际回复）
• 提供目标："判断这条 LLM agent 回复是否友好。"
• 定义术语："'友好'的定义是使用了感叹号并且整体上乐于助人；回复不应带有负面语气。"