Eval 工作流四阶段

四个阶段（以一个旅行规划 agent 为例）：

阶段一：收集（Collection）

1. 采集真实用户交互：通过直接反馈、分析工具或人工检查捕捉用户如何使用产品（例如点赞/点踩数据）
2. 记录边缘案例：识别用户不寻常的交互方式和 agent 的异常回应，尽量让数据集在不同主题间保持均衡（例如订酒店、订机票、求助、行程建议各有覆盖）
3. 构建有代表性的数据集：收集成结构化数据集，最好带有"ground truth"人工标签。经验法则：起步阶段准备 10-100 条带人工标签的样本作为评估基准；一开始用表格就够，之后再考虑 Phoenix 这类开源工具做日志和管理

阶段二：初次评估（First-pass evaluation）

1. 写初版 eval prompt：遵循四部分公式（角色/上下文/目标/术语）清楚定义要测试的场景
2. 跑测：把 eval prompt 加 agent 回答变量一起发给 LLM，对数据集每一行打标签，目标是与人工标注的一致率达到 90% 以上
3. 找失败模式：定位 eval 判断和人工标注不一致的地方，反思是不是评判标准定得太死

阶段三：迭代循环（Iteration loop）

1. 打磨 eval prompt：持续根据结果调整，直到表现达标；可以在 prompt 里加入"好"和"坏"的例子做 few-shot，帮助 judge-LLM 校准
2. 扩充数据集：定期加入新样本和边缘案例，验证 eval prompt 能否泛化
3. 迭代 agent 本身的 prompt：evals 是给 agent 换底层能力（比如从 GPT-4o 换成 Claude 3.7 Sonnet）后重新跑同一批问题、和 eval agent 一起打分对比新旧表现的最终裁判——本质上是给 AI 系统做 A/B 测试的终局工具

阶段四：生产监控（Production monitoring）

1. 持续评估：让 eval 自动跑在实时用户交互上，形成随时间变化的分数曲线，用来回答"用户是不是越来越不满"这类问题
2. 对比 eval 结果与真实用户结果：找 eval 分数和真实表现（人工标注的 ground truth）之间的差异，用来提升 eval 框架的准确率
3. 建可执行的 eval 仪表盘：把 AI 指标讲给团队/管理层听，甚至和业务结果挂钩，作为你改动系统的领先指标