AI 复杂架构评估策略

按系统架构分三类应对策略:

1. 多轮对话(multi-turn conversations) 先看最高层级:整个 session 有没有达成用户目标?这个 session 级别的 pass/fail 判断是最重要的成功度量。当对话失败时,不要想当然认为问题出在"对话的复杂性"上——先尝试用单轮复现失败。例如购物机器人第四轮给错了退货政策,先直接单独问它:"X1000 产品的退货政策是什么?"如果单轮就答错,说明问题是简单的知识/检索问题;如果单轮能答对,才能确认失败确实来自对话——机器人在跨轮次丢失上下文或误解了之前的信息。这一步诊断能把"简单知识缺口"和"真正的多轮记忆失败"区分开,省下大量排查时间。

2. 检索增强生成(RAG) RAG 系统是"检索器+生成器"两部机器,两者可能独立失败,端到端正确率分数无法告诉你到底是哪部分坏了,必须分开评估。先评估检索器:当成搜索问题处理,需要一份"查询-已知正确文档"配对的数据集,核心指标是 recall@k(top k 个结果里覆盖了多少比例的真正相关文档)——recall 是重中之重,因为正确信息没被检索到,生成器就没有机会给出正确答案(现代 LLM 很擅长忽略上下文里的无关噪音,但没法凭空编出缺失的事实)。k 值大小取决于任务:简单事实类查询(如"某地址的房产税是多少")k=3-5 通常够;需要跨多个来源综合信息的复杂查询(如"总结某地区三居室房产的市场趋势"),需要 k=10-20 才能给生成器足够上下文。当系统有二次重排(re-ranking)阶段时,precision@k(检索结果中相关文档的占比)才变得重要。再评估生成器,重点看两点:忠实度(faithfulness)——答案是否忠于检索到的上下文,还是在幻觉;答案相关性(answer relevance)——答案是否直接回应了用户的原始问题(一个答案可能完全忠于原文档,但依然没有回答用户真正想问的)。原则:先修检索器,只有确信正确信息已经稳定送到生成器手上,才该重点投入改进生成步骤。

3. Agentic workflows(智能体工作流) Agent 能执行一连串动作(如工具调用)来达成目标,是最复杂的评估对象。只看最终结果的 pass/fail 是一个起点,但不具备诊断性——agent 失败时,你需要知道是链条里哪一步断的。工具是 transition failure matrix(状态转移失败矩阵):把 agent 的工作流想象成一系列状态/步骤(像流水线),agent 从一个状态(如 generating_sql)转移到下一个状态(如 executing_sql)。矩阵的行代表"最后一次成功的步骤",列代表"失败发生的步骤",通过把失败 trace 映射到这个矩阵上,能快速定位热点——比如数据显示 agent 最常在"执行刚生成的 SQL"这一步失败,或者在"解读工具调用返回结果"时最常出错。这把"排查一个复杂 agent"从大海捞针式的猜测,变成有数据支撑的聚焦调查。