Agentic 评估分步拆解

她用 deep research 场景（给一个研究主题的 prompt，产品自动做多轮搜索、聚合信息、最后输出报告）说明：这类任务不能只做端到端评估（比如花大成本让一百个专家人工评判最终报告好不好——"extremely costly and slow"），而要把生成结果的每一步拆开单独设计 eval：

• 搜索 query 质量：生成的多条搜索 query 之间是不是有足够多样性（不能都是"Lenny Podcast""Lenny Podcast last month""Lenny Podcast two months ago"这种同义反复），关键词是否有真实的广度差异。
• 搜索结果质量：抓到的结果要同时兼顾广度（覆盖多少不同页面）、深度、以及和原始 prompt 的相关性——如果 query 本身就偏题，后面全白搭。
• 聚合/摘要步骤：判断信息聚合和最终报告生成这一步本身的质量。

原则：eval 设计的目标不是"凑够多少个指标"，而是要在整个链路上获得"足够的覆盖度和置信度"，既能确认整体表现可靠，又能精确定位到底哪一步出了问题、该往哪个环节修。她也提到一个真实发现的例子：eval 显示某个用户细分表现很差，深挖后发现根本原因只是给这批用户的产品文案/messaging 没做好——eval 的价值在于能把"哪里差"精确定位出来，而不只是给一个笼统的好/坏分数。