Guest · 6 张署名卡

Hamel Husain & Shreya Shankar

署名于 AI 与新工作方式

"Claude Code 团队说他们不做 evals、只靠 vibes，而它是最好的编码代理"——你的团队要不要效仿这种做法？

eval 仪表盘看着有用但没人理、不带来产品改进——因为指标与真实用户问题脱节。可评估的表面积是无限的，不知道该测什么。

通用的"binary pass/fail + LLM judge"评估方法论,遇到多轮对话、RAG、agentic workflow 这几种更复杂的系统架构时不够用——这些系统的失败点更隐蔽,需要针对架构特点定制诊断策略,否则很难定位问题到底出在哪一步。

就算你已经建好了一套可信的评估器(code-based + LLM judge),它们只是工具,不是流程——怎么把这些评估器嵌入日常研发,变成一个能持续发现问题、持续把系统变得更健壮的飞轮,而不是一次性的项目?

主观质量（语气、相关性、推理质量）无法用代码断言检查；随手写个"聪明 prompt"当裁判，分数没人敢信。需要一套让团队和老板信任 LLM judge 读数的验证流程。

你的 LLM 应用出各种问题但不知从哪下手：改 prompt 靠猜、靠 vibe check，应用一变大就失控。这套流程是构建一切 evals 的起点——先系统性地发现、归类、量化产品的真实错误，再决定测什么。

框架、方法、洞察本身属于 Hamel Husain & Shreya Shankar。卡片是用中文重新组织的转述，仅保留少量带署名的短引述。关于与出处 →