直觉先于 Evals

对"PM 要擅长 evals"这一共识（OpenAI、Anthropic 产品负责人都主张）的补充修正：全新形态先 vibes，后 evals。

阶段一：Vibes（发散/开放探索）

• 对全新的产品体验或 form factor，不要先定义 evals（定义 eval 本身就要求你先回答"什么是好"，这是收敛动作）。
• 做法：开放式乱试——各种 prompt 扔上去看反应（"throw stuff against the wall"），用自己的脑子枚举可能的用例范围，观察它在哪类输入上表现好。
• 例子：Airtable 的网页爬取列表 agent（类似 deep research 但输出实体列表而非报告）。先随手试"所有漫威电影""所有 DC 衍生剧"这类五花八门的搜索，才发现它真正擅长的是带特定参数的人物/公司类搜索。

阶段二：收敛（scope 形态与用例簇）

• 确定 form factor 的基本脚手架 + 想让它稳定工作的用例簇。
• 产品化包装随之收窄：不是开放能力，而是"支持 X 类实体 + 显式筛选条件"的具体能力。

阶段三：Evals + 经验主义迭代

• 此时 evals 才有用：固定用例集，程序化度量 prompt/模型/agentic workflow 变化带来的改进。
• 到了大规模阶段（OpenAI/Anthropic 体量）可以"test everything"，全面 A/B；早期没有这个奢侈，只能靠开放式发现。

原理一句话：evals 是迭代改进的工具，不是发现用例的工具。Lenny 类比 Double Diamond：先发散再收敛。