Benchmark 爬坡鸿沟

Edwin Chen（Surge AI 创始人，为前沿实验室提供评测数据）指出，不应该信任大多数公开 benchmark，原因有两层：

1. benchmark 本身质量堪忧：包括不少知名 benchmark 在内，大量题目本身答案是错的、标注混乱；圈内研究者也未必意识到问题的普遍程度。
2. benchmark 具有"可攀爬性"偏差：像 IMO 数学题这类 benchmark 有明确、客观的正确答案，模型更容易通过针对性训练"爬"上去；而现实世界任务（如解析一份格式混乱的 PDF）充满歧义和噪声，缺乏这种可优化的客观信号，反而更难攻克。"能拿 IMO 金牌但解析不好 PDF"正是这种差异的体现——难度感知（人类觉得 IMO 更难）和可优化性（PDF 解析对模型更难）是两回事。
3. benchmark 会被直接"操纵"：实验室可能调整 system prompt、调整模型运行/采样次数等方式，专门针对特定 benchmark 优化表现，这与提升模型真实能力是两件不同的事。
4. 组织激励强化了这个问题：即便研究者自己认为某个学术 benchmark 不重要，团队仍会说"今年能不能升职就看能不能在这个榜单上往上爬"，导致研究资源被系统性地投向"好爬但不重要"的方向。

因此，作者更倾向依赖专家在真实场景下的深度人工评测（让顶尖领域专家真的用模型完成专业任务、逐项核查代码/物理公式等的准确性），而非依赖公开排行榜或"随机人两秒扫一眼选个更顺眼的"式的众包投票。