ChatGPT 能力局限谬误

核心论断：绝大多数"AI 做不到 X"的结论是测试方法错误的产物——用了过时模型 + 裸提示。因此大多数人系统性低估了 AI 离替代人类工作的距离。

证据链：

• 论文 "ChatGPT is fun, but it is not funny" 用 GPT-3 和 "Tell me a joke, please!" 这种基础 prompt 得出结论；作者用新模型 + 提示技巧就能让它讲出好笑的笑话。
• "Language Models are Few-Shot Learners" 显示：提示技巧在某些任务上带来约 30% 的准确率提升；叠加多个正确示例可获得总计 50%-60% 的提升——同一个模型，天壤之别的结论。
• "LLM 数学差"同理：chain-of-thought（给模型一步步想的空间）已基本解决合理估算问题。

两个推论：

1. 评估 AI 能力的最低标准 = 最新模型 + 认真的提示工程，否则你测的是自己的提示水平，不是模型上限。
2. 任何当下的能力结论都要打上时间戳——"现在是 AI 历史上最差的时刻"，模型可能每 6 个月翻倍好。

镜像盲区：我们评估 AI 时往往也没认真度量过人类的基线表现（作者给客户做 AI 评估时反复遇到）。"人类答案"本身质量参差、标准主观，比较时需要真实人类样本而非想象中的完美人类。