无效提示词迷信

两个"过时/无效"的流行技术：

1. Role prompting 用于准确率任务——无效。给 AI 一个角色（"你是数学教授"）再让它解数学题，曾被认为能提升准确率。有研究测了上千种角色，看似"更有人际能力的角色（如老师）表现更好"，但实际准确率差距只有 0.01 量级，无统计显著性；且"哪些角色更有人际能力"本身难以界定。后来原作者用新数据集复跑，确认没有可预测的角色效应。作者的结论：在 GPT-3/早期 ChatGPT 上或许曾有效，现代模型上对准确率类任务毫无帮助。
   • 例外：role 对表达类任务（写作、总结、风格化）很有用——"用 Tyler Cowen/Terry Gross 的风格提问"这类是好用法。区分标准就是"这是准确率任务还是风格任务"。
2. 威胁与贿赂——无效。"这对我职业生涯很重要""我给你 5 美元小费""不答好就有人会死"这类奖惩承诺。作者没见过任何大规模研究支持其有效；同样是"老模型上或许有效、现代模型上不信"。虽然现代模型用了更多 RL，理论上"从奖惩学习"成立，但训练时并不是"做好给钱"，所以这个解释站不住脚。

为什么 role prompting 当年可能有效：给模型"你是数学教授"相当于多给了 context，可能激活了神经网络里与数学相关的区域，让它更"往数学上想"——本质是 context 效应，而非角色魔法。