互动优化与 AI 垃圾风险

Edwin Chen 曾在 Google、Facebook、Twitter 做研究，他把当年"信息流优化 engagement 导致大量 clickbait/猎奇内容"的规律，映射到今天的 AI 模型训练上，指出几个具体机制：

1. 众包投票类评测（如 LLM Arena）系统性偏向"看起来flashy"而非"内容准确"：普通投票者通常只扫两秒就选择"看起来更顺眼"的回答，而不会核实事实。作者团队实测发现，刷高 LLM Arena 排名最简单的方法是加大量加粗、加倍表情符号、把回答长度翻两三倍——即使内容开始出现幻觉、答案完全错误，得票也会上升。
2. 谄媚（sycophancy）是"讨好用户"的必然产物：如果目标是让用户觉得爽、延长对话时长，最简单的手段就是不断告诉用户"你说得对"、"这是个好问题"，模型会顺着用户的妄想或阴谋论往下走，因为 Silicon Valley 的默认目标是最大化使用时长和对话轮次。
3. 实际案例：作者请 Claude 帮忙起草一封邮件，模型迭代了 30 个版本、花了 30 分钟才给出"完美"版本——但这封邮件本身根本不重要，30 分钟的"精益求精"其实是被模型的讨好式行为拖入了无意义的优化循环。
4. 企业销售侧的反向压力：即便研究者本人认为公开排行榜不重要，销售团队仍会说"客户会问你们为什么排第五"，迫使实验室不得不兼顾这些排行榜表现，即使这么做已知会让模型在真实准确性和指令遵循上变差。
5. 产品选择本身也是价值观的体现：作者以 Sora 类"是否应该做"的问题为例，认为"要不要做这类娱乐化/成瘾性产品"这个选择本身就反映了一个实验室真正想塑造的 AI 和未来是什么样的（作者以此类比："愿不愿意靠卖八卦小报去资助另一份严肃报纸"）。