上下文至上提示法

Kilpatrick 提出一个用"人类类比"理解prompt engineering的框架:把模型当成一个"智力和人类相当,但零上下文"的陌生人。模型的训练方式决定了它天生倾向于"有问必答"——你问一个很基础、很模糊的问题,它就给你一个很基础、很模糊的答案("crap in, crap out"),这和人类的行为其实完全一致:你随口问一个不熟的人"最近怎么样",对方也只会回一句"还不错"。

由此他给出这套框架的三个层次:

1. 模型不会因为看起来聪明就自动知道你是谁、你想要什么。它没见过你,不知道你的目标,不知道你的背景。用户觉得"答案很平庸"的根源,几乎总是"忘了把上下文塞进去"。
2. 诊断方法:如果一个prompt效果不好,先问"这个人/主题在互联网上有没有足够多的公开信息"。举了一个实例——让ChatGPT扮演Tyler Cowen给Logan本人出10个采访问题,效果一般,原因是Logan本人在网上的公开信息不够多,模型没有素材可用;换成采访Tom Cruise这种网上信息极其丰富的对象,同样的prompt效果会好得多。解法不是让模型说"我信息不够",而是用户主动提供上下文(比如附上对方的博客链接、Twitter内容让模型先读)。
3. 一句可以直接当准则用的话:"Context is all you need"(如果做T恤,这句应该印在上面)——上下文几乎是决定语言模型产出质量的唯一变量。

Kilpatrick 补充了两个已知会小幅提升效果、但幅度有限(约1-2%)的"技巧类"细节(如在prompt里加一个笑脸、让模型"先休息一下再回答"),但强调这类小技巧的效果远不如"给够上下文"来得重要——尤其在长文本生成中才可能体现出可感知的差异,短答案里基本不可感知。

Kilpatrick 也预告了这个问题的技术演进方向:类似DALL-E已经在做的"把用户简单描述自动扩写成高保真描述"(用户说"一只乌龟"，模型内部扩写成带壳、背景、荷叶的完整描述),未来文本模型也会做类似的自动上下文扩写,减少用户手动补充上下文的负担。