操盘手年鉴The Operators’ Almanac
AI · PB · 242

五大核心提示技巧

Five Core Prompting Techniques · five-core-prompting-techniques--sander-schulhoff
AI 与新工作方式 操作手册 AI 时代 2025-06 Sander Schulhoff ✓ 已核验出处

解决什么问题

想让 LLM 输出更靠谱——无论是日常对话,还是构建产品时那条要跑几百万次的关键 prompt。这是从分析 1500+ 篇论文的 The Prompt Report 里提炼出的、经验证有效的技术子集。

核心内容

Sander 强调:最好的学习方式是 trial and error(试错的收获超过任何课程/资料)。但如果只推荐可落地的技术,按顺序是:

  1. Few-shot prompting(给例子)——回报最高、最简单。给 AI 几个"好长什么样"的示例,比用语言描述风格有效得多。可以只给输出示例(如 10 个好标题),也可给"输入→输出"配对。术语:zero-shot=0 例,one-shot=1 例,few-shot=多例。
  2. Decomposition(分解)。让模型先别答,先列出"要先解决哪些子问题(subproblems)",再逐个解决、最后汇总。推荐用语就是 "What are the subproblems that need to be solved first?"。与 chain-of-thought 不同:分解出的子问题可以分发给不同的 tool-calling agent(例:汽车退货政策查询——先查是否客户、车型、购买日期、保险,再综合判断)。
  3. Self-criticism(自我批评)。让模型先解答 → 再让它 "check your response / criticize it" → 再让它 "implement that" 重写。近乎"免费的性能提升"。作者一般最多迭代 3 次,再多模型会"发疯"。
  4. Additional information / context(补充信息)。把与任务相关的一切背景塞进去(写邮件就给工作履历+个人简介;做公司数据分析就给公司画像)。作者建议放在 prompt 开头:一是可被 provider 缓存、降低后续调用成本;二是放结尾且过长时模型可能忘记原任务、误抓补充信息里的问题来答。对话场景可以"能塞就塞";产品场景要权衡 token 成本与延迟。
  5. Ensembling(集成)——进阶。同一个问题用多个 prompt/角色/模型分别解答,取"出现最频繁的答案"(多数投票)。经典例子 mixture-of-reasoning-experts:让不同"专家"(英语教授、足球史学家、联网检索)各答一遍再取多数。类比经典 ML 的 random forest。主要用于可程序化评估准确率的任务(数学/推理)。

关于 chain-of-thought("think step by step"):归为 thought generation。推理模型(如 o3)默认已做,无需再加;但用 GPT-4/4o 这类非推理模型、且跑大规模输入时,仍值得显式加"写出你的推理"——因为约 1/100 的情况它会跳过推理直接给答案,显式提示能保证鲁棒性。

关于格式:few-shot 用"LLM 熟悉的常见格式"最好(XML、或 Q:/A: 这种 NLP 经典格式均可)——实证显示训练数据里最常见的问法格式,就是 prompt 时最有效的格式。补充信息本身通常不需要结构化标签,直接塞即可。

适用边界

  • 对话场景里作者自己大量时候只写 "writ emil... make better, improve"(甚至拼错)就够了——高投入的技术主要留给产品场景,因为百万用户的输出你看不到,需要事先确保鲁棒。
  • 对话场景中回报最高的两个技术是 additional information 和 few-shot。
  • Ensembling 对难以自动评估的任务(如生成面试题)价值有限,因为无法程序化判断成败。

关键引述 · 原话

"My best advice on how to improve your prompting skills is actually just trial and error." — Sander Schulhoff

"Studies have shown that using bad prompts can get you down to 0% on a problem, and good prompts can boost you up to 90%." — Sander Schulhoff

关联卡片

- 与 prompting-techniques-that-dont-work--sander-schulhoff(role prompting、贿赂/威胁无效)互补。 - 与 conversational-vs-product-prompting--sander-schulhoff(两种模式)配合决定该在哪投入。

被这些卡引用

出处Sander Schulhoff (Learn Prompting 创始人、HackAPrompt 主办者、The Prompt Report 主笔) · 03-podcasts/sander-schulhoff.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2