操盘手年鉴The Operators’ Almanac
AI · PB · 207

少样本校准量表

Few Shot Calibration Scale · few-shot-calibration-scale--caitlin-sullivan
AI 与新工作方式 操作手册 AI 时代 2026-02 Caitlin Sullivan ✓ 已核验出处

解决什么问题

AI 给的是计数和分类("22 人提到想要屏幕""情感 72% 正面"),不是决策清晰度。它分不清"屏幕能直接留住的人"、"其实只需要改 App UX 的人"和"屏幕完全无关的流失",所有 mention 被同等对待。

核心内容

Few-shot calibration:给 AI 一个为当前决策定制的量表,每一级都提供三件东西——级别定义、一条真实示例回答、以及"为什么归入此级"的理由。示例(Whoop 屏幕决策的 SOLUTION FIT SCALE):

  1. SCREEN WOULD RETAIN:活动中明确的可见性/访问痛点。例:"I check my phone 10 times per workout just to see my HR"。为什么是 1:有具体摩擦和现行 workaround,屏幕直接解决,是屏幕投资的高价值信号。
  2. CHEAPER FIX WOULD RETAIN:听着与屏幕相关,实际有更低成本解法。例:App 太难用、点太多下。为什么是 2:可见性抱怨但手机在场,App UX 修复即可,无需硬件投入。
  3. ENGAGEMENT FIX NEEDED:已弃用,屏幕改变不了。例:"Just wasn't using it enough"。自责式表述、无功能抱怨,需要 onboarding/engagement 干预而非屏幕。
  4. OPERATIONAL FIX NEEDED:billing、客服、可靠性问题。例:取消三次仍被扣费。信任/流程失败,屏幕无关,需要立即的服务补救。
  5. UNRELATED COMPETITIVE LOSS:转投竞品且无屏幕抱怨。例:"Switched to Apple Watch, Whoop was fine"。无负面语言,可能是生态/社交/价格驱动,屏幕难以赢回。

要点是 show, don't tell:例子本身在教学——"这是好的输出,这是我这样标注的理由,照我的过程来"。不校准时,模型会自己发明"屏幕相关流失"的解释,未必与你的一致。

结果:AI 能区分哪些反馈在说"build this"、哪些在说"先修别的"。

适用边界

  • 此结构适用于任何量表:新 offer 的需求校准、功能请求优先级、中性反馈的精确分类——定义好每一级的样子并配例子即可。
  • 建量表花几分钟,但可跨分析复用;作者用它构建了"像资深研究员一样解读数据、近实时处理进线数据"的 agent。
  • 与引语验证(quote verification)叠加使用:可操作的解读 + 客户原声的真实证据。

关键引述 · 原话

"The key is showing AI, not telling." — Caitlin Sullivan

关联卡片

- 是 `ai-analysis-four-failure-modes--caitlin-sullivan` 中失败模式 #3 的修复 - few-shot prompting 在研究分析场景的具体化;与 `five-core-prompting-techniques--sander-schulhoff` 中的 few-shot 技术同源 - 校准评分标准的思路与 `llm-as-judge-binary-alignment--shreya-shankar` 相通

被这些卡引用

出处Caitlin Sullivan (用户研究顾问,曾为 Canva/YouTube 等团队做 AI 研究培训) · 02-newsletters/how-to-do-ai-analysis-you-can-actually-trust.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2