操盘手年鉴The Operators’ Almanac
AI & New Ways of Working · 主题簇 13 · 8 张卡

AI 辅助研究与分析(防幻觉工作流)

ai-analysis-four-failure-modesai-analysis-verification-passquote-selection-rules-verification(引语幻觉/缝合怪检测)→ few-shot-calibration-scalellm-selection-for-analysis(Caitlin Sullivan 全套)、llm-disconfirmation-research(Shaun Clowes:让 LLM 反驳你)、ai-meeting-synthesis-guardrailsai-summaries-degrade-intuition(哪些环节必须自己保留)。

本簇 8 张卡 · 1 张必读(†)置顶
AI·FW·357 必读 框架

AI 分析四种失效模式AI Analysis Four Failure Modes

用 LLM 分析客户访谈、问卷等定性数据时,输出永远显得自信,但可能充满幻觉引语、伪洞察和错误结论。这些错误是隐形的——直到干系人问出你答不上的问题,或三个月后决策崩盘。本框架用来系统识别并修复 AI 分析的错误。

Caitlin Sullivan AI 时代
AI·PB·356 操作手册

AI 分析人工验证流AI Analysis Verification Pass

AI 的第一遍分析永远是一份"看起来完整"的草稿:主题清晰、引语动人、表格能直接进 deck,且所有内容都以同等自信呈现——它不会主动说"P03 我其实不确定"。人类专家会本能地做多遍复查,LLM 默认不会,除非你明确要求。这是作者认为最常见的失败模式。

Caitlin Sullivan AI 时代
AI·PB·272 操作手册

引语幻觉验证规则Quote Selection Rules Verification

AI 分析中的引语幻觉:完全虚构的"客户原话",以及把访谈中多处发言缝合成的 "Frankenstein quotes"。它们会顶着真实参与者的名字进 deck,影响产品语言和百万级决策。

Caitlin Sullivan AI 时代
AI·PB·207 操作手册

少样本校准量表Few Shot Calibration Scale

AI 给的是计数和分类("22 人提到想要屏幕""情感 72% 正面"),不是决策清晰度。它分不清"屏幕能直接留住的人"、"其实只需要改 App UX 的人"和"屏幕完全无关的流失",所有 mention 被同等对待。

Caitlin Sullivan AI 时代
AI·MM·070 思维模型

分析型 LLM 模型选择法LLM Selection For Analysis

做定性数据分析(访谈/问卷)时选哪个 LLM;以及理解你正在用的那个模型的盲区——多数团队只有一家的企业账号,永远看不到自己模型的短板。

Caitlin Sullivan AI 时代
AI·PB·483 操作手册

LLM 驱动证伪研究法LLM Disconfirmation Research

PM 面对海量定性信息(用户访谈、inbound 反馈、竞品资料)时,过去只能靠大脑当"总结机",慢且说不清依据;用上 LLM 后又容易只让它复读自己想听的话。这套 playbook 教你用 LLM 做**证伪式**研究综合。

Shaun Clowes 过渡期
AI·PB·365 操作手册

AI 会议综合提炼护栏AI Meeting Synthesis Guardrails

AI 会议纪要很流行但经常失准——漂向宽泛抽象、丢失细微差别。而 synthesis(综合提炼)对 PM 不是行政杂务而是关键技能:PM 参加别人不在场的会(客户电话、高管战略评审、技术讨论),他们的综合决定了组织能否理解决策的"为什么",而不是沦为"CEO 说了算"。问题:如何用 AI 省力而不让它变成拐杖、废掉这块肌肉。

Hilary Gridley 过渡期
AI·IN·395 洞察

AI 摘要削弱直觉AI Summaries Degrade Intuition

决定 AI 在你的客户信号处理流程里扮演什么角色:哪些环节交给 AI,哪些必须自己保留。

Tal Raviv AI 时代
同域其他主题簇