AI · MM · 070
分析型 LLM 模型选择法
LLM Selection For Analysis · llm-selection-for-analysis--caitlin-sullivan
所属簇 AI 辅助研究与分析
解决什么问题
做定性数据分析(访谈/问卷)时选哪个 LLM;以及理解你正在用的那个模型的盲区——多数团队只有一家的企业账号,永远看不到自己模型的短板。
核心内容
作者在同一分析流程上跑三大模型 100+ 次(并与 Maze 等 discovery 工具产品团队合作跨模型测试)后的分工判断:
- Claude:分析主力。深度与广度兼具,不用怎么催就给更多引语、覆盖更多面。代价:不替你过滤——已验证的模式和半成形的假设会并列出现,需要你自己验证主题的证据强度。作者的默认推荐:"宁可自己验证,也好过催三遍才能确认它没漏东西。"
- Gemini(及 NotebookLM):证据最扎实。主题更少但 grounding 更强;要多轮 prompt 才能拿到完整性,且需要主动要求更长引语(默认引语偏短)。独有优势:能分析视频里的非语言行为(当时其他两家还不行)。
- ChatGPT:最终包装与干系人沟通。三者中最有创造力——不幸的是对"verbatim 引语"也最有创造力(爱合并缝合引语),真实证据最不可靠;但最擅长把相关发现包装给特定受众。
同一批访谈不加引导地丢给三个模型,会得到"choose-your-own-adventure":不同叙事、不同"证据"、完全不同的产品建议,但自信程度一样高。ChatGPT 会摘要并缝合引语,Claude 的置信分更保守,Gemini 常选太短的客户原声片段。
适用边界
- 2026 年初的观察,模型快速迭代会改变结论;分工思路(分析深度 / 证据强度 / 叙事包装是三种不同能力)比具体品牌更持久。
- 文中示例多用 ChatGPT,因为它在作者的客户团队和学员中最普及、也最容易触发这些失败模式;四个修复手段对三家模型都有效。
关键引述 · 原话
"If you have a choice, use Claude for analysis work. It covers more ground while staying rooted in the actual data." — Caitlin Sullivan
关联卡片
- 配合 `ai-analysis-four-failure-modes--caitlin-sullivan` 的四个修复使用 - 与 `bet-on-the-general-model--boris-cherny` 的模型选型视角互补(一个看单任务分工,一个看长期押注)
被这些卡引用
出处:Caitlin Sullivan (用户研究顾问,曾为 Canva/YouTube 等团队做 AI 研究培训) · 02-newsletters/how-to-do-ai-analysis-you-can-actually-trust.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2