AI · MM · 347
AI 产品非参与度指标
AI Product Metrics Beyond Engagement · ai-product-metrics-beyond-engagement--mike-krieger
所属簇 AI 产品开发方法论
解决什么问题
Web 2.0/社交产品时代的"参与度"指标(时长、DAU、互动频率)被自然而然地搬到 AI 对话产品上,但一次好的对话可能是两条消息,也可能是两百条——用传统engagement 指标衡量,反而会误导团队去做错误的优化。这个模型帮你判断:AI 产品该往哪个方向找北极星指标。
核心内容
- 危险信号:过度优化"讨喜度"(likability)可能滑向谄媚(sycophancy)、故意拖长对话时长本身——这些是"看起来在涨"但实际有害的指标,作者引用团队内部的讨论明确警告了这一点。
- 历史参照:Instagram 时代北极星是"time spent",后来演化为"healthy time spent"——即从单纯追求时长,进化到追问"这段时长质量如何"。
- AI 产品的候选维度:是日活、周活还是月活场景?(作者自己一天用很多次,属于"hourly use case"),但坦言"我还没有一个好答案"。
- 更根本的判断标准是"结果",不是"互动量":作者举例——Claude 帮他 20-25 分钟做出一个原本要花 6 小时的原型,这才是产品真正在起作用的信号,但这类"节省了多少时间"的效果很难量化(问卷调查本身又显得别扭)。
- 核心原则:当你开始变得"过度沉迷于指标"时,往往恰恰是因为你在说服自己"产品其实做得不错",而不是产品真的做得不错——真正该盯的是能不能持续听到用户说"Claude 是我释放创造力、完成事情、让生活腾出更多空间的方式",这才是北极星,只是还没找到一个精炼的仪表盘指标来表达它。
适用边界
- 这套判断标准目前仍是方向性、未被精确量化的("I don't have a great answer yet"),不是一套可以直接套用的指标体系。
- 作者承认留存(retention)可以作为参考指标,但认为它是一个"太远期"的指标,不足以指导日常产品决策。
关键引述 · 原话
Mike Krieger: "It would be very dangerous to overoptimize on Claude's likability because you can fall into things like is Claude going to be sycophantic?"
Mike Krieger: "I think so much of when you get really metrics obsessed is when you're trying to convince yourself that it is when it's not."
关联卡片
- 与 `ai-coding-new-bottlenecks--mike-krieger` 同源于同一次访谈中对"AI 产品开发范式转变"的整体讨论。
出处：Mike Krieger (Anthropic CPO, Instagram 联合创始人) · 03-podcasts/mike-krieger.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2