AI 与新工作方式

传统软件是确定性的——要么对，要么错。AI 产品是概率性的，同一个输入这次对、下次错。所以你需要一套全新的"测试学"，这就是 evals。

Hamel Husain 和 Shreya Shankar 给出了最系统的方法论：一切从错误分析开始，而不是从搭指标仪表盘开始。先看真实输出、给失败模式打标签，再决定测什么。而这一簇最重要的分歧是时机——探索期该靠 vibes，收敛期才上正式 evals：过早建评估体系会把探索空间锁死。Kevin Weil 干脆说，写 evals 是 AI 时代 PM 的新核心技能。

AI 产品有个反复上演的剧本：demo 惊艳、上线即崩、故障链纠缠难追因、用户信任悄悄流失。这不是执行不力，而是团队还在用确定性软件的假设做非确定性的产品。

CC/CD 框架（致敬 CI/CD）给出解法：按"自主权等级"而非"功能"来切版本，让开发与校准形成持续循环。质量上，Marily Nika 的 MVQ（最小可交付质量）要求你明确三条线——可接受、惊艳、不可发布——并且这三条线的数值取决于战略语境，不是固定的。

2025-26 最热的主题。架构上记住三层栈：模型 / API / harness——重要能力必须跨层协同，光训个更强的模型不够。Boris Cherny 的建议很干脆：押注通用模型，别急着搭复杂编排器，给模型工具和目标就行。

安全是 agent 时代的必修课。Simon Willison 的"致命三角"是这里最该记住的一条：私有数据 + 不可信内容 + 对外通道三者同时存在，就构成 prompt injection 窃密的结构性风险——而且它目前无法被彻底根治，只能从某条边下手拆掉。

最反直觉、也最省事的一条：上下文 > 咒语。prompt 质量的主变量是你喂了多少上下文，不是措辞技巧。很多人对着一个空 prompt 反复雕字，其实该做的是把背景、约束、例子给足。

Sander Schulhoff 分析了 1500 多篇论文，提炼出真正有效的少数几个技巧，也点名了一批在 Twitter 上流传、但对现代模型其实无效的"迷信"。把模型当成一个零上下文的聪明陌生人来对待，比背诵咒语有用得多。

这一簇既有给工程师的纪律，也有给非技术背景者的进阶路径。工程侧，Simon Willison 主张用一句话触发整套测试纪律（红-绿 TDD），别让 agent 积累技术债；Benjamin Mann 的经验是敢于交付宏大任务、失败了就整体重试，而不是反复小修小补。

非技术背景的人不必怕。"Claude Code" 名字里的 Code 是历史包袱，它本质是一个能操作你本地文件的 agent。从 GPT 项目到 Bolt/Lovable 再到 Cursor，有一条循序渐进、每一步都建立在上一步信心之上的"暴露疗法"式进阶阶梯。

这是本域置信度最高的判断之一，四个独立来源指向同一结论：瓶颈从"写代码"转移到了"验证 / 评审 / 决策对齐"。当 Anthropic 工程师人均代码产出翻了约 8 倍，真正卡住你的不再是敲键盘。

管理范式随之改变：工程师越来越像"agent 舰队的管理者"，管理者该把大部分时间投给顶尖的少数人。路线图让位于即时规划，因为写完三个月就没人看了。招聘上，"有产品品味的工程师"比纠结 PM 还是工程师的身份标签更值钱。

从 10 人到 9 万人，落地 AI 的共性打法很清晰：靠习惯回路和"自上而下 + 自下而上"双轮驱动，不靠培训和口号。只喊"我们要成为 AI-first"、把使用率写进 KPI，员工照样不知道具体怎么用。

Jeetu Patel 讲了 Cisco 9 万人的转型，Block 用康威定律先改组织再谈技术，微软观察了 8 万家企业客户总结出三阶段路径。反复出现的坑是：把 AI 硬贴到已有产品上（bolt-on）、拿成熟产品的 KPI 去衡量早期项目、以及"一次性评估"必然低估 AI 价值——因为它是个移动的靶子。

几乎每个 AI 创业者都会被问这句话。这一簇给了五个一线 builder 各自的防御框架——Mike Krieger 的四向量、Peter Deng 的数据飞轮、Bret Taylor 的市场三段、Logan 的垂直/水平边界。它们侧重不同，该并列参考而非择一。

Michael Truell（Cursor）的洞察最清醒：在天花板极高、天天有人想弯道超车的赛道里，护城河的本质就是持续做最好的产品，而不是传统的锁定——这也解释了先发的 Copilot 为何掉队。宏观上，Benedict Evans 用"1997 年的互联网"给当下定位，帮你校准该下哪类判断、不该下哪类。

Bret Taylor 给了一个重要判断：按结果计价（outcome-based pricing）是软件商业模式的分水岭，不只是又一次功能升级。Intercom 的 Fin 把它落地成"每解决一个客服工单收 99 美分"——而且定价是从价值倒推，不是从成本正推（早期每单还亏钱，那是自己该消化的风险）。

更系统的选择见"五种变现策略"（基于 44 家公司的实证）：直接收费、涨价、还是先免费送出去积累数据，取决于用户覆盖率和付费意愿。

用 LLM 分析用户访谈、问卷这类定性数据时，它的输出永远显得很自信，但可能充满幻觉引语、伪洞察和错误结论——而且这些错误是隐形的，直到有人追问你答不上来。

Caitlin Sullivan 给了一整套防线：识别四种失败模式 → 做一遍验证 pass → 用规则核对引语（AI 会编造"客户原话"甚至把多处发言缝成"缝合怪"）。Shaun Clowes 的补充很实用：主动让 LLM 反驳你，而不是让它附和你已有的结论。

不需要成为研究员，但产品人该有的模型素养包括：分清预训练和后训练、SFT/RLHF/rubrics 这些数据类型各自在干什么，理解为什么模型能拿 IMO 金牌却解析不好一个 PDF（benchmark 可攀爬性偏差）。

前沿判断上，Benjamin Mann 的"经济图灵测试"给了变革性 AI 一个可操作的定义（能不能雇一个 agent 干满一个季度），而李飞飞直言"AGI 是营销术语而非科学术语"。这些判断影响你对择业、产品布局的长期押注。