AI · BM · 462
Cognition Agent 用量基准
Cognition Agent Usage Benchmarks · cognition-agent-usage-benchmarks--scott-wu
所属簇 AI 时代的工程组织与管理
解决什么问题
想知道一个 agent-heavy 工程团队"长什么样"时的具体参照数：团队规模、人均 agent 数、agent 产出占比及其增长斜率。
核心内容
Cognition 内部使用 Devin 开发 Devin 的数据（2025-09 时点）：
- 工程团队约 15 人（全公司 26-27 人，其中 18 人此前创过业）。
- 人均同时带最多约 5 个 Devin，全部异步运行（5 倍于工程师人数的 agent 数）。
- Devin 每月向 Devin 生产代码库合并数百个 PR。
- Devin 产出的 PR 占全部 PR 约 1/4，且是从半年前低得多的水平指数增长上来的；预计 2025 年底超过 50%。
- 能力演进的粗略类比：2024 年 3 月发布时 ≈ 高中 CS 学生 → 大学实习生 → 2025 年 ≈ 初级工程师。但 Scott 强调更准确的描述是 jagged intelligence（锯齿状智能）：某些方面远超人类（如对大型代码库的检索理解，接近 staff 工程师），某些方面远差于人类。
- 时间线参照：2023-11 hackathon 起步 → 2024-01 成立公司 → 2024-03 发布 → 2024-12 开放自助服务 → 2025 年中 Devin 2.0。
适用边界
- 数据来自做 agent 的公司自己 dogfooding，是最极端的领先样本，不代表普通团队当下水平，更适合当"天花板/先行指标"。
- "PR 占比"不等于工作量或价值占比；PR 大小与复杂度未披露。
关键引述 · 原话
"Devin merges like several hundred pull requests into production in the Devin code bases every month... it's in the neighborhood of a quarter [of all PRs], and we expect it to be a decent bit more than half by the end of the year." — Scott Wu
— Scott Wu
关联卡片
- 工作流细节见 `agent-team-adoption-playbook--scott-wu`。 - jagged intelligence 概念可作为评估任何 agent 能力时的通用提醒。
被这些卡引用
出处：Scott Wu (Cognition CEO) · 03-podcasts/scott-wu.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验