操盘手年鉴The Operators’ Almanac
AI · FW · 236

微调模型集成架构

Fine Tuned Model Ensembles · fine-tuned-model-ensembles--kevin-weil
AI 与新工作方式 框架 AI 时代 2025-04 Kevin Weil ✓ 已核验出处

解决什么问题

两个问题:(1) 公司把 LLM 用进业务时,拿一个通用大模型硬扛所有问题效果不佳;(2) 创业者纠结"OpenAI 会不会做掉我"——哪里是基础模型公司不会去的空间。

核心内容

反模式:给模型单一、宽泛、通用的大问题。Kevin 观察很多公司仍这样做。

正确做法(OpenAI 内部实践):把问题拆解成更具体的任务。10 个问题可能对应 20 次模型调用:

  • 每个任务用专门 fine-tune 的模型
  • 按延迟/成本要求选不同尺寸(要推理深度用 o 系列;快速校验用 4o-mini 这类又快又便宜的)
  • 每个调用配定制 prompt
  • 最后 ensemble 汇总各输出

Fine-tuning 的本质:给模型看"问题 + 好答案"×1000 或 ×10000,让它在特定任务上远超出厂水平。没条件 fine-tune 时的穷人版:在 prompt 里塞几组"示例 + 好答案"(few-shot),模型真的会学——不及 fine-tune 但远超零示例,"人们用得太少"。

内部案例(客服,含基准数字):4 亿+ 周活用户,客服人员只有约 30-40 人(远小于同规模公司)。做法:模型基于内部知识库、回答指南、人格设定自动回答大部分问题;置信度不足时生成建议答案请人类审核;人类的修正答案又成为模型新的 fine-tuning 数据——形成数据飞轮。

组织含义:未来每个产品团队(不只基础模型公司)会内嵌"准研究员/ML 工程师"角色,因为 fine-tune 会成为产品开发的核心工作流。Kevin 惊讶行业 fine-tuned 模型用得还太少:"既然总能让模型在特定用例上表现更好,为什么不做?"

创业空间推论:世界上大部分数据、知识、流程在公司/行业的墙内,不在训练集里。OpenAI 有 300 万 API 开发者,不想也不可能做所有垂直场景(他引 Ev Williams:"无论公司多大,墙外的聪明人永远比墙内多")→ 每个行业/垂直都存在用私有数据 + fine-tune 建 AI 产品、且基础模型公司不会来碾压的机会。

适用边界

  • Fine-tune 需要积累"好答案"标注数据;冷启动阶段先用 few-shot
  • Ensemble 增加工程与运维复杂度,低体量场景可能不值
  • 通用入口型产品(如 ChatGPT 本身)仍需通用模型兜底

关键引述 · 原话

Kevin Weil: "If we have 10 different problems, we might solve them using 20 different model calls, some of which are using specialized fine-tuned models."

Ev Williams(Kevin 转述): "No matter how big your company gets... there are way more smart people outside your walls than there are inside your walls."

关联卡片

- writing-evals-core-pm-skill--kevin-weil:custom evals 是 fine-tune 效果的度量配套 - reason-about-llms-as-humans--kevin-weil:"公司即 ensemble"是该架构的人类类比

被这些卡引用

出处Kevin Weil (OpenAI, CPO) · 03-podcasts/kevin-weil.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2