微调模型集成架构
解决什么问题
两个问题:(1) 公司把 LLM 用进业务时,拿一个通用大模型硬扛所有问题效果不佳;(2) 创业者纠结"OpenAI 会不会做掉我"——哪里是基础模型公司不会去的空间。
核心内容
反模式:给模型单一、宽泛、通用的大问题。Kevin 观察很多公司仍这样做。
正确做法(OpenAI 内部实践):把问题拆解成更具体的任务。10 个问题可能对应 20 次模型调用:
- 每个任务用专门 fine-tune 的模型
- 按延迟/成本要求选不同尺寸(要推理深度用 o 系列;快速校验用 4o-mini 这类又快又便宜的)
- 每个调用配定制 prompt
- 最后 ensemble 汇总各输出
Fine-tuning 的本质:给模型看"问题 + 好答案"×1000 或 ×10000,让它在特定任务上远超出厂水平。没条件 fine-tune 时的穷人版:在 prompt 里塞几组"示例 + 好答案"(few-shot),模型真的会学——不及 fine-tune 但远超零示例,"人们用得太少"。
内部案例(客服,含基准数字):4 亿+ 周活用户,客服人员只有约 30-40 人(远小于同规模公司)。做法:模型基于内部知识库、回答指南、人格设定自动回答大部分问题;置信度不足时生成建议答案请人类审核;人类的修正答案又成为模型新的 fine-tuning 数据——形成数据飞轮。
组织含义:未来每个产品团队(不只基础模型公司)会内嵌"准研究员/ML 工程师"角色,因为 fine-tune 会成为产品开发的核心工作流。Kevin 惊讶行业 fine-tuned 模型用得还太少:"既然总能让模型在特定用例上表现更好,为什么不做?"
创业空间推论:世界上大部分数据、知识、流程在公司/行业的墙内,不在训练集里。OpenAI 有 300 万 API 开发者,不想也不可能做所有垂直场景(他引 Ev Williams:"无论公司多大,墙外的聪明人永远比墙内多")→ 每个行业/垂直都存在用私有数据 + fine-tune 建 AI 产品、且基础模型公司不会来碾压的机会。
适用边界
- Fine-tune 需要积累"好答案"标注数据;冷启动阶段先用 few-shot
- Ensemble 增加工程与运维复杂度,低体量场景可能不值
- 通用入口型产品(如 ChatGPT 本身)仍需通用模型兜底
关键引述 · 原话
Kevin Weil: "If we have 10 different problems, we might solve them using 20 different model calls, some of which are using specialized fine-tuned models."
Ev Williams(Kevin 转述): "No matter how big your company gets... there are way more smart people outside your walls than there are inside your walls."
关联卡片
- writing-evals-core-pm-skill--kevin-weil:custom evals 是 fine-tune 效果的度量配套 - reason-about-llms-as-humans--kevin-weil:"公司即 ensemble"是该架构的人类类比
被这些卡引用
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast(2019–2026)。本站为个人学习用途的二次创作,与 Lenny’s Newsletter 无官方关联。
provenance · 已核验 · glm-5.2