AI · BM · 096
后训练经济学30B门槛
Post Training Economics 30b Threshold · post-training-economics-30b-threshold--asha-sharma
所属簇 AI 商业策略与护城河
解决什么问题
企业/团队在纠结"该自己从零训练模型，还是拿现成模型做后训练/微调"时，缺一个经济学上的判断依据。这是作者引用的行业研究结论加上她自己的行业观察，用来判断投资该往哪个环节倾斜。
核心内容
- 关键阈值：Nathan Lambert（引用自其研究）对各大榜单模型的研究发现，一旦模型规模达到约 300 亿参数，把大量预算和 tokens 砸进预训练（pre-training）在经济上就不再划算，此时更应该把资源投入到"训练后优化循环"（post-training / RL / fine-tuning）上。
- 行业现状：据调查，约 50% 的开发者目前正在做微调（fine-tuning）；作者判断这个比例还会上升——因为模型太多、太好（"explosion of models"），继续自建基础模型的边际收益越来越低，而拿现成模型针对具体结果（价格/性能/质量）去调优，能获得更高的经济杠杆和"品味杠杆"（taste leverage，即按自己想要的方向去驾驭模型）。
- 由此推出的资源分配预测：作者的判断是"未来花在后训练上的钱会和预训练一样多，甚至更多"——这意味着一整套围绕后训练/RL 的新基础设施、新平台、新公司会围绕这一层被建立起来。
- 对应的产品技术选择：这也是为什么作者本人更倾向"model system"（多模型并用，按任务选型）而非押注单一模型——模型足够多、足够好之后，"选对模型 + 后训练调优"比"自建或死守单一模型"更具性价比。
适用边界
- 300 亿参数这个阈值来自单一外部研究（Nathan Lambert），作者转述时用词是"as of this year"，即时效性很强，且未给出该研究的具体方法论细节，使用时应视为方向性参考而非精确的工程决策线。
- 这个结论主要适用于"已经有能力接入至少一个强基础模型"的团队；对试图从零打造基础模型能力的少数前沿实验室，逻辑不一定成立。
关键引述 · 原话
"Once a model hits 30 billion parameters, the CapEx to actually train a model and put billions of tokens into a pre-run doesn't economically make sense and you can start to optimize on the loop." — Asha Sharma（转述 Nathan Lambert 的研究）
"I believe we will see just as much money spent on post-training as we will on pre-training and in the future, more on post-training." — Asha Sharma
关联卡片
- 与 `product-as-organism--asha-sharma.md` 中"后训练循环让产品变成有机体"是同一技术判断的两种表达 - 与 `prompting-replaces-post-training--robby-stein.md` 形成对照观点，可放在一起比较不同从业者对"后训练是否是下一阶段重点"的分歧看法
被这些卡引用
出处：Asha Sharma (CVP of AI Platform at Microsoft) · 03-podcasts/asha-sharma.md
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验
提炼自 Lenny Rachitsky 的 Lenny’s Newsletter & Podcast（2019–2026）。本站为个人学习用途的二次创作，与 Lenny’s Newsletter 无官方关联。
provenance · 已核验