AI 后训练数据分类法

训练一个模型分两大阶段:

1. 预训练(pre-training):把互联网上几乎全部的人类知识(文本、视频、书籍)喂给模型。这个阶段带来的能力提升大约在 18-24 个月前开始出现边际递减(互联网知识已经被"吸干")。
2. 后训练(post-training):增益的重心已转移到这里,核心是针对模型关心的每个能力领域(编程、数学、法律、金融……)收集能让模型变得更好的高质量数据。后训练的工作方式很像科学实验:研究员提出一个假设,收集小批量数据验证,假设成立就扩大数据采集规模。

后训练内部的数据类型:

• SFT(supervised fine-tuning,监督微调):prompt-response 输入输出对,经典意义上的"微调"。
• RLHF(reinforcement learning from human feedback):本质是偏好排序数据——给模型两个回答,人来选哪个更好。
• Trajectories(轨迹数据):记录人完成一个任务的全过程——屏幕、鼠标、语音讲解、遇到障碍时怎么处理——用于教模型端到端完成像订机票、财务全流程、生物实验这类多步骤任务。
• Rubrics(评分标准,用作 model-as-judge):在没有标准答案的非可验证领域(如教育设计、创意写作),专家写出"什么是好答案"的评分标准,让另一个模型充当裁判自动打分,这样就能规模化评估原本主观的产出。

模型公司衡量数据供应商时最看重三件事,按顺序:质量优先(错误数据比没有数据更糟,如同教错学生)、规模/数量(能否在最前沿领域大量产出)、速度(实验室同时在跑多个假设管线,能在几天内看到某条管线是否显效,决定加码还是砍掉,供应商必须跟上这个节奏)。