合成数据原型制作手册

以 OpenAI Canvas 项目为例,团队总结出的具体步骤:

1. 先把要教的行为拆解成几个具体、可判断的核心行为。Canvas 归纳出三条:(a) 什么时候该触发 Canvas(比如"写一篇长文章"应该触发,"介绍一下总统"这种问答不该触发);(b) 用户要求修改文档时,模型该如何定位并编辑具体段落(是整篇重写还是精准定点编辑,团队最初偏向整篇重写因为质量更高,后续再依据真实反馈调整);(c) 模型该如何对文档做恰当的评论/批注。
2. 用强模型自己生成训练所需的合成对话。具体做法是用 o1 模型扮演"用户"提出请求(比如"写一篇关于 XYZ 的文档"),再注入"请对你刚写的东西提出评论/批评"这样的后续指令,让模型自己生成"用户请求 → 模型产出 → 模型自评"的完整合成轨迹。
3. 为每条核心行为建立可判断对错的 eval,用作训练的衡量基准:例如"这段对话该不该触发 Canvas"就是一个有明确 ground-truth 标签的判定性 eval;"预约提醒"这类功能则要求模型提取的时间精确到分钟量级的确定性 eval(如用户说晚上 7 点,模型必须原样识别为 19:00)。
4. 用合成数据训练后,用真实 beta 用户反馈修正合成数据的分布偏差。从 beta 到 GA(正式发布)阶段,团队根据早期用户的实际使用模式,调整合成数据集里各类场景的比例配置,使其更贴近真实分布。
5. 两类 eval 方法并用:一类是确定性判断(pass/fail,比如触发与否、时间提取对不对);另一类是人类评估(win rate)——给同一个 prompt 生成多个模型的回答,由人挑出哪个质量更高,随着新模型迭代持续对比胜率。