模型技术素养（给产品人的）
†ai-post-training-data-taxonomy（SFT/RLHF/trajectories/rubrics 地图）、post-training-evolution-ladder、post-training-infinite-tasks-no-data-wall、generalist-to-expert-labeling-shift（时薪 30→95-500 美元）、expert-labor-pareto-and-pay-benchmark、quality-as-two-sided-signal、benchmark-hillclimbing-gap（IMO 金牌但解析不好 PDF）、benchmarks-overstate-autonomy、engagement-optimized-ai-slop-risk、constitutional-ai-self-critique-loop、model-embodiment-confusion、chatbot-two-failure-roots、rag-data-preparation-techniques、context-stuffing-rag-pattern（2023 早期视角）、ai-value-is-data-management、ml-data-volume-heuristic-benchmark。
AI 后训练数据分类法AI Post Training Data Taxonomy
"数据标注""RLHF""SFT""RL 环境""rubrics"这些词经常被混着用,外行(甚至很多从业者)搞不清它们各自在模型训练流程里的位置。这个思维模型给出一张清晰的地图,帮你判断"我们公司的数据业务/需求到底属于哪一类"。
后训练演化阶梯Post Training Evolution Ladder
理清"post-training"这个词到底包含哪些具体技术阶段、各自解决什么问题，以及"为什么现在又冒出一个新词叫 RL environments"——给不熟悉训练细节的人一个可以对照人类学习方式理解的地图。
后训练无限任务无数据墙Post Training Infinite Tasks No Data Wall
"模型会因为数据耗尽而停止变强"是一个广泛流传的担忧。这个模型解释为什么这个担忧主要只适用于预训练阶段,而后训练阶段有一条完全不同的扩展逻辑,并指出真正的瓶颈其实转移到了别处。
通才到专家标注转型Generalist To Expert Labeling Shift
"数据标注"这个市场几年内发生了根本性转向,理解这个转向能帮你判断:你要进入或投资的数据/人才服务生意,到底该往"低成本规模化"方向做,还是往"高端专家网络"方向做。
专家人才二八薪酬基准Expert Labor Pareto And Pay Benchmark
在为 AI 实验室组建专家数据团队时,该按"人多"思路铺量,还是按"找到最强 10%"思路精选?这条基准给出具体数字和一个二八法则式的判断依据。
质量双向信号Quality As Two Sided Signal
给 AI 训练数据/输出定义"质量"时，团队很容易退化成"打勾清单"式的肤浅标准（是不是一首诗、有没有八行、有没有出现"月亮"这个词），导致训练出来的模型行为平庸、可预测但不出色。需要一个更接近人类真实判断力的质量框架。
Benchmark 爬坡鸿沟Benchmark Hillclimbing Gap
解释一个反直觉的现象：为什么模型能拿 IMO（国际数学奥赛）金牌，却依然在解析 PDF 这种"简单"任务上频繁出错？以及为什么"benchmark 分数持续上涨"不能简单等同于"模型在变得更有用"。
基准高估自主性效应Benchmarks Overstate Autonomy
如何正确解读"AI 已达到 X 小时自主工作 / 追平人类工程师"这类 benchmark 新闻，避免据此高估自动化、错判用人策略。
互动优化与 AI 垃圾风险Engagement Optimized AI Slop Risk
判断一个前沿实验室的模型训练方向是否正在"跑偏"——即是否正在重复社交媒体行业当年"优化engagement导致内容劣质化"的老路，而这次的载体是聊天模型而非信息流。
宪法 AI 自我批判循环Constitutional AI Self Critique Loop
传统对齐模型价值观的方式依赖大量人工标注员(RLHF),既慢又不可扩展,而且价值观标准最终取决于"你恰好招到了什么样的标注员"。如何让一个AI模型的价值观有据可依、可公开、可规模化地"自我修正",而不完全依赖人工打分?
模型具身混淆Model Embodiment Confusion
模型有时会莫名其妙地拒绝一个它明明有能力完成的功能性请求(过度拒绝),这条反直觉的解释揭示了一个具体、可定位的根因,而不是笼统归结为"对齐没做好"。
LLM 幻觉双根因诊断Chatbot Two Failure Roots
诊断"为什么我的 LLM 应用在自信地胡说"——分清是模型倾向问题还是数据缺失问题，才能选对修复手段。
RAG数据准备技巧RAG Data Preparation Techniques
RAG（检索增强生成）应用效果不好时，该往哪里投入精力提升——她的核心主张是：多数公司 RAG 效果的最大瓶颈来自数据准备，而不是向量数据库选型。
上下文填充 RAG 模式Context Stuffing RAG Pattern
想让 LLM 基于它没被训练过的私有语料（付费 newsletter 存档、内部文档）准确答题，而不是自信地编造。这是 2023 年初对后来被称为 RAG 的模式最早的大众化教程之一。
AI 产品即数据管理AI Value Is Data Management
团队做 AI 产品时把注意力全放在模型和 prompt 上（"接个模型、搭个小 pipeline 灌点数据就行"），结果长期陷在效果差的泥潭里。Shaun 的 hot take：AI 对产品的最大影响是**数据管理**。
ML 数据量启发基准Ml Data Volume Heuristic Benchmark
判断一个团队手上的数据量，够不够支撑训练出一个有用的机器学习模型；不同任务类型对数据量的要求差异有多大。