AI 产品 CCCD 框架

右环：Continuous Development

1. 圈定能力范围、策划数据集（预期输入 + 预期输出）——这一步常暴露团队对"产品该怎么表现"根本没对齐，PM 和领域专家（SME）在此贡献最大；
2. 搭建应用；
3. 设计评估指标（作者刻意说 evaluation metrics 而非 evals：评估是过程，指标是维度）；
4. 部署并跑指标。

左环：Continuous Calibration

5. 分析真实行为，找出设计时没预料到的模式（数据集永远不够全，用户总会用你没想到的方式用系统）；
6. 修复问题：一次性的 spot error（如工具定义不清导致的调用错误）修完即走；涌现的失败模式才值得新建评估指标；
7. 回灌数据集与指标，进入下一轮。

贯穿两环的自主性阶梯：早期迭代低 agency、高控制，逐版本放权。客服示例：V1 只做路由（错了人能撤销；顺带暴露企业脏乱的分类树与数据债）→ V2 Copilot 按 SOP 生成草稿、人改后发送（记录人类的采纳/修改 = 免费的 error analysis）→ V3 端到端解决工单。约束自主性的维度可选：按动作数量、按话题风险（保险预授权：验血/MRI 可自动批，侵入性手术必须人审）、按问题复杂度。

升级判据：minimizing surprise——每 1-2 天校准一次，若连续不再出现新的数据分布/新行为模式，信息增益趋近于零，就可以升到下一级。

重新校准的触发器：换模型（如 4o 退役迁到 5，性质完全不同）；用户行为进化（用户信任上升后开始问更深的问题——银行核保系统上线三个月后，用户从查政策升级为"丢整份申请问'类似案子以前的核保员怎么处理'"，对用户是自然延伸，对构建者是完全不同的系统）。