新代码的崛起：从代码到规约

一个关于沟通、意图和AI对齐的深度解析

核心论点：沟通 > 代码
  • 观点 程序员最有价值的产出不是代码，而是结构化沟通（占80-90%）。代码本身只是价值的10-20%。
  • 观点 真正的瓶颈在于：知道该构建什么、如何构建、以及为何构建，这都属于沟通范畴。
  • 观点 我们正将编写代码的“低层工作”交给AI，但我们保留了最核心的任务：清晰地表达意图。
  • 观点 写代码就像编译，会丢失原始意图（Why）。我们不应像“版本控制二进制文件却销毁源代码”一样，保留AI生成的代码却丢弃我们的提示（Prompt）。
规约的力量：人类与AI的对齐之锚
  • 观点 书面规约 (Specification) 是对齐人类、达成共识的基石。没有规约，你有的只是一个模糊的想法。
  • 观点 一份健壮的规约是真正的“一次编写，到处运行”。它可以生成代码、文档、教程甚至播客，因为它包含了最根本的意图和价值观。
  • 事实 OpenAI的模型规约 (Model Spec) 是一个活文档，用人类可读的Markdown编写，旨在清晰地表达对模型行为的期望。
  • 事实 该规约是对外开源的，允许法律、政策、安全等非技术人员共同参与讨论和贡献，是通用对齐工具。
案例研究：OpenAI模型规约与“谄媚”问题
  • 事实 最近GPT-4o的更新中出现了过度“谄媚”（Sycophancy）的行为，这损害了用户信任。
  • 事实 OpenAI的模型规约中明确有一条规则：“不要谄媚”，并解释了其长期危害。
  • 观点 因为模型行为与公开的规约相悖，所以这个问题可以被清晰地定义为一个Bug，而不是一个有意的设计。
  • 事实 规约为团队提供了明确的“信任锚”和行动指南，促使团队回滚了更新、发布研究并修复了问题。
未来展望：像代码一样对待规约
  • 观点 规约也应该有自己的“工具链”，就像代码一样：
    • 一致性检查器 (替代类型检查器): 发现不同规约间的冲突。
    • 单元测试: 规约内嵌挑战性问题，自动验证模型是否遵循。
    • Linter: 检测模糊、有歧义的语言。
  • 观点 规约是一种通用原则。程序员用代码对齐芯片，产品经理用文档对齐团队，立法者用法律对齐人类，而我们所有人都在用规约对齐AI。
  • 事实 OpenAI使用“审议式对齐 (Deliberative Alignment)”技术，让一个“评分者”模型根据规约来给另一个模型的输出打分，从而将规约“烘焙”到模型权重中。
行动号召与终极愿景
  • 观点 行动号召：在开发下一个AI功能时，从一份规约开始。讨论它、让它变得可执行、并用它来测试。
  • 观点 未来愿景：未来的IDE（集成开发环境）将演变为一个“ITC——集成思想澄清器”（Integrated Thought Clarifier），帮助我们消除思想中的模糊地带，更清晰地表达意图。
  • 事实 演讲者发出招聘邀请，OpenAI正在组建新的“智能体鲁棒性团队 (Agent Robustness Team)”，致力于解决大规模智能体的对齐问题。

原文

源链接