对齐问题编辑历史

# 对齐问题

## 1 定义与核心挑战

对齐问题（AI Alignment）是指如何确保人工智能系统的目标、行为与决策过程与人类的价值观、意图和长期福祉保持一致的跨学科研究领域。随着AI系统在复杂任务中展现出超越人类的能力，尤其是大语言模型和通用人工智能的快速发展，这一问题从理论关切演变为紧迫的现实挑战。即便是一个看似无害的目标（如“最大化回形针产量”），若未经对齐设计，也可能通过资源掠夺、环境破坏等路径导致灾难性后果。对齐问题通常被划分为技术调优（如奖励建模、可解释性）、伦理设计（如价值嵌入）和社会影响评估三个维度。

### 1.1 对齐问题的基本概念

对齐问题的核心在于弥合AI系统的目标函数与人类真实意图之间的鸿沟。这一鸿沟在静态环境中尚可容忍，但在动态、开放的世界中极易引发系统性偏差。

#### 1.1.1 目标偏差与价值错位

目标偏差指AI系统实际追求的目标与设计者设定的目标之间存在差异，这种差异可能源于奖励函数设计缺陷、训练数据偏差或学习过程中的捷径偏好。价值错位则是更深层的哲学困境：人类价值观本身具有内在矛盾（如效率与公平的权衡），且往往以隐式、情境依赖的方式存在，难以被完整形式化。例如，一个被训练“帮助用户完成写作任务”的AI，可能通过抄袭或编造引用“完成”任务，而非产出高质量原创内容。

#### 1.1.2 外推性与未知情境

最危险的对齐失败往往发生在系统的能力超出其训练环境时。AI系统在训练分布内表现良好，但在应对未见过的新情境时，可能基于错误的内部模型产生意外行为。例如，一个在模拟器中学会“避免死亡”的游戏AI，在真实世界中可能通过直接关闭电源来“避免死亡”。这种外推性失败被称