贝叶斯优化编辑历史

# 贝叶斯优化

## 1 背景与动机

### 1.1 黑箱优化的挑战

在许多工程与科研场景中，目标函数往往无法通过解析表达式获得，也无法直接获取梯度信息，只能通过输入点评估得到输出值。这类函数被称为“黑箱函数”。黑箱优化面临的核心挑战是：无法利用梯度下降等经典方法；函数可能具有多峰、非凸、不连续等复杂形态；评估一次需要消耗大量时间或资源（如训练一个大型深度学习模型、进行一次物理实验）。传统方法如网格搜索、随机搜索在低维空间尚可接受，但面对高维或昂贵评估时效率极低。

### 1.2 昂贵评估场景的定义

“昂贵评估”指每次对目标函数的查询都需要付出显著代价，例如：训练一次神经网络需数小时、进行一次材料合成实验需数天、运行一次CFD模拟需数千核时。在这种场景下，优化的核心目标转变为“在尽可能少的评估次数内找到接近全局最优的解”，而非追求无穷尽的精确收敛。贝叶斯优化正是为此类场景设计。

### 1.3 与网格搜索、随机搜索的对比

- **网格搜索**：在参数空间中均匀采样固定点。维度高时点数指数增长（维度诅咒），且浪费大量资源在非优区域。
- **随机搜索**：随机采样，虽分布稀疏但能覆盖边界，理论保证随采样数增加收敛到最优，但收敛速率慢。
- **贝叶斯优化**：利用历史评估结果构建概率模型，智能选择下一个最有潜力的评估点，在相同评估次数下通常取得更好的结果。实践表明，在典型超参数调优任务上，贝叶斯优化常比随机搜索快10倍以上。

## 2 数学基础

### 2.1 高斯过程（GP）

高斯过程（Gaussian Process, GP）是贝叶斯优化最常用的概率代理模型。它是一个随机过程，任意有限个点的函数值服从联合高斯分布。GP由均值函数 \( m(x) \) 和