赫布学习规则（Hebbian Learning Rule）是由加拿大心理学家唐纳德·赫布（Donald O. Hebb）在其1949年著作《行为的组织》中提出的一种神经可塑性理论。该规则的核心思想是：当两个神经元持续同时被激活时，它们之间的突触连接会增强，即“细胞一起放电，连接一起强化”（Cells that fire together, wire together）。它是神经网络无监督学习的重要基础，广泛应用于机器学习、神经科学和认知建模等领域，被视为解释学习和记忆的经典生物学原理。
1 历史背景与提出
1.1 唐纳德·赫布的生平与学术贡献
唐纳德·赫布（1904—1985）是加拿大著名的神经心理学家，早年受教于哈佛大学，后长期在麦吉尔大学任教。他的研究聚焦于脑损伤、智力发育与记忆机制，提出了“细胞集群”和“相位序列”等概念，为神经可塑性革命奠定了基础。赫布的工作将行为主义与神经解剖学桥接起来，推动了认知神经科学的形成。
1.2 《行为的组织》的出版与核心论点
《行为的组织》（*The Organization of Behavior*）于1949年出版。赫布在书中系统阐述了一个假设：学习过程通过突触强度的改变来实现，而突触的增强取决于突触前细胞与突触后细胞的同时激活。该假设后来被简称为赫布规则，为无监督学习提供了生物层面的理论依据。
1.3 早期实验验证与争议
由于当时缺乏直接测量突触活动的技术，赫布假设在提出后几十年内难以被严格验证。一些批评认为它过于简化，忽略了抑制性神经元的角色。直到20世纪70年代，随着长时程增强（LTP）现象在海兔及哺乳动物海马体中的发现，赫布规则才获得初步的实验支持。
2 基本数学表述
2.1 经典形式的权重更新公式
经典赫布规则的数学形式为：
\[ \Delta w_{ij} = \eta \cdot x_i \cdot y_j \]
其中，\( w_{ij} \) 表示第 \( i \) 个突触前神经元到第 \( j \) 个突触后神经元的连接权重，\( \eta \) 为学习率，\( x_i \) 为突触前活动，\( y_j \) 为突触后活动。此公式反映了连接强度的变化与两者活动的乘积成正比。
2.2 突触前与突触后活动的相关性
赫布规则本质上是一种相关性学习：权重变化率取决于突触前后活动的相关性。当两者同时为正时，权重增加；同时为负时，权重也可能降低；若两者符号相反，则变化方向取决于规则的具体实现。它通常被归类为无监督学习范式，因为学习信号完全来自输入数据的内在统计结构。
2.3 时间依赖可塑性的关系
2.3.1 与STDP（脉冲时间依赖可塑性）的异同
脉冲时间依赖可塑性（STDP）是赫布规则的一种精细化版本。STDP强调突触前后脉冲的先后顺序：若突触前细胞在突触后细胞之前激活，连接增强；相反顺序则导致连接减弱。这种不对称性比经典赫布规则更接近真实生物突触的动态。
2.3.2 赫布规则作为STDP的简化特例
当忽略脉冲的具体时间间隔，仅考虑“同时激活”的概念时，STDP可退化为经典赫布规则。因此，赫布规则被广泛视为STDP在连续时间或发散尺度上的简化近似，常用于理论分析与快速仿真。
3 赫布规则的类型与变体
3.1 经典赫布学习
经典赫布学习直接使用乘积形式的权重更新公式，无任何约束。这种规则会导致权重无限制增长（即稳定性问题），因此在实际应用中很少单独使用，更多作为理论起点。
3.2 协方差型赫布规则
协方差型规则将权重更新与神经元活动的偏离程度（相对于其自身平均活动）联系起来，公式为：
\[ \Delta w_{ij} = \eta \cdot (x_i - \bar{x}) \cdot (y_j - \bar{y}) \]
其中 \( \bar{x} \) 和 \( \bar{y} \) 分别是突触前后活动的平均值。该规则能够更好地捕捉活动模式的相对变化，从而提高学习的稳定性。
3.3 归一化赫布规则
3.3.1 Oja规则（学习规则中的“瘦身”版本）
Oja规则由芬兰学者Erkki Oja于1982年提出，其更新形式为：
\[ \Delta w_{ij} = \eta \cdot (y_j \cdot x_i - y_j^2 \cdot w_{ij}) \]
其中减去的项 \( y_j^2 \cdot w_{ij} \) 起到归一化作用，迫使权重向量趋于单位长度。该规则被形象地称为“瘦身”版本——在增大权重的同时强制“减肥”，以防止单个神经元过度响应。
3.3.2 其他带有突触竞争机制的变体
除Oja规则外，还存在其他归一化策略，如权重的L2范数约束或通过全局抑制实现突触竞争。这些变体在自组织特征映射（SOM）和稀疏编码模型中频繁出现。
3.4 反赫布学习（Anti-Hebbian Learning）
3.4.1 用于去相关和抑制性连接
反赫布学习是赫布规则的逆向过程：当突触前后活动相关性高时，权重减小；相关性低时，权重增大。它常用于降低神经元活动间的冗余或实现抑制性连接，从而增加网络的整体信息容量。
3.4.2 在平衡学习中的应用
在平衡态学习（如玻尔兹曼机训练）中，反赫布学习有助于维持兴奋与抑制的平衡，防止网络陷入饱和状态。它与赫布学习的结合可模拟生物神经回路中的侧向抑制机制。
4 在神经网络与机器学习中的应用
4.1 自组织特征映射（SOM）
自组织特征映射（SOM）由Teuvo Kohonen在20世纪80年代提出，其训练过程借鉴了赫布学习。在SOM中，权重向量向输入模式调整，同时相邻神经元受竞争性协作影响，形成低维拓扑映射，常用于数据聚类和可视化。
4.2 主成分分析（PCA）的神经实现
Oja规则可被用于在线提取数据的主成分。通过单神经元或级联的赫布学习网络，权重向量收敛到输入协方差矩阵的主特征向量方向，从而实现经典PCA的神经计算版本。
4.3 记忆网络与联想记忆
4.3.1 霍普菲尔德网络中的赫布存储
霍普菲尔德网络是一种循环神经网络，主要利用赫布规则来存储二值模式。具体而言，网络通过“外积和”的公式（即赫布型学习）设置连接权重，从而实现联想记忆——即使输入部分损坏，网络也能恢复完整模式。
4.3.2 双向联想记忆（BAM）
双向联想记忆（BAM）扩展了霍普菲尔德网络，允许在两个层之间进行双向的赫布学习。它可用于模式对之间的关联存储，在早期模式识别中有广泛应用。
4.4 深度学习的赫布灵感
4.4.1 无监督预训练的早期尝试
在深度学习兴起之前，赫布规则被用于无监督预训练策略，如深度信念网络（DBN）中的逐层贪婪训练。虽然现代深度网络主要依赖反向传播，但赫布学习提供的生物可解释性仍然吸引着研究者。
4.4.2 当代神经形态计算中的赫布电路
在硬件神经网络与神经形态芯片中，赫布规则因其简单性被用于实现片上学习。示例包括基于忆阻器和硅神经元的本地学习电路，这些设计尝试将赫布规则的局部性优势充分发挥。
5 神经科学中的实证与争议
5.1 海兔与长时程增强（LTP）的发现
1970年代，Eric Kandel在海兔（*Aplysia*）的缩鳃反射实验中首次发现了与赫布规则相符的长期突触改变。随后在海马体切片中发现的LTP进一步证实：高频率刺激突触前纤维可导致持续的突触强度增加，这与“同时激活”的预测完全一致。
5.2 突触标记与捕获假说
突触标记与捕获假说认为，一个突触被“标记”后，可捕获来自细胞体或树突的蛋白质合成产物，从而支持长时程的可塑性改变。这种机制与赫布规则中的局部活动共同参与记忆的稳固化，体现了生物系统的复杂性。
5.3 赫布规则的局限性与批评
5.3.1 稳定性与可塑性的困境
经典赫布学习缺乏稳定性约束，权重容易发散，这在生物系统中不可能存在。虽有Oja规则等变体予以补救，但简单的乘积形式仍难以处理现实世界中动态变化的输入分布。
5.3.2 生物突触的异质性与非对称性
实际生物突触并不遵循单一的乘积规则：突触前脉冲的时间顺序、神经调质的参与以及突触后受体的多样性都使得赫布规则只是一种粗略的近似。一些生物突触甚至表现出跳变或非线性动态，超出了简化描述的范畴。
6 趣闻与文化影响
6.1 “Firing together, wiring together”梗的传播
这句著名的短语“Cells that fire together, wire together”是赫布规则的通俗版本，由神经科学家Carla Shatz在1980年代推广。它在科普文章、大学课堂和网络论坛中广泛传播，常被用作解释神经可塑性的标志性提示。
6.2 在科幻作品中的借鉴（例如《黑客帝国》中的神经网络）
在《黑客帝国》系列中，人类连接的神经网络作为能量来源的设定，某种程度上借用了赫布式的连接增强概念。其他作品如《攻壳机动队》和科幻小说也偶有提及或隐喻该规则作为人工智能觉醒的底层逻辑。
6.3 开发者社区中的赫布规则表情包与调侃
在Stack Overflow、Reddit和X（原Twitter）的技术圈中，赫布规则经常出现在“用一句话解释深度学习”或“生物神经网络vs人工神经网络”的讨论中。程序员们制作表情包，将“fire together, wire together”与糟糕的编程习惯（如硬编码）并列，调侃规则的局部性与不可解释性。