1 历史背景
1.1 早期神经模型与感知机（1940–1960年代）
连接主义的思想根源可追溯至20世纪40年代。1943年，神经生理学家沃伦·麦卡洛克与数学家沃尔特·皮茨共同提出了第一个形式化的人工神经元模型（M-P模型），将生物神经元的“全或无”放电行为简化为逻辑运算。该模型奠定了神经网络计算的理论基础。1957年，弗兰克·罗森布拉特引入了感知机，这是一种能够通过监督学习进行分类的简单单层神经网络。感知机在当时引起了巨大轰动，被视为“学习机器”的代表，并被应用于字符识别等任务。然而，由于其结构限制，感知机仅能处理线性可分问题，对异或（XOR）这类非线性问题无能为力。
1.2 神经网络研究的寒冬（1960–1980年代）
1969年，马文·明斯基与西摩·帕珀特出版了《感知机》一书，从数学上严格证明了单层感知机的局限性，并指出多层网络在缺乏有效训练算法的情况下无法实用。这一结论对当时的主流研究造成沉重打击，加之政府和研究机构缩减经费，神经网络研究在接下来的十余年间进入低谷。这一时期被称为“AI寒冬”的第一波，只有少数研究者（如约翰·霍普菲尔德）在理论层面默默探索，为后来的复兴埋下伏笔。
1.3 反向传播算法与复兴（1980年代至今）
1986年，大卫·鲁梅尔哈特、杰弗里·辛顿与罗纳德·威廉姆斯在《自然》杂志上系统阐述了反向传播算法，将误差从输出层逐层向上传播，实现了多层神经网络的参数训练。这一突破使得神经网络能够解决此前无解的复杂非线性问题，连接主义研究由此全面复兴。随着计算能力的提升和数据量的增加，神经网络在1990年代至21世纪初不断演进，最终在2010年代引爆了深度学习革命。
2 核心理论基础
2.1 人工神经元与激活函数
2.1.1 线性阈值单元
人工神经元是连接主义的基本计算单元。线性阈值单元接收多个输入信号，每个信号乘以对应权重后求和，再将加权和与一个偏置值比较：若超过设定阈值，单元输出1，否则输出0。这种机制模拟了生物神经元“超过阈值则兴奋”的简单特性，但因其阶跃函数不可导，难以应用于梯度类学习算法。
2.1.2 Sigmoid与ReLU函数
为适应梯度下降训练，研究者引入了可导的非线性激活函数。Sigmoid函数将任意实数值映射到(0,1)区间，曲线平滑且处处可导，但在输入绝对值较大时会产生梯度饱和，导致训练缓慢。修正线性单元（ReLU）则为当前主流选择：当输入小于0时输出0，大于0时恒等输出。ReLU计算高效且能缓解梯度消失，但可能引发“神经元死亡”问题。后续又衍生出Leaky ReLU、ELU等变体。
2.2 网络拓扑结构
2.2.1 前馈神经网络
2.2.1.1 单层与多层感知机
前馈神经网络是最简单的拓扑结构，信息从输入层单向流动到输出层，层内无连接。单层感知机仅包含输入层和输出层，权重训练基于感知机学习规则，仅能处理线性分类。多层感知机（MLP）则引入一个或多个隐藏层，通过隐藏单元对输入进行非线性变换，大幅提升模型容量。理论上，具有足够宽隐藏层的MLP可以逼近任意连续函数，但训练稳定性仍需依赖反向传播。
2.2.2 循环神经网络
2.2.2.1 简单循环网络与长短期记忆（LSTM）
循环神经网络（RNN）在前馈结构基础上加入反馈连接，使网络具有“记忆”前序信息的能力，适合处理文本、语音、时间序列等序列数据。简单循环网络（SRN）通过隐藏层状态连接实现短期记忆，但面临长期依赖时的梯度消失或爆炸问题。长短期记忆（LSTM）网络于1997年由塞普·霍赫赖特与尤尔根·施密德胡伯提出，通过引入遗忘门、输入门和输出门，以及记忆细胞状态，有效解决了长期依赖的学习难题，成为序列建模的标杆架构。
2.3 学习算法
2.3.1 监督学习：反向传播与梯度下降
监督学习中，网络通过反向传播算法计算损失函数对各权重的梯度，再使用梯度下降（或其变体如动量法、Adam）更新权重，以最小化预测与真实标签之间的误差。这一过程反复迭代，直到模型收敛。梯度下降的批处理、小批量和随机版本各有优劣，现代深度学习几乎全部采用基于梯度的方法。
2.3.2 无监督学习：Hebbian学习与竞争学习
无监督学习无需标签，网络自行发现数据中的结构。Hebbian学习规则源于加拿大心理学家唐纳德·赫布的经典理论：“一起放电的神经元，连接更强”。在算法中，若两个神经元同时被激活，则它们之间的连接权重增强。竞争学习则采用“胜者全得”机制，多个神经元竞争响应输入，只有激活最强的神经元及其邻域获得权值调整，常用于聚类和特征提取。
2.3.3 强化学习中的连接主义方法
强化学习将连接主义应用于序贯决策问题。深度Q网络（DQN）使用深度神经网络作为Q函数逼近器，直接从高维状态（如游戏画面）中学习最优动作策略。策略梯度方法也依赖神经网络生成动作分布。连接主义使强化学习能处理传统表格法无法胜任的大规模或连续状态空间，但样本效率与稳定性仍有挑战。
3 与相关领域的关系
3.1 连接主义 vs. 符号主义
3.1.1 分布式表征 vs. 局部表征
符号主义强调知识的显式符号表示，每个概念对应一个局部符号；连接主义则采用分布式表征，概念由多个神经元上的激活模式共同表示。分布式表征具有容错性和泛化能力：部分神经元损坏不会彻底破坏概念，且相似概念激活相似的激活模式。但其代价是表征难以直接解释为人类可读的符号逻辑。
3.1.2 规则学习 vs. 联结权重调整
符号主义通过逻辑推理和明确的规则（如“如果A且B则C”）处理知识，规则可手动编写或自动归纳；连接主义则通过调整数万至数十亿的权重隐式地“学习”规则，输出由权重矩阵和激活函数共同决定，不显式维护任何逻辑表达式。这种差异导致连接主义在可解释性和知识编辑方面弱于符号主义，但在容错和感知类任务中表现更优。
3.2 连接主义 vs. 神经科学
3.2.1 生物学合理性与简化模型
连接主义模型深受神经科学启发，但并未完全复制生物神经回路。人工神经元是对真实神经元的高度简化：真实神经元包含树突、轴突、突触等多种复杂结构，且放电频率、神经递质调节等机制远超M-P模型。因此，连接主义通常被归为“受神经启发”的模型，而非严格的生物学模拟。
3.2.2 涌现与并行处理
连接主义的核心主张之一是：智能行为是大量简单单元并行交互中涌现出的宏观现象，这与大脑并行处理的特征一致。在人工神经网络中，复杂的模式识别、语言理解等能力并非通过中央控制器进行全局逻辑推导，而是通过神经元层级间的局部计算和信号传递实现。这种视角为认知科学提供了新的解释框架。
3.3 连接主义 vs. 深度学习
3.3.1 深度学习作为连接主义的新阶段
深度学习是连接主义在现代技术背景下的实际表现形式，泛指使用深层神经网络的机器学习方法。本质上，深度学习延续了连接主义的基本假设——大规模神经网络的分布式计算能够实现智能。但深度学习更强调层次化特征组合（低级特征逐层组合成高级抽象），并通过大规模数据和计算力实现了连接主义理论在1960年代无法达到的实用性能。
3.3.2 现代深层架构（卷积网络、Transformer）
卷积神经网络（CNN）利用卷积核共享权重，有效处理图像和空间数据；Transformer则通过自注意力机制捕获长距离依赖，取代了RNN在自然语言处理中的主导地位。这些架构虽未突破连接主义的基本框架，但在工程实现上引入了精巧的层间连接模式和注意力机制，使连接主义思想在高度工程化的深度学习体系中持续演进。
4 主要应用领域
4.1 模式识别与计算机视觉
连接主义模型在图像分类、目标检测、人脸识别、医学影像诊断等计算机视觉任务中占据主导地位。LeNet、AlexNet、ResNet等里程碑式CNN架构的逐步演进，使机器在ImageNet等基准测试中的错误率从30%以上降至低于人类水平。当前，视觉-语言模型（如CLIP）进一步融合多模态连接，使模型能同时理解图像与文本内容。
4.2 自然语言处理与序列建模
连接主义为自然语言处理（NLP）带来了颠覆性改变。从基于词向量的Word2Vec，到RNN、LSTM序列模型，再到以BERT、GPT为代表的Transformer预训练模型，神经网络能够捕捉词汇级与上下文级的语义关联。自动翻译、文本生成、情感分析、对话系统等任务均广泛使用基于连接主义的深度学习系统。
4.3 认知建模与心理学实验
4.3.1 语言习得与范畴化
连接主义模型被用于模拟儿童语言习得过程。如“联结主义模型”通过接触大量语料，无需显式语法规则即可在训练中自动发现动词过去时态的变化规律，模拟了儿童从“go→goed”到“go→went”的典型错误模式。在范畴化任务中，神经网络能够学习自然类别的典型特征，与现实心理学数据相匹配。
4.3.2 记忆与概念形成
清除式记忆、干扰性遗忘等认知现象可以通过神经网络模型（如Hopfield网络）进行数学上的模拟与分析。分布式表征允许模型以“碎片化”方式存储记忆，在部分线索下仍能重构完整模式，接近人类记忆的联想特性。概念形成则被视为激活模式的聚类与抽象化，为认知心理学中的原型理论提供了计算基础。
5 批评与局限性
5.1 缺乏可解释性（黑箱问题）
连接主义模型通常拥有百万乃至千亿级别参数，学习到的决策边界和内部表征高度非线性，对人类而言极难解读。这被称为“黑箱问题”。在医疗、金融、司法等高风险领域，模型是否公平、是否有潜在偏见、如何审查错误预测——这些可解释性需求与连接主义的本质特性存在矛盾。尽管研究者提出了Grad-CAM、SHAP等可视化与归因方法，但距离完全的透明解释仍有距离。
5.2 训练数据依赖与过拟合
连接主义模型高度依赖大规模、高质量标注数据来训练参数。数据不足或分布偏差会显著影响模型泛化能力，甚至导致“过拟合”现象（模型记住训练数据而非学习规律）。此外，对抗样本的存在进一步揭示了模型对数据中细微结构（人类无法察觉的像素扰动）的过度敏感，这暴露出连接主义在鲁棒性方面的缺陷。
5.3 未能完全模拟生物学细节
尽管连接主义以“大脑启发”自居，但其与真实神经生理机制存在显著差距。人工神经元的数学简化丢失了诸多生物学细节：真实突触具有复杂的化学传递、时间编码与可塑性机制；神经元间的脉冲时序依赖可塑性（STDP）机制与反向传播算法并不等价；生物神经记忆与遗忘的能耗约束也与人工网络截然不同。因此，连接主义目前更接近“工程有效”而非“生物真实”的认知模型。
6 未来展望
6.1 神经形态计算与硬件实现
为突破传统冯·诺依曼架构的“存储墙”瓶颈，研究人员正开发专用神经形态芯片（如IBM TrueNorth、Intel Loihi），在硬件层面直接模拟神经元和突触的并行运算与脉冲发放。这类芯片有望在极低功耗条件下运行连接主义模型，实现边缘设备上的实时推理与学习，同时为脑机接口等交叉领域提供技术支撑。
6.2 符号-连接混合系统
单靠纯粹的连接主义模型在符号推理、数学证明、常识问答等需要严格逻辑的任务上表现欠佳。符号-连接混合系统将符号主义的知识表示（如命题逻辑、本体库）与连接主义的学习能力相结合：神经网络负责低层感知与模式提取，符号推理引擎负责高层逻辑推理。例如，神经符号程序合成、图神经网络与逻辑规则协同学习等技术正在探索此类融合路径，有望提升AI在结构化任务上的可解释性与泛化性。
6.3 通用人工智能中的连接主义路径
连接主义被视为通往通用人工智能（AGI）的一条可能路径。以GPT-4为代表的大规模语言模型显现出初步的“常识推理”与“多任务迁移”能力，尽管其在因果理解与真实世界交互方面仍存在明显短板。未来，连接主义可能会与强化学习、世界模型、持续学习等框架深度结合，同时在更高的集成度下追求类人的认知通用性。当然，这一目标的实现仍需在计算架构、学习效率和理论基础三个维度取得突破性进展。