1 定义与基本概念
分布式表征（Distributed Representation）是认知科学、人工智能及神经网络领域中的一种信息编码方式，其核心思想是：一个概念或实体由多个基本处理单元（如神经元、特征维度）的激活模式共同表示，而非由单个单元独占编码。这种表示方法具有鲁棒性、泛化能力强及抗噪声等特性，与传统的“局部表征”（如独热编码）形成鲜明对比。在深度学习中，分布式表征是词向量、图像特征提取及多模态学习的基础，能够捕捉数据中的潜在语义和结构关系。
1.1 分布式表征的核心思想
分布式表征的核心在于“共同参与”：每个概念不再对应一个独立的、互斥的神经元或特征维度，而是由一组单元上的激活模式（即一组数值）来刻画。这些单元共同构成一个高维空间，每个概念在该空间中占据一个点或一个区域。例如，在词向量模型中，“猫”的表示不是由一个编号为“cat”的节点负责，而是由300个浮点数的向量共同描述，这些浮点数本身并无明确语义，但组合起来能反映“猫”与“狗”“宠物”“哺乳动物”等概念的相似关系。
1.2 与局部表征的对比
1.2.1 局部表征（Localist Representation）的特点
局部表征采用“一个单元代表一个概念”的方式，典型的如独热编码（One-Hot Encoding）：在一个N维向量中，只有第i维为1，其余为0，对应第i个概念。这种表示的优点是直观、易于解释，每个单元有明确的指代；缺点则是维数过高时稀疏性严重，且概念之间无法直接度量相似度（任意两个独热向量的夹角均为90度），难以推广到未见过的组合。
1.2.2 分布式表征的优势
分布式表征的优势体现在三方面：鲁棒性——即使部分单元失效或噪声干扰，剩余单元仍能维持相对完整的模式，不至于完全丢失信息；泛化性——相似的概念在向量空间中距离相近，模型能够将学到的知识迁移到新样本（如“国王”与“王后”的向量差与“男人”与“女人”的向量差近似）；可组合性——不同模式可以叠加或变换，用于表示更复杂的结构（如句子中词向量的顺序编码）。
1.3 关键术语：激活模式、权重与嵌入
- 激活模式（Activation Pattern）：指神经网络某一层中所有单元的输出值构成的向量。每个输入样本对应一组激活模式，该模式即样本的分布式表征。
- 权重（Weights）：神经网络中连接前后层的参数，决定了如何将输入信号转换为分布式表示。通过训练调整权重，模型能够学习到有效的激活模式。
- 嵌入（Embedding）：特指将离散的高维对象（如单词、用户ID、类别）映射到连续的低维向量空间的过程或结果。词嵌入、图嵌入等都是分布式表征的具体实现。
2 历史背景与发展
2.1 早期认知科学中的起源
分布式表征的思想可追溯到20世纪40—50年代的联结主义（Connectionism）理论。心理学家如Donald Hebb提出的“细胞集群”假说认为，大脑中一组神经元共同发放才能表征一个记忆或概念。这直接启发了后来的神经网络模型。
2.1.1 联想记忆与感知器模型
Frank Rosenblatt于1958年提出的感知器（Perceptron）是最早的雏形：输入层将特征分布于多个单元，输出层通过权重累加做出分类。然而单层感知器无法解决异或问题，导致其一度被冷落。同一时期，John Hopfield于1982年提出的Hopfield网络展示了分布式联想记忆的能力——通过能量最小化，网络能从部分模式恢复完整模式，体现了与大脑类似的鲁棒性。
2.1.2 神经网络复兴后的符号化尝试
20世纪80年代，Rumelhart、McClelland等人出版《并行分布式处理》（PDP）丛书，系统论证了分布式表征在模式识别、语言处理等任务中的可能性。然而符号学派（如Newell、Simon）坚持认为人类认知基于符号操作规则，分布式表征缺乏符号的离散性和明确语义。这场争论催生了“神经符号系统”的后续融合尝试。
2.2 现代深度学习中的演化
2.2.1 词嵌入（Word Embedding）的诞生
2003年，Bengio等人提出了神经概率语言模型，将每个单词映射为一个低维实数向量（即词嵌入），但训练效率较低。直到2013年，Mikolov等人发布Word2Vec工具，利用连续词袋（CBOW）和Skip-gram两种架构，极大提高了训练速度，使分布式词向量成为NLP领域的基础设施。其标志性成果是向量空间的语义规律，如“king - man + woman ≈ queen”。
2.2.2 从Word2Vec到BERT：分布式表征的进阶
Word2Vec的静态嵌入无法处理多义词问题。2018年，BERT（Bidirectional Encoder Representations from Transformers）采用深层Transformer架构，生成上下文相关的动态分布式表征：同一个单词“bank”在不同句子中的向量不同。此后，GPT系列、T5等模型进一步将分布式表征的规模扩展到百亿甚至千亿参数，推动自然语言处理进入预训练时代。
3 分布式表征的实现原理
3.1 神经网络的层级结构与分布式编码
神经网络通过多层非线性变换将原始输入逐步转化为高层次的分布式表征。每一层都由多个神经元组成，每个神经元的权重集合定义了其“感受野”，而所有神经元的激活组合构成了该层的分布式输出。
3.1.1 全连接层与非线性激活
全连接层将前一层的所有输出加权求和后通过激活函数（如ReLU、sigmoid）。每个神经元相当于一个特征检测器，但单个神经元不能完整表示一个概念，多个神经元共同响应才形成某种意义的模式。非线性激活引入的“压缩”与“门控”使得分布式表征具有非对称性和丰富的表达能力。
3.1.2 隐层单元的协同作用
隐层单元之间没有独立的意义，它们协同工作：一个隐层单元可能在多种概念的表示中被激活，而这种“多担当”正是分布式表征的精髓。例如，在图像分类网络中，隐层单元可能同时响应“边缘”和“纹理”，而最终类别由这些单元的组合模式决定，而非某一个单元的单独输出。
3.2 特征空间与相似度度量
分布式表征将对象映射到连续的向量空间中，形态上表现为高维流形上的点。设计合理的度量方式对于后续推理和检索至关重要。
3.2.1 距离衡量：欧氏距离与余弦相似度
- 欧氏距离衡量向量间的绝对距离，适用于向量模长对语义有意义的场景（如编码长度稳定的句向量）。
- 余弦相似度只考虑方向，忽略模长，常用于词向量比较（如“男人”与“女人”的夹角小于“男人”与“苹果”）。在自然语言处理中，归一化后的余弦相似度更鲁棒。
3.2.2 语义空间中的线性操作
分布式表征最引人注目的特性之一是向量空间中的线性关系能够对应语义关系。经典的例子如：vec(“巴黎”) - vec(“法国”) + vec(“德国”) ≈ vec(“柏林”)。这种操作表明，分布式表征的坐标轴虽然不直接对应可解释维度，但其整体结构以“方向”编码了类比信息。类似的操作还被用于视觉特征空间（如图像风格迁移）和知识图谱推理。
4 应用领域
4.1 自然语言处理
分布式表征是当代NLP的基石。通过将离散的词语、句子甚至文档映射为稠密向量，模型能够进行高效的下游任务。
4.1.1 词向量与句子编码
词向量（如Word2Vec、GloVe、ELMo）将词汇的语义和语法信息编码到固定维度向量中；句子编码器（如BERT、Sentence-BERT）则输出句级分布式表示，用于语义相似度计算、聚类或信息检索。许多搜索引擎使用句子嵌入进行语义匹配，代替传统的关键词匹配。
4.1.2 机器翻译与情感分析
机器翻译模型（如Transformer）将所有输入语言转换为上下文相关的分布式表征，再从这些表征解码为目标语言。情感分析中，基于词向量的模型可以捕捉“喜”“怒”等情感的细微差别，甚至识别出反讽——因为分布式表征能统计词与词之间的情感共现模式。
4.2 计算机视觉
4.2.1 图像特征分布式表示
卷积神经网络（CNN）通过逐层抽象，将像素级信息转换为高层语义特征图。全连接层前的特征向量是整张图像的分布式表征，它对目标的类别、姿态和背景进行联合编码。这种表示是实现图像分类（如ImageNet竞赛）和检索的基础。
4.2.2 目标检测与图像生成
目标检测模型（如YOLO、Faster R-CNN）在特征图上的每个位置生成数千个候选框的分布式描述；图像生成模型（如GAN的生成器）则从随机噪声的分布式表征出发，逐步映射为逼真的像素。风格迁移更是直接利用了分布式表征的“内容”与“风格”分离特性。
4.3 认知科学与脑科学
4.3.1 大脑神经元群体编码模型
分布式表征在认知科学中的重要对应是“群体编码”（Population Coding）。人类大脑中，一个物体（如一张脸）会激活大量视觉皮层的神经元，每个神经元只对特定特征（如边缘朝向、颜色）响应，组合起来形成物体的完整表征。这种编码天然具有鲁棒性——即使部分神经元损伤，感知也基本完整。
4.3.2 分布式表征与范畴化
大脑如何将不同物体归入同一范畴？分布式表征理论认为：同一范畴的成员在神经元激活空间的距离较近，从而形成聚类。神经影像学实验通过fMRI数据的多元模式分析（MVPA）证实，人脑在处理“工具”与“动物”类别时，视觉皮层和颞叶的激活模式存在明显差异，且能与机器学习学到的向量空间对应。
5 优势与局限
5.1 优势
5.1.1 鲁棒性与容错能力
由于信息分散在多个单元，局部损坏或噪声只导致表示轻微偏移，不会使整个概念丢失。在人工神经网络中，随机丢弃部分神经元（如Dropout）反而被视为正则化手段，能改善泛化。
5.1.2 泛化性能与迁移学习
分布式表征的低维性允许模型从少量样本中归纳出潜在规律，并应用到新数据。在预训练-微调范式中，通用分布式表征（如BERT的层输出）可以轻量迁移到多个任务，节省标注成本。
5.2 局限与挑战
5.2.1 可解释性差（“黑箱”问题）
分布式表征的每个维度缺乏直观语义，即使可视化高维空间的流形投影（如t-SNE），也难以明确解释“为什么这两个样本的向量接近”。这导致在医疗、法律等高风险领域的部署仍存疑虑。
5.2.2 维度灾难与计算成本
为了捕捉复杂关系，分布式表征的维度不可能太低（词向量通常100—1000维，图像特征则可达数千维）。过高的维度会带来存储和计算开销，并且当训练数据有限时容易过拟合。此外，大规模预训练模型如GPT-3包含1750亿参数，其分布式表征的规模意味着惊人的能耗。
6 与其他表征的对比
6.1 符号表征（Symbolic Representation）
符号表征使用离散的、语法化的符号（如“猫”“∧”“φ”）和逻辑规则来表示知识，具有明确的语义和可推理性。分布式表征则是连续的、统计的。二者互补：符号表征适合精确推理和可解释性，但面临知识获取瓶颈；分布式表征擅长模糊匹配和自动学习，但难以执行严格的符号操作。目前的趋势是将两者结合，如“神经符号系统”。
6.2 稀疏表征（Sparse Representation）
稀疏表征（如基于字典学习的编码）要求每个样本的激活模式中大部分维度为零，小部分非零。它与分布式表征并不互斥：分布式表征往往可以设计成稀疏的（例如使用稀疏自编码器）。但经典的分布式表征（如稠密词向量）几乎没有零值，强调非零单元共同作用；而稀疏表征强调高效压缩和去冗余，更接近生物神经元的“低发放率”特性。
6.3 组合表征（Compositional Representation）
组合表征强调通过规则（如句法树）将基本单元的表示组合成复杂结构的表示。分布式表征也支持组合：例如递归神经网络可以将词向量组合成短语向量。但组合表征更关注显式的递归结构，而分布式表征更依赖隐式学习到的组合函数（如注意力机制）。两者在语义理解领域常协同工作。
7 研究前沿与开放问题
7.1 可解释分布式表征
如何让分布式表征的每个维度或子空间关联到可理解的语义属性？研究者尝试使用“概念激活向量”、稀疏编码或神经元干预方法（如电路分析），试图揭开神经网络隐藏层的“黑箱”。但完全解构大型模型的目标仍遥不可及。
7.2 动态与层级分布式编码
现实世界中的概念是随时间动态变化的，且具有层级结构（如“动物”包含“猫”“狗”）。传统静态嵌入无法适应概念漂移。探索动态分布式表征（如基于时间卷积网络或神经差分方程）以及多层级的分布式编码（从像素到场景的层次）是当前热点。
7.3 与神经符号系统的融合
将符号推理的离散逻辑与分布式表征的连续学习结合，有望实现兼具可解释性与鲁棒性的强人工智能。例如，基于分布式表征的图神经网络（GNN）能进行知识推理，同时保留向量空间的泛化能力。如何设计高效的接口让符号操作与向量转换无缝衔接，是一个开放挑战。