感知机（Perceptron）是人工智能和机器学习领域最早的神经网络学习算法之一，由弗兰克·罗森布拉特（Frank Rosenblatt）于1957年提出。它是一种二分类线性模型，能够通过监督学习自动调整权重，将输入样本分为两类。感知机是单层神经网络的原型，为后续更复杂的多层神经网络（如多层感知机）奠定了理论基础。尽管其表达能力有限（仅能解决线性可分问题），但在机器学习发展史上具有里程碑意义，并至今在入门教学中占据重要地位。
1.1 提出者与时间
感知机由美国心理学家弗兰克·罗森布拉特于1957年在康奈尔航空实验室提出。他于1958年发表了题为《感知机：一种概率模型用于信息存储和组织》的论文，正式将这一模型公之于众。
1.2 早期神经网络思想的起源
感知机的思想可追溯至20世纪40年代。1943年，沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）提出了“M-P神经元”模型，用简单的逻辑门模拟生物神经元。1950年代，唐纳德·赫布（Donald Hebb）提出了“赫布学习规则”，认为神经元连接强度随共同激活而增强。罗森布拉特受此启发，将M-P神经元与学习规则结合，设计出可自动调整权重的感知机。
1.3 感知机热潮与争议
感知机问世后迅速引发轰动，美国军方和媒体将其宣传为“会学习的机器”。罗森布拉特甚至建造了专用的硬件“Mark I 感知机”。然而，1969年马文·明斯基（Marvin Minsky）和西摩·派珀特（Seymour Papert）出版《感知机》一书，严格证明了单层感知机无法解决异或（XOR）等线性不可分问题，导致研究资金骤减，神经网络的“第一次寒冬”随之来临。
2.1 基本结构
2.1.1 输入层与权重
感知机接收一个n维输入向量 \( \mathbf{x} = (x_1, x_2, \ldots, x_n) \)，每个输入对应一个可学习的权重 \( w_i \)。输入与权重线性组合后进入激活函数。
2.1.2 激活函数（阶跃函数）
感知机使用阶跃函数（step function）作为激活函数，通常定义为： \[ f(z) = \begin{cases} 1 & \text{if } z \ge 0 \\ -1 \text{ (或 0)} & \text{otherwise} \end{cases} \] 其中 \( z = \sum_{i=1}^n w_i x_i + b \)。该函数输出离散的类别标签。
2.1.3 偏置项
偏置项 \( b \) 是一个可学习的参数，相当于在输入中增加一个恒为1的特征，其权重为 \( w_0 = b \)。偏置允许决策平面不局限于原点。
2.2 学习过程
2.2.1 梯度下降思想
感知机采用随机梯度下降（SGD）的精神，但由于阶跃函数不可导，实际使用误分类驱动的更新规则，每次根据误分类样本调整权重。
2.2.2 权重更新规则
对于每个误分类样本 \( (\mathbf{x}, y) \)，其中真实标签 \( y \in \{+1, -1\} \)，预测 \( \hat{y} = f(\mathbf{w} \cdot \mathbf{x} + b) \)，权重和偏置按以下方式更新： \[ \mathbf{w} \leftarrow \mathbf{w} + \eta \cdot y \cdot \mathbf{x}, \quad b \leftarrow b + \eta \cdot y \] 其中 \( \eta \) 是学习率（通常设为1）。该规则迫使权重向能够正确分类该样本的方向调整。
2.2.3 收敛性证明（感知机收敛定理）
罗森布拉特证明了感知机收敛定理：若训练数据线性可分，则感知机算法在有限步内必然收敛到一个能够完全正确分类的解。该定理为感知机提供了理论保障，但未给出收敛所需的具体步数上界。
3.1 线性可分假设
感知机工作的前提是训练数据线性可分，即存在一个超平面能够将两类样本完全分开。若数据不满足该条件，算法将永不停止震荡。
3.2 决策边界（超平面）
决策边界由方程 \( \mathbf{w} \cdot \mathbf{x} + b = 0 \) 定义，这是一个n维空间中的超平面。平面一侧的点被分类为正类，另一侧为负类。
3.3 损失函数
3.3.1 误分类点距离
感知机的损失函数定义为所有误分类点到决策超平面的距离之和（忽略常数因子）： \[ L(\mathbf{w}, b) = -\sum_{\mathbf{x} \in M} y (\mathbf{w} \cdot \mathbf{x} + b) \] 其中 \( M \) 是误分类点集合。该损失函数非负，且当无误分类点时达到最小值0。
3.3.2 随机梯度下降实现
由于损失函数对 \( \mathbf{w}, b \) 可导（除了在误分类点具体形式为线性），采用随机梯度下降时，每次随机选取一个误分类点，计算梯度 \( \nabla L = (-y\mathbf{x}, -y) \)，并沿负梯度方向更新参数，恰好得到权值更新规则。
4.1 异或（XOR）问题
异或函数（XOR）的真值表为：(0,0)→0, (0,1)→1, (1,0)→1, (1,1)→0。该函数在二维空间中无法用一条直线划分，单层感知机永远无法学习XOR。明斯基和派珀特在《感知机》一书中以此为例，揭示了感知机的根本局限。
4.2 对线性不可分数据的失效
对于任何线性不可分的数据集（如螺旋分布、同心圆分布等），感知机算法不会收敛——权重会在不同误分类点之间来回跳跃，导致训练过程不终止或循环。
4.3 单一神经元表达能力限制
单个感知机本质上是一个线性分类器，其决策区域仅限于凸集（超平面半空间）。这使得它无法处理复杂的非线性模式，如异或问题、非凸分布等。
5.1 多层感知机（MLP）
通过在输入与输出之间引入一个或多个隐藏层，并使用非线性激活函数（如Sigmoid、ReLU），多层感知机克服了单层感知机的线性局限，能够学习任意复杂的决策边界。MLP是现代深度神经网络的基本架构。
5.2 带核函数的感知机（Kernel Perceptron）
核感知机通过核技巧将输入映射到高维特征空间，使得原本线性不可分的问题在高维空间线性可分。常用核函数包括多项式核、高斯径向基核（RBF）等。核感知机保留了感知机的简单更新规则，同时增强了表达能力。
5.3 平均感知机（Averaged Perceptron）
平均感知机在训练过程中保留所有权重向量的平均版本（或加权平均），代替最后一步的权重用于预测。这种做法能够缓解感知机在不可分数据上的振荡，并提升泛化性能。
5.4 投票感知机（Voted Perceptron）
投票感知机记录每次更新后的权重向量及其“存活”的样本数，在预测时让所有权重向量进行加权投票。这种方法本质上是集成学习的一种简化，常用于自然语言处理中的序列标注任务。
6.1 早期模式识别场景
感知机曾被用于图像识别（如字母分类）、天气预测、心电图分析等。1960年代，基于感知机的“Mark I”硬件系统能够识别简单的手写字符。然而受限于当时计算能力和理论局限，实际部署效果有限。
6.2 对现代深度学习的影响
感知机是神经网络发展的起点。其结构（输入-权重-激活-输出）和训练模式（基于样本的误差驱动更新）直接催生了多层网络的BP算法。现代深度学习中的全连接层、损失函数、梯度下降等概念均可溯源至感知机。
6.3 教育中的教学范例
由于概念简洁、实现代码短，感知机是机器学习课程中介绍监督学习、分类、参数更新与收敛性的经典入门例子。即使是如今流行的深度学习框架（如PyTorch、TensorFlow）教程，也常以感知机作为第一个动手实验。
7.1 Rosenblatt的“Mark I 感知机”硬件
罗森布拉特在康奈尔航空实验室建造了专用的“Mark I 感知机”，这是一台体积庞大、布满电位器的模拟计算机，能够通过电机驱动学习。它被《纽约时报》称为“一种全新的电子大脑”，并在宣传中展示了识别字母的能力（实际上仅能识别部分图像）。这台机器现存于美国国家博物馆。
7.2 Minsky与Papert的《感知机》批判
1969年，马文·明斯基与西摩·派珀特出版著作《感知机》，用数学严格证明了单层感知机的局限性（如无法解决XOR），并推测多层感知机也面临类似困难。这本书的出版直接导致了神经网络研究的资金枯竭和“AI寒冬”。然而，后来发现他们对多层网络的悲观结论过于保守，但该书的权威性在当时无人质疑。
7.3 感知机在“AI寒冬”中的象征意义
感知机的兴衰常被用作“AI寒冬”的典型案例——从过度宣传、期望膨胀到理论批判、资金断流。今天，“感知机”一词在程序员圈中有时被调侃为“古老而又纯真的模型”，或作为对比现代深度网络的“原始祖先”。一些幽默梗如“单层感知机能做什么？——能做简单的梦（线性可分的事）”。