2.1 简要回顾：线性神经元及其局限#

上一章把玻尔兹曼机放在统计物理的概念图景中：能量函数、平衡分布和热涨落共同定义了这一图景。在深入基于能量的学习之前，有必要回顾神经计算的基本构件。理解最简单的神经元模型、它们的能力，以及尤其重要的局限性，可以帮助我们理解为什么玻尔兹曼机采用了如此不同的计算范式。

线性神经元：加权求和与阈值#

神经网络中最基本的计算单元是 线性神经元，也称为线性阈值单元，历史上也称为 McCulloch-Pitts 神经元。它的工作方式很直接：对输入进行加权求和，并根据该和是否超过阈值产生输出。

设 $\mathbf{x} = (x_1, x_2, \ldots, x_d)$ 为输入向量。每个输入 $x_j$ 都乘以对应的权重 $w_j$ ，表示突触连接强度。额外的偏置项 $b$ （或等价地，阈值 $-\theta$ ）会平移决策边界。神经元输出 $y$ 为：

y = \begin{cases}1 & \text{if } \sum_{j=1}^d w_j x_j + b \geq 0 \\0 & \text{otherwise}\end{cases}

等价地，可以写为：

y = \mathbb{I}\left( \mathbf{w}^\top \mathbf{x} + b \geq 0 \right)

其中 $\mathbb{I}(\cdot)$ 是指示函数。向量 $\mathbf{w} = (w_1, \ldots, w_d)$ 称为 权重向量。

几何解释：线性可分性#

线性神经元具有清晰的几何解释。方程 $\mathbf{w}^\top \mathbf{x} + b = 0$ 在 $d$ 维输入空间中定义了一个 超平面。该超平面把空间划分为两个半空间：

一侧的点输出为 1。
另一侧的点输出为 0。

权重向量 $\mathbf{w}$ 垂直于超平面，并指向正半空间。偏置 $b$ 决定超平面到原点的垂直距离，具体为 $-b / \|\mathbf{w}\|$ 。

这个几何视角立即揭示了线性神经元的根本能力和根本限制。线性神经元可以成功分类任何 线性可分 的数据集，也就是说，存在某个超平面能够完美分离正例（标签 1）与负例（标签 0）。对于这类问题，总能找到权重向量 $\mathbf{w}$ 和偏置 $b$ 实现完美准确率。

感知机学习算法#

感知机 是 Frank Rosenblatt 于 1958 年提出的线性阈值单元训练算法。它提供了一个简单的迭代过程，用于寻找分离超平面，前提是这样的超平面确实存在。

感知机学习规则一次处理一个训练样本。对于每个样本 $(\mathbf{x}, t)$ ，其中 $t \in \{0,1\}$ 是目标标签，算法执行：

计算当前输出： $y = \mathbb{I}(\mathbf{w}^\top \mathbf{x} + b \geq 0)$ 。
若 $y = t$ ，权重保持不变。
若 $y \neq t$ ，按如下方式更新权重：

若 $t = 1$ 但 $y = 0$ （假阴性）： $\mathbf{w} \leftarrow \mathbf{w} + \eta \mathbf{x}$ ， $b \leftarrow b + \eta$ 。
若 $t = 0$ 但 $y = 1$ （假阳性）： $\mathbf{w} \leftarrow \mathbf{w} - \eta \mathbf{x}$ ， $b \leftarrow b - \eta$ 。

这里， $\eta > 0$ 是 学习率，是控制步长的小正数。

感知机收敛定理 保证：如果训练数据线性可分，该算法会在有限步内找到一个分离超平面。这个在 20 世纪 60 年代早期得到证明的理论保证，曾极大激发神经网络研究的热情。

线性可分性的局限：XOR 问题#

这种热情并没有持续太久。1969 年，Marvin Minsky 与 Seymour Papert 出版了有影响力的著作 Perceptrons，严格分析了线性阈值单元的能力与局限。其中最著名的反例是 XOR（异或） 问题。

考虑两个二值输入 $x_1, x_2 \in \{0,1\}$ 及其期望输出：

$x_1$	$x_2$	XOR 输出
0	0	0
0	1	1
1	0	1
1	1	0

把这四个点画在二维输入平面上即可看到困难：正例 (0,1) 和 (1,0) 位于对角线两端；负例 (0,0) 和 (1,1) 位于另一条对角线两端。不存在一条直线可以分开这两类点。 因此 XOR 函数不是线性可分的。

Minsky 与 Papert 证明，这一局限远超 XOR。凡是需要非凸决策边界，或需要互不连通的决策区域的函数，单个线性阈值单元都无法表示。许多看似简单的逻辑函数，例如奇偶校验、视觉模式中的连通性，都超出了单层感知机能力范围。

历史影响：第一次 AI 寒冬#

对感知机局限性的严格展示，使 20 世纪 70 年代的神经网络研究显著降温。资金减少，许多研究者转向符号主义人工智能。这一时期常被称为 第一次 AI 寒冬。

不过，这段历史真正揭示的并不是神经网络在根本上有缺陷，而是 单层线性网络不足以处理复杂任务。继续前进需要两类关键创新：

多层结构：把线性阈值单元堆叠成层，让一层输出作为下一层输入，可以突破线性可分性限制。两层网络可以表示任意布尔函数；配合连续激活函数，更深的网络可以逼近任意复杂的决策边界。
非线性激活函数：阶跃函数 $\mathbb{I}(z \geq 0)$ 不连续且不可微。用平滑可微的非线性函数替代它，例如 sigmoid $\sigma(z) = 1/(1+e^{-z})$ 或 双曲正切 $\tanh(z)$ ，就可以通过 反向传播 进行基于梯度的学习。我们将在基于能量的模型语境中再次遇到这一主题。

从前馈分类到概率生成#

感知机及其多层后继模型本质上是 判别模型：它们学习从输入 $\mathbf{x}$ 到输出 $y$ 的直接映射，目标是在有标签数据集上最小化分类错误。其计算是前馈的：信息从输入单向流向输出，没有环路或递归。

与之形成鲜明对比的是，玻尔兹曼机属于 生成模型。它的目标不是把输入映射到输出，而是建模观测数据的联合概率分布 $P(\mathbf{x})$ （有隐藏单元时为 $P(\mathbf{x}, \mathbf{h})$ ）。其计算是循环的：单元以对称方式相互连接，网络状态通过随机更新随时间演化，直到达到平衡。

为什么要放弃前馈分类的简洁性，转向循环、随机、基于能量的复杂模型？答案在于两种范式处理的问题不同。感知机擅长在拥有大量标签数据时进行监督模式识别。玻尔兹曼机面向无监督学习与生成：在没有显式标签的情况下发现数据底层结构，补全缺失信息，并合成新的合理样本。

线性神经元的局限告诉我们，简单浅层架构无法捕捉自然数据的丰富结构。玻尔兹曼机的回应并非通过堆叠确定性的层，而是采用了一种截然不同的计算视角——这种视角源自复杂系统的统计物理学，即全局结构是从局部的随机相互作用中涌现出来的。

与基于能量的模型的联系#

过渡到下一节前，注意一个微妙但重要的平行关系。感知机的决策规则 $\mathbf{w}^\top \mathbf{x} + b \geq 0$ 可以重新解释为能量形式。对给定输入-输出对定义能量：

E(\mathbf{x}, y) = -y (\mathbf{w}^\top \mathbf{x} + b)

当该能量为负（即较低）时，感知机输出 $y=1$ ；当其为零（即较高）时，输出 $y=0$ 。学习规则调整权重，以降低正确分类的能量，并提高错误分类的能量。

这种基于能量的视角在感知机中还很初步，但在玻尔兹曼机中会成为核心组织原则。区别在于，玻尔兹曼机在所有单元（可见单元和隐藏单元）上定义能量，并使用随机而非确定性的状态转移来探索能量景观。后续章节将完整展开这一基于能量的数学观点。

小结#

线性神经元 计算输入的加权和并施加阈值，用超平面划分输入空间。
感知机算法 能够在数据线性可分时保证找到分离超平面。
XOR 问题 说明单个线性阈值单元无法解决非线性可分任务，并触发了第一次 AI 寒冬。
克服这一局限需要 多层非线性单元，或一种根本不同的计算范式。
玻尔兹曼机 选择了后一条路径：一种 生成式、循环式、基于能量 的架构，能够进行无监督学习和概率推断。
从确定性感知机到随机玻尔兹曼机的转变，也对应着从 判别式分类 到数据分布的 概率建模 的转变。