2.2 循环网络与内容寻址记忆#

感知机体现了 前馈 计算：信息从输入单向流向输出，网络状态完全由当前输入决定。这种架构适合模式分类和函数逼近，但从根本上无法建模时间依赖，也无法表现出持久的内部状态。要理解最终通向玻尔兹曼机的架构谱系，必须引入 循环神经网络：连接中包含有向环路，使信息能够保持，动力学能够随时间展开。

从前馈到循环#

循环神经网络（RNN）与前馈网络的关键差异只有一个：至少一部分连接形成 反馈环。某个神经元在一个时间步的输出，可以在后续时间步影响自身输入，或影响处理链中更早神经元的输入。这一架构差异带来深刻后果：

  • 状态持久性：网络维持一个随时间演化的内部状态，因此可以处理输入序列，或在没有外部输入时收敛到稳定模式。

  • 动力系统：RNN 最好被理解为一个 动力系统，其状态轨迹由权重和初始条件支配，而不是静态函数近似器。

  • 记忆：循环结构提供了一种 短期记忆，其作用超越单次前馈传递。

Hopfield 网络：典型循环架构#

John Hopfield 于 1982 年提出的 Hopfield 网络，是为 联想记忆 设计的循环网络的经典例子。它形式优雅，并与统计物理有深层联系，是玻尔兹曼机最直接的概念前身。

Hopfield 网络包含 NN 个二值单元，每个单元取值于 {−1,+1}\{-1, +1\}（或等价地 {0,1}\{0, 1\}）。每个单元都与其他所有单元相连，形成 全连接循环图。连接是 对称 的：

wij=wji,∀i,jw_{ij} = w_{ji},\quad \forall i, j

并且没有自连接：wii=0w_{ii} = 0。

网络以离散时间运行。每个时间步随机选择一个单元（或按固定计划选择），并按照确定性规则更新其状态：

xi←sign(∑j≠iwijxj+bi)x_i \leftarrow \text{sign}\left( \sum_{j \neq i} w_{ij} x_j + b_i \right)

这种 异步更新 动力学持续进行，直到网络到达 不动点，即在更新规则下保持不变的状态 x\mathbf{x}。权重矩阵的对称性保证不动点存在，并保证动力学会从任意初始状态收敛到某个不动点。

能量景观与收敛#

Hopfield 网络的收敛性由一个随每次状态更新单调下降的 Lyapunov 函数（或能量函数）保证。其能量定义为：

E(x)=−12∑i≠jwijxixj−∑ibixiE(\mathbf{x}) = -\frac{1}{2} \sum_{i \neq j} w_{ij} x_i x_j - \sum_i b_i x_i

或写成矩阵形式：

E(x)=−12x⊤Wx−b⊤xE(\mathbf{x}) = -\frac{1}{2} \mathbf{x}^\top \mathbf{W} \mathbf{x} - \mathbf{b}^\top \mathbf{x}

为了验证能量不会增加，考虑单元 ii 从 xix_i 翻转到 xi′=−xix_i' = -x_i。能量变化为：

ΔE=E(x′)−E(x)=(xi−xi′)(∑j≠iwijxj+bi)\Delta E = E(\mathbf{x}') - E(\mathbf{x}) = (x_i - x_i')\left( \sum_{j \neq i} w_{ij} x_j + b_i \right)

若 xi′x_i' 被选为 sign(∑wijxj+bi) \text{sign}(\sum w_{ij} x_j + b_i)，括号内项与 xi′x_i' 同号，而 xix_i 与其相反，因此乘积 (xi−xi′)(x_i - x_i') 与括号项符号相反，保证 ΔE≤0\Delta E \leq 0。除非该单元已经与输入对齐，否则能量会严格下降。

由于能量对有限权重和二值单元而言有下界，网络最终必然到达能量函数的 局部极小值，此时任何单个单元翻转都无法进一步降低能量。这些局部极小值就是动力学的 吸引子，附近初始构型都会朝它们演化。

将记忆存储为吸引子#

Hopfield 网络不仅是一个动力学奇观；它还是 内容寻址记忆 模型。目标是把一组期望模式 {ξ1,ξ2,…,ξP}\{\boldsymbol{\xi}^1, \boldsymbol{\xi}^2, \ldots, \boldsymbol{\xi}^P\} 存储为网络动力学的吸引子。当以某个存储模式的损坏版本或部分版本作为初始状态时，网络沿能量景观确定性下降，恢复完整的原始记忆。

Hebbian 学习规则 提供了一种具有生物学启发的权重设置方案。对于二值 {−1,+1}\{-1, +1\} 模式，单元 ii 与 jj 之间的权重为：

wij=1N∑μ=1Pξiμξjμw_{ij} = \frac{1}{N} \sum_{\mu=1}^P \xi_i^\mu \xi_j^\mu

该规则是局部的、增量的，并且可被解释为突触可塑性机制。若单元 ii 和 jj 在某个模式中同号，该模式贡献 +1/N+1/N；若异号，则贡献 −1/N-1/N。因此，权重反映了记忆集合中单元之间的平均相关性。

检索动力学：模式补全与纠错#

考虑一个存储模式 ξμ\boldsymbol{\xi}^\mu。在 Hebbian 权重矩阵下，网络处于状态 ξμ\boldsymbol{\xi}^\mu 时，单元 ii 的输入为：

∑j≠iwijξjμ=1N∑j≠i∑ν=1Pξiνξjνξjμ\sum_{j \neq i} w_{ij} \xi_j^\mu = \frac{1}{N} \sum_{j \neq i} \sum_{\nu=1}^P \xi_i^\nu \xi_j^\nu \xi_j^\mu

该和可以分解为 信号 项（ν=μ\nu = \mu）以及 噪声 或 串扰 项（ν≠μ\nu \neq \mu）：

Signal=1N∑j≠iξiμ(ξjμ)2=N−1Nξiμ≈ξiμ\text{Signal} = \frac{1}{N} \sum_{j \neq i} \xi_i^\mu (\xi_j^\mu)^2 = \frac{N-1}{N} \xi_i^\mu \approx \xi_i^\mu
Noise=1N∑ν≠μ∑j≠iξiνξjνξjμ\text{Noise} = \frac{1}{N} \sum_{\nu \neq \mu} \sum_{j \neq i} \xi_i^\nu \xi_j^\nu \xi_j^\mu

如果存储模式随机且不相关，噪声项近似为零均值高斯变量，方差与 P/NP/N 成正比。只要存储模式数量 PP 相比 NN 足够小，信号项占主导，模式 ξμ\boldsymbol{\xi}^\mu 就是稳定不动点。

当初始状态是 ξμ\boldsymbol{\xi}^\mu 的 损坏版本，例如一部分比特被翻转，网络动力学会把状态推回原始模式。每个单元根据连接进行“投票”，正确回忆比特的集体影响会压倒错误。这就是 模式补全：网络通过沿能量景观下降到最近的记忆吸引子，补齐缺失或带噪信息。

内容寻址记忆与地址式记忆#

传统计算机内存是 地址式 的：要取回某项内容，必须提供精确内存地址（或指向它的指针）。如果地址损坏或未知，检索就不可能。相反，内容寻址记忆允许基于 部分或近似内容 进行检索。你提供目标记忆的一个片段，系统返回与该片段最匹配的完整项目。

Hopfield 网络以分布式、容错的方式实现内容寻址记忆：

  • 分布式表示：每个记忆存储在许多突触权重中，而每个权重又参与许多记忆的存储。

  • 优雅退化：存储记忆越多，检索噪声越大，但在超过临界容量前不会灾难性失败。

  • 并行处理：所有单元可并行更新，使检索时间不依赖于存储记忆的数量。

容量限制与伪吸引子#

Hopfield 网络容量并非无限。随着存储模式数 PP 增加，串扰噪声也会增加。超过约 αc≈0.14N\alpha_c \approx 0.14 N 的临界 存储容量（对于随机无偏模式）后，记忆不再稳定。网络发生相变，目标吸引子合并或消失，检索错误率突然上升。

此外，Hebbian 学习规则会创造 伪吸引子，即不对应任何存储记忆的稳定状态。它们来源于：

  • 混合状态：奇数个存储模式的线性组合。

  • 自旋反转状态：任意存储模式的全局取反也可能成为吸引子。

  • 随机谷地：无序能量景观固有的局部极小值。

这些伪吸引子是分布式内容寻址存储的代价。它们限制了网络的实际容量，并可能把动力学困在非预期状态。

从 Hopfield 到 Boltzmann：缺失的成分#

Hopfield 网络表明，循环对称网络可以作为强大的联想记忆。但作为数据的 生成模型，它有一个关键缺陷：动力学严格确定性地收敛到最近局部极小值，不管该极小值是真实记忆、伪吸引子，还是能量景观中的浅盆地。

玻尔兹曼机 通过在状态更新中引入 随机性 来解决这一问题，正如 1.3 为什么需要噪声：逃离伪极小值 所预告的。它不使用确定性阈值，而是按概率更新单元：

P(xi=1)=σ(∑jwijxj+biT)P(x_i = 1) = \sigma\left( \frac{\sum_j w_{ij} x_j + b_i}{T} \right)

这一单一修改把 Hopfield 网络从确定性的内容寻址记忆转变为 概率生成模型，具备以下能力：

  1. 从分布中采样：网络不再收敛到单个不动点，而是从平衡玻尔兹曼分布中生成样本。

  2. 探索多个模态：热噪声允许网络访问不同吸引域，捕捉复杂数据的多模态结构。

  3. 通过最大似然学习：概率形式提供了原则化目标函数（最大化观测数据似然），以及基于固定统计与自由运行统计对比的学习算法。

二者联系非常深刻：Hopfield 网络定义 能量景观，而玻尔兹曼机定义该景观上的 概率分布。两者由玻尔兹曼分布紧密连接：

当 T→0T \to 0 时，玻尔兹曼机退化为确定性 Hopfield 网络；在有限温度下，它成为灵活的数据概率模型。

P(x)=1Zexp⁡(−E(x)/T)P(\mathbf{x}) = \frac{1}{Z} \exp\left(-E(\mathbf{x}) / T\right)

换言之，玻尔兹曼机允许系统从正则系综中采样（见 1.2 玻尔兹曼分布与平衡），而不只是下降到最近的确定性不动点。

小结#

  • 循环神经网络 引入反馈环，使内部状态能够保持，并随时间表现出动力学行为。

  • Hopfield 网络 是具有对称权重的全连接循环网络，用于 内容寻址记忆。

  • 网络动力学最小化 能量函数，保证收敛到作为记忆吸引子的 局部极小值。

  • Hebbian 学习规则 把模式存储为权重矩阵中的相关性，使模式补全与纠错成为可能。

  • 伪吸引子 和有限 存储容量 是 Hopfield 模型的内在缺点。

  • 玻尔兹曼机 通过用 随机采样 替代确定性更新扩展 Hopfield 网络，把联想记忆转化为 概率生成模型。

  • Hopfield 能量函数成为 玻尔兹曼分布 的基础，将确定性吸引子动力学与概率推断连接起来。

On this page