1.1 自旋玻璃类比

统计物理与神经网络之间的概念桥梁，建立在一个强有力的类比之上：神经元可以被看作微小的磁体，它们的集体行为可以用统计力学的语言来描述。John Hopfield 在 1982 年首次充分利用了这一联系，并为理解玻尔兹曼机提供了基础框架。

磁性 Ising 模型

在凝聚态物理中，Ising 模型描述的是一组相互作用的磁自旋。每个自旋 $s_i$ 位于晶格的一个格点上，可以指向“上”$(s_i = +1 )$ 或“下”$( s_i = -1)$。某个自旋构型 $\mathbf{s} = (s_1, s_2, \ldots, s_N)$ 的能量由哈密顿量给出：

$$E(\mathbf{s}) = -\sum_{i<j} J_{ij} s_i s_j - \sum_i h_i s_i$$

这里，$J_{ij}$ 表示自旋 $i$ 与 $j$ 之间的相互作用强度（耦合）。若 $J_{ij} > 0$，相互作用是 铁磁性 的：自旋倾向于沿相同方向排列以降低能量。若 $J_{ij} < 0$，相互作用是 反铁磁性 的：自旋倾向于相反排列。$h_i$ 项表示外部磁场对单个自旋的偏置。

当系统与温度为 $T$ 的热源达到热平衡时，观测到给定自旋构型的概率遵循 玻尔兹曼分布：

$$P(\mathbf{s}) = \frac{1}{Z} \exp\left(-\frac{E(\mathbf{s})}{k_B T}\right)$$

其中 $k_B$ 是玻尔兹曼常数，$Z = \sum_{\mathbf{s}} \exp(-E(\mathbf{s})/k_B T)$ 是配分函数。低温下，系统冻结到低能、有序的状态；高温下，热涨落占主导，自旋方向变得随机。

神经元作为自旋，突触作为耦合

从磁自旋过渡到神经网络，只需要改变解释方式：

物理系统（Ising 模型）	神经网络（Hopfield/Boltzmann）
自旋 $s_i \in {-1, +1}$	神经元状态 $x_i \in {0, 1}$ 或 ${-1, +1}$
耦合强度 $J_{ij}$	突触权重 $w_{ij}$
外场 $h_i$	神经元偏置 $b_i$
热涨落 $k_B T$	随机性（逆温度 $\beta = 1/T$）

有了这张“词典”，循环神经网络的能量函数可以写为：

$$E(\mathbf{x}) = -\sum_{i<j} w_{ij} x_i x_j - \sum_i b_i x_i$$

或写成矩阵形式：

$$E_\theta(\mathbf{x}) = -\mathbf{b}^\top \mathbf{x} - \frac{1}{2}\mathbf{x}^\top \mathbf{W} \mathbf{x}$$

其中 $\mathbf{W}$ 是一个对称权重矩阵，且对角线为零 $(w_{ii} = 0)$。对称性要求 $w_{ij} = w_{ji}$ 至关重要，因为它保证系统具有定义良好的能量景观，并最终会收敛到某个平衡分布。

为什么是二次能量？

能量函数 $E = -\sum w_{ij}x_i x_j$ 是描述成对相互作用系统的最简单形式。它表示所有单元对之间相互作用的总和，与 Ising 哈密顿量具有相同形式。更复杂的高阶相互作用当然可能存在，但处理起来困难得多。这个二次形式可以看作多体系统的一阶近似，因此成为物理模型和神经网络模型的自然起点。

统计物理基础：微正则系综

为了理解这类系统的概率行为，必须引入 统计物理的基本假设：对于处于平衡态的孤立系统，所有满足系统宏观约束（例如总能量）的可达微观状态（构型）等概率。

这一原则产生了 微正则系综。对于能量 $E$、体积 $V$ 和粒子数 $N$ 固定的系统，能量落在 $(E, E + \delta E)$ 范围内的微观状态数记为 $\Omega(E, V, N)$。于是 玻尔兹曼熵 定义为：

$$S(E, V, N) = k \log \Omega(E, V, N)$$

其中 $k$ 是玻尔兹曼常数。这个熵度量与给定宏观状态相容的微观构型数量。

对于宏观系统（例如 $N \sim 10^{23}$），$\Omega$ 是天文数字，熵是广延量，也就是随 $N$ 线性缩放。这解释了热力学第二定律为何成立：系统会向微观状态数最多（熵最高）的宏观状态演化。

自旋玻璃与受挫

自旋玻璃 是一类磁性系统，其中耦合强度 $J_{ij}$ 是随机的，并同时包含正值（铁磁）和负值（反铁磁）。这种混合会产生 受挫：单个自旋无法同时满足所有邻居彼此竞争的要求。因此，自旋玻璃的能量景观非常崎岖，包含大量由能垒分隔的 亚稳态（局部极小值）。

这正是用于联想记忆的神经网络所面对的场景。当我们使用 Hebbian 学习规则存储多个模式时：

$$w_{ij} = \frac{1}{N} \sum_{\mu=1}^P \xi_i^\mu \xi_j^\mu$$

实际上就是在构造一个自旋玻璃，使其低能构型对应存储的记忆 $\{\boldsymbol{\xi}^\mu\}$。然而，由于权重矩阵混合了不同记忆的贡献，能量景观不可避免地会产生 伪极小值：这些状态并非被存储的模式，却仍然会困住网络动力学。

从确定性动力学到随机搜索

Hopfield 最初的网络采用确定性的异步更新：

$$x_i \leftarrow \text{sign}\left( \sum_{j} w_{ij} x_j + b_i \right)$$

这种动力学等价于沿着能量景观严格下坡移动。网络会收敛到最近的局部极小值，但这个极小值可能是伪状态，而不是目标记忆。

玻尔兹曼机 引入了一个关键修改：更新变为 随机 的。在有限温度 $T$ 下，神经元 $i$ 被置为状态 $1$ 的概率为：

$$P(x_i = 1) = \sigma\left( \frac{\sum_j w_{ij} x_j + b_i}{T} \right)$$

其中 $\sigma(z) = 1/(1 + \exp(-z))$ 是 sigmoid 函数。热噪声会偶尔把系统推向上坡方向，使它能够逃离浅层局部极小值，并更充分地探索能量景观。随着温度逐渐降低（模拟退火），系统更有可能落入一个深的低能状态，对应真正的记忆。

小结

自旋玻璃类比为玻尔兹曼机提供了核心直觉：它是一种神经网络，通过引入受温度控制的随机性，使用平衡统计力学原理来建模数据上的概率分布。后续章节将进一步形式化这一分布的数学结构，以及它对学习过程的影响。