1.2 玻尔兹曼分布与平衡

在建立磁自旋与神经状态之间的类比之后，我们转向支配这类系统热平衡行为的核心概率定律：玻尔兹曼分布。该分布为把神经网络视为概率生成模型，而不仅仅是确定性函数近似器，提供了数学基础。

热平衡与正则系综

考虑一个与大热源接触的物理系统，热源的绝对温度为 $T$。系统不断与热源交换能量：微观涨落会把系统推向更高能量的构型，而能量最小化倾向又会把它拉回较低能状态。经过足够长时间后，系统达到 热平衡：宏观性质不再变化，尽管微观构型仍在持续涨落。

在统计力学框架中，处于平衡的系统由 正则系综 描述。其基本假设是：具有相同能量的所有微观状态等概率，而系统占据某个能量为 $E(\mathbf{x})$ 的特定微观状态 $\mathbf{x}$ 的概率，只取决于该能量和温度。这种依赖关系由玻尔兹曼分布表达。

玻尔兹曼分布

在温度 $T$ 下，系统处于状态 $\mathbf{x}$ 的概率为：

$$P(\mathbf{x}) = \frac{1}{Z} \exp\left(-\frac{E(\mathbf{x})}{k_B T}\right)$$

其中：

• $E(\mathbf{x})$ 是构型 $\mathbf{x}$ 的能量。

• $k_B$ 是玻尔兹曼常数，用于连接温度尺度与能量尺度。

• $T$ 是以 Kelvin 为单位的绝对温度。

• $Z$ 是 配分函数（来自德语 Zustandssumme，意为“状态求和”）。

因子 $\exp(-E(\mathbf{x})/k_B T)$ 称为 玻尔兹曼因子。指数中的负号保证了能量越低的构型获得越高的概率。温度 $T$ 控制这种偏好的陡峭程度：低温时，分布尖锐集中在最低能状态附近；高温时，分布变平，对更广泛的构型赋予不可忽略的概率。

统计物理基础：从微正则系综推导

玻尔兹曼分布并不是任意选择；当一个小系统与大型热源接触时，它可以直接从微正则系综推出。

考虑一个小系统 $\mathcal{S}$，其能量本征态为 $|i\rangle$、能量为 $E_i$，并与温度为 $T$ 的大型热源 $\mathcal{R}$ 热接触。组合系统 $\mathcal{S} + \mathcal{R}$ 是孤立的，总能量为 $E_{\text{total}}$。根据微正则系综的基本假设，组合系统中能量落在 $(E_{\text{total}}, E_{\text{total}} + \delta E)$ 范围内的所有微观状态等概率。

当 $\mathcal{S}$ 处于状态 $|i\rangle$ 时，热源的微观状态数为：

$$\Omega_R(E_{\text{total}} - E_i) = \exp\left[ k^{-1} S_R(E_{\text{total}} - E_i) \right]$$

由于 $E_i \ll E_{\text{total}}$，可以展开热源的熵：

$$S_R(E_{\text{total}} - E_i) \approx S_R(E_{\text{total}}) - \left( \frac{\partial S_R}{\partial E} \right) E_i = S_R(E_{\text{total}}) - \frac{1}{T} E_i$$

这里使用了温度的热力学定义：

$$\frac{1}{T} = \left( \frac{\partial S}{\partial E} \right)_{V,N}$$

因此，$\mathcal{S}$ 处于状态 $|i\rangle$ 的概率正比于热源的微观状态数：

$$P_i \propto \Omega_R(E_{\text{total}} - E_i) \propto \exp\left( -\frac{E_i}{k_B T} \right)$$

再用配分函数 $Z = \sum_i \exp(-E_i / k_B T)$ 归一化，即得到玻尔兹曼分布。

这个推导揭示了一个关键洞见：玻尔兹曼机中的温度 $T$ 和热噪声并不是任意启发式设置；它们来自神经系统与外部热源的耦合。 随机性是维持热平衡的物理必然。

配分函数：计算瓶颈

配分函数 $Z$ 定义为所有可能状态上的玻尔兹曼因子之和：

$$Z = \sum_{\tilde{\mathbf{x}}} \exp\left(-\frac{E(\tilde{\mathbf{x}})}{k_B T}\right)$$

它的作用纯粹是归一化，确保所有状态的概率之和为 1：

$$\sum_{\tilde{\mathbf{x}}} P(\tilde{\mathbf{x}}) = \frac{1}{Z} \sum_{\tilde{\mathbf{x}}} \exp\left(-\frac{E(\tilde{\mathbf{x}})}{k_B T}\right) = 1$$

虽然配分函数的数学定义很简单，但计算上极其困难。对于包含 $N$ 个二值单元的系统，求和需要遍历 $2^N$ 个不同构型。即便 $N$ 只是中等规模（例如 $N=100$），该数量也会超过可观测宇宙中原子数的估计量级。配分函数的不可处理性是玻尔兹曼机学习的核心计算挑战，它影响训练算法、架构约束等几乎所有方面。

热力学极限与系综等价

对于宏观系统（大 $N$），正则系综与微正则系综会变得等价。这是因为正则系综中的能量涨落满足：

$$\frac{\Delta E}{\langle E \rangle} \propto \frac{1}{\sqrt{N}}$$

当 $N \to \infty$ 时，该涨落变得可以忽略。这就是 热力学极限。在这个极限下，系统能量实际上固定，正则系综与微正则系综给出相同结果。

这一性质对玻尔兹曼机很重要：当单元数量很大时，模型的平衡分布会在平均能量附近高度集中，系统的行为近似于一个具有固定能量的孤立系统。

神经网络中的玻尔兹曼分布

把物理表达式翻译成神经网络语言，只需要重新定义变量。对于一个包含二值单元 $\mathbf{x} \in \{0,1\}^N$（或等价地 $\{-1,+1\}^N$）的玻尔兹曼机，我们把玻尔兹曼常数吸收到温度参数中，并定义由偏置 $\mathbf{b}$ 和对称权重 $\mathbf{W}$ 参数化的 能量函数 $E_\theta(\mathbf{x})$：

$$P_\theta(\mathbf{x}) = \frac{1}{Z_\theta} \exp\left(-E_\theta(\mathbf{x})\right)$$

其中配分函数变为：

$$Z_\theta = \sum_{\tilde{\mathbf{x}}} \exp\left(-E_\theta(\tilde{\mathbf{x}})\right)$$

能量为：

$$E_\theta(\mathbf{x}) = -\sum_i b_i x_i - \sum_{i<j} w_{ij} x_i x_j$$

为了记号简洁，这里令 $k_B T = 1$；温度可以作为能量上的缩放因子重新引入，也可以等价地用逆温度参数 $\beta = 1/T$ 表示。实践中，温度通常被视为控制采样随机性的超参数。

神经语境中的平衡含义

当我们说玻尔兹曼机从其 平衡分布 中采样时，意思是：随机更新动力学运行足够长时间后，观测任意特定构型 $\mathbf{x}$ 的概率会收敛到 $P_\theta(\mathbf{x})$。这一性质由更新规则满足 细致平衡 来保证；细致平衡要求在平衡态下，从状态 $\mathbf{x}$ 流向状态 $\mathbf{x}'$ 的概率流，恰好与反向概率流相抵消：

$$P_\theta(\mathbf{x}) \, P(\mathbf{x} \to \mathbf{x}') = P_\theta(\mathbf{x}') \, P(\mathbf{x}' \to \mathbf{x})$$

前面引入的随机神经元更新规则：

$$P(x_i = 1) = \sigma\left( \sum_j w_{ij} x_j + b_i \right)$$

其中 $\sigma(z) = 1/(1+\exp(-z))$，正是为了相对于能量函数 $E_\theta$ 满足细致平衡而设计的。因此，只要网络运行足够长，让它“遗忘”初始状态，它生成的构型就会按照 $P_\theta$ 分布。

从物理到学习

玻尔兹曼分布把学习问题重新表述为概率问题。我们不再问“如何从输入计算输出函数？”，而是问：“如何调节参数 $\theta$，使平衡分布 $P_\theta$ 匹配观测数据的经验分布？”

这种视角转变非常深刻。能量函数 $E_\theta(\mathbf{x})$ 变成一个 评分函数：训练集中典型的数据点应被赋予低能量（高概率），而不典型或不可能的构型应处于高能量（低概率）。因此，学习就是通过调整权重和偏置来 雕塑能量景观，使低能谷地与数据密度高的区域重合。

小结

• 玻尔兹曼分布 $P(\mathbf{x}) \propto \exp(-E(\mathbf{x})/T)$ 在热平衡中自然出现，并构成玻尔兹曼机的概率核心。

• 配分函数 $Z$ 对分布进行归一化，但需要对指数数量的状态求和，因此在大系统中无法精确计算。

• 在神经网络语境中，平衡 意味着网络的随机动力学已经收敛到由权重和偏置定义的平稳分布。

• 玻尔兹曼机中的学习等价于 塑造能量景观：降低观测数据构型的能量，同时隐式提高其他区域的能量。

• $Z$ 的不可处理性推动了近似推断和学习算法的发展，后续章节将继续讨论这些方法。