理论基础# 1.1 自旋玻璃类比 磁性 Ising 模型 神经元作为自旋，突触作为耦合 统计物理基础：微正则系综 自旋玻璃与受挫 从确定性动力学到随机搜索 小结 1.2 玻尔兹曼分布与平衡 热平衡与正则系综 玻尔兹曼分布 统计物理基础：从微正则系综推导 配分函数：计算瓶颈 热力学极限与系综等价 神经网络中的玻尔兹曼分布 神经语境中的平衡含义 从物理到学习 小结 1.3 为什么需要噪声：逃离伪极小值 Hopfield 网络：确定性下降 作为能量极小值的记忆 伪极小值的困扰 确定性搜索的局限 引入噪声：随机动力学与热涨落 统计物理基础：作为热平衡的噪声 模拟退火：从探索到利用 噪声在学习中的双重作用 小结：从确定性陷阱到随机自由 1.4 重整化群：从微观自旋到宏观特征 核心思想：粗粒化 不动点与普适性 重整化群与深度学习 统计物理基础：广延量与强度量 与采样瓶颈的联系 小结 2.1 简要回顾：线性神经元及其局限 线性神经元：加权求和与阈值 几何解释：线性可分性 感知机学习算法 线性可分性的局限：XOR 问题 历史影响：第一次 AI 寒冬 从前馈分类到概率生成 与基于能量的模型的联系 小结 2.2 循环网络与内容寻址记忆 从前馈到循环 Hopfield 网络：典型循环架构 能量景观与收敛 将记忆存储为吸引子 检索动力学：模式补全与纠错 内容寻址记忆与地址式记忆 容量限制与伪吸引子 从 Hopfield 到 Boltzmann：缺失的成分 小结 2.3 将 Hebbian 学习理解为能量雕塑 Hebbian 假设 存储多个模式：外积规则 Hebbian学习：构建能量盆地 从能量角度看权重变化 Hebbian 学习的局限 从 Hebbian 存储到概率学习 能量雕塑：统一隐喻 小结 3.1 定义目标：让真实数据具有低能量 基于能量的建模范式 学习目标：最大似然 特殊情形：仅含可见单元的玻尔兹曼机 为什么真实数据应具有低能量？ 挑战：配分函数梯度 与判别式学习的联系 小结 3.2 难以精确处理的配分函数问题 配分函数：定义及其含义 为什么配分函数重要 配分函数作为自由能屏障 后果：精确最大似然不可能 驯服不可处理性的近似策略 驯服不可处理性的近似策略 深度学习时代的配分函数 小结 3.3 对比散度 核心洞见：截断 Markov 链 CD-k 算法细节 局限与注意事项 从对比散度到现代近似 实践实现：mini-batch 与采样 小结 从几何上看，CD 加深数据点处的能量盆地，同时抬高其 MCMC 可达邻域中的能量。 小结 4.1 经典玻尔兹曼机：可见单元与隐藏单元的对称性 架构：全连接随机网络 能量函数 随机动力学与平衡 学习目标：带隐藏变量的最大似然 清醒-睡眠算法：生物学隐喻 计算瓶颈：平衡采样 无约束连接：双刃剑 前进方向：受限架构 回顾：经典玻尔兹曼机 小结 4.2 受限玻尔兹曼机（RBM） 架构限制：二部图 能量函数与联合分布 RBM 中的概率分布 关键计算优势：条件独立 高效 Gibbs 采样：块更新 学习 RBM：回到对比散度 自由能与边缘概率 自由能与解析形式 自由能与期望能量 RBM 作为专家乘积 变体：处理不同数据类型 RBM 的局限 RBM 在深度学习历史中的位置 小结 4.3 超越单层：面向深度学习的堆叠 动机：层级特征学习 深度置信网络：RBM 的组合 贪婪逐层训练 为什么贪婪逐层训练有效 深度玻尔兹曼机（DBM） 从无监督预训练到判别式微调 预训练时代的结束与堆叠 RBM 的遗产 超越 RBM 的堆叠：一般原则 小结 回顾：从统计物理到采样瓶颈 核心张力：表达能力与采样可处理性 原则化的经典替代方案：模拟退火 原则化替代方案：物理量子退火 第二部分预览：量子增强实操教程
