强化学习 on Yuunagi Library

强化学习的数学原理

Wed, 24 Jun 2026 00:00:00 +0000

强化学习的数学原理

Mathematical Principles of Reinforcement Learning

赵世钰著

目录#

前言内容简介、教程背景、阅读指南。 › 符号说明本书常用数学符号一览。 › 第1章 · 基本概念网格世界、状态与动作、状态转移、策略、奖励、MDP。 › 第2章 · 状态值与贝尔曼方程状态值的定义、贝尔曼方程的推导与求解。 › 第3章 · 最优状态值与贝尔曼最优方程最优策略、贝尔曼最优方程、压缩映射定理。 › 第4章 · 值迭代与策略迭代值迭代、策略迭代、截断策略迭代算法。 › 第5章 · 蒙特卡罗方法 MC Basic、MC Exploring Starts、ε-Greedy 算法。 › 第6章 · 随机近似算法罗宾斯-门罗算法、Dvoretzky 定理、随机梯度下降。 › 第7章 · 时序差分方法 TD 算法、Sarsa、Q-learning、n-Step Sarsa。 › 第8章 · 值函数方法函数近似、深度 Q-learning、DQN。 › 第9章 · 策略梯度方法策略梯度定理、REINFORCE 算法。 › 第10章 · 演员-评论家方法 QAC、优势演员-评论家、异策略与确定性 AC。 › 附录概率论基础、测度论、序列收敛性、梯度下降。 › 索引术语与算法索引。 ›

强化学习入门

Tue, 23 Jun 2026 00:00:00 +0000

强化学习入门

从原理到实践

叶强 · 闫维新 · 黎斌编著

目录#

致谢致谢在本书写作过程中提供帮助的家人、老师和同事。 › 前言本书的写作背景、全书结构概览和读者对象说明。 › 常用符号强化学习常用数学符号说明。 › 算法列表全书主要算法汇总。 › 第1章 · 概述强化学习的历史 · 1.2 强化学习的基本概念 · 1.3 章节组织 · 1.4 编程环境与代码资源 › 第2章 · 从一个示例到马尔可夫决策过程 2.1 马尔可夫过程 · 2.2 马尔可夫奖励过程 · 2.3 马尔可夫决策过程 · 2.4.1 收获和价值的计算 · › 第3章 · 动态规划寻找最优策略 3.1 策略评估 · 3.2 策略迭代 · 3.3 价值迭代 · 3.4 异步动态规划算法 · 3.5.1 小型格子世界 › 第4章 · 不基于模型的预测 4.1 蒙特卡罗强化学习 · 4.2 时序差分强化学习 · 4.3 n步时序差分学习 · 1.前向认识TD（λ） · 2 › 第5章 · 无模型的控制 5.1 行为价值函数的重要性 · 5.2 贪婪策略 · 5.3 同策略蒙特卡罗控制 · 5.4 同策略时序差分控制 · › 第6章 · 价值函数的近似表示 6.1 价值近似的意义 · 6.2 目标函数与梯度下降 · 6.2.1 目标函数 · 6.2.2 梯度和梯度下降 · 6 › 第7章 · 基于策略梯度的深度强化学习基于策略学习的意义 · 7.2 策略目标函数 · 1.Softmax策略 · 2.高斯策略 · 7.3 Actor-Cr › 第8章 · 基于模型的学习和规划 8.1 环境的模型 · 8.2 整合学习与规划— Dyna算法 · 8.3 基于模拟的搜索 · 8.3.1 简单蒙特卡罗 › 第9章 · 探索与利用 9.1 多臂游戏机 · 9.2 常用的探索方法 · 9.2.1 衰减的ϵ贪婪探索 · 9.2.2 不确定行为优先探索 · › 第10章 · Alpha Zero算法实战 10.1 自博弈中的蒙特卡罗树搜索 · 10.2 模型评估中的蒙特卡罗搜索 · 10.3 策略价值网络结构及策略提升 · ›

再看神经量子态：强化学习视角下的训练优化

Sun, 05 Jul 2026 00:00:00 +0000

再来一次：从强化学习视角重新审视神经量子态#

Juan Agustín Duque^1,2,∗ Sergio García-Heredia^2,∗ Vinicius Hernandes³ Eliška Greplová³ Thomas Spriggs^3,† Aaron Courville^1,4,† Anna Dawid^2,†

¹Mila Quebec AI Institute, Université de Montréal, Montréal, Canada

²Applied Quantum Algorithms ⟨aQa$\mathbb{L}$⟩, LIACS & LION, Leiden University, Leiden, Netherlands ³QuTech and Kavli Institute of Nanoscience, Delft University of Technology, Delft, Netherlands

⁴CIFAR AI Chair juanduquevan@gmail.com ^∗共同第一作者。 ^†共同指导。

摘要#

神经量子态（NQS）提供了近似量子多体波函数的灵活且可扩展的框架。在 NQS 参数化中，自回归模型尤其具有吸引力，因为它们能够从 Born 分布中实现精确且独立的采样，避免了马尔可夫链方法中的自相关和混合问题。然而，它们的优化仍然相对未被充分探索：Adam 是一种可扩展的方法，但忽略了函数空间几何，而随机重构虽然原理上严谨，但在大模型中成本高昂且数值不稳定。为了解决这一差距，我们展示了变分能量最小化可以看作是 Born 分布上的优势策略梯度问题，从而为 NQS 训练提出了信任域优化。我们引入了近端波函数优化（PWO），这是一种原理严谨的信任域算法，它裁剪幅值通道中的概率比变化和相位通道中的相位增量。PWO 避免了显式矩阵求逆，在多次更新中重复使用样本，并将一阶优化的可扩展性与理论保证相结合。在伊辛和受挫的 $J_{1} {-} J_{2}$ 一维和二维自旋系统中，PWO 相对于 Adam、minSR 和 SPRING 提高了稳定性和实际时间收敛。最后，我们微调了一个 1.5B 参数的 RWKV-7 模型，展示了在规模上比先前工作高出三个数量级的 NQS 优化。