强化学习的数学原理
Mathematical Principles of Reinforcement Learning
目录#
前言
内容简介、教程背景、阅读指南。
›
符号说明
本书常用数学符号一览。
›
第1章 · 基本概念
网格世界、状态与动作、状态转移、策略、奖励、MDP。
›
第2章 · 状态值与贝尔曼方程
状态值的定义、贝尔曼方程的推导与求解。
›
第3章 · 最优状态值与贝尔曼最优方程
最优策略、贝尔曼最优方程、压缩映射定理。
›
第4章 · 值迭代与策略迭代
值迭代、策略迭代、截断策略迭代算法。
›
第5章 · 蒙特卡罗方法
MC Basic、MC Exploring Starts、ε-Greedy 算法。
›
第6章 · 随机近似算法
罗宾斯-门罗算法、Dvoretzky 定理、随机梯度下降。
›
第7章 · 时序差分方法
TD 算法、Sarsa、Q-learning、n-Step Sarsa。
›
第8章 · 值函数方法
函数近似、深度 Q-learning、DQN。
›
第9章 · 策略梯度方法
策略梯度定理、REINFORCE 算法。
›
第10章 · 演员-评论家方法
QAC、优势演员-评论家、异策略与确定性 AC。
›
附录
概率论基础、测度论、序列收敛性、梯度下降。
›
索引
术语与算法索引。
›