索引#

$\epsilon$ -Greedy策略，88 $n$ -StepSarsa算法，135

Dvoretzky 定理, 107

Expected Sarsa 算法, 134

Off-policy 演员-评论家算法, 217 伪代码, 222 策略梯度定理, 220 重要性采样, 217

Off-policy 策略梯度定理, 220

Q-learning算法（基于值函数），177伪代码，177深度Q-learning,178

Q-learning算法（基于表格），137伪代码，140示例，141异策略，138

QAC算法, 213

REINFORCE算法, 206

Sarsa算法（基于值函数），176 伪代码，176 Sarsa算法（基于表格），130 n-Step Sarsa算法，135 Expected Sarsa算法，134 伪代码，132 同策略，139 学习最优策略，132 收敛性分析，132

不动点, 41 优势演员-评论家算法, 213 伪代码, 216 基准不变性, 213 时序差分误差, 216 最优基准函数, 214