Playing Atari with Deep Reinforcement Learning

Tue, 23 Jun 2026 00:00:00 +0000

核心思想#

用深度卷积神经网络近似 Q 函数，直接从高维像素输入（游戏画面）学习到端到端的策略，无需人工特征工程。

关键创新是 经验回放（experience replay）：把 (s, a, r, s') 转移存进回放缓冲区，训练时从中随机采样 minibatch。这打破连续样本间的相关性，平滑数据分布，让训练更稳定。

目标函数是最小化当前 Q 值与目标之间的差距：

$$ L(\theta) = \mathbb{E}_{(s,a,r,s') \sim U(D)} \left[ \left( r + \gamma \max_{a'} Q(s', a'; \theta^-) - Q(s, a; \theta) \right)^2 \right] $$

其中 $\theta^-$ 是目标网络参数（定期固定），$D$ 是回放缓冲区。

这篇奠定了后续 DQN 系列（Double DQN、Dueling、Prioritized Replay）的基础。