前言#

2017年，DeepMind公司开发的AlphaGo人工智能围棋博弈软件的升级版Master战胜了围棋世界冠军，引起了不小的轰动。AlphaGo的巨大成功主要得益于它的实现是基于人工智能的“强化学习”原理，通过神经网络模拟了人类的学习过程并充分发挥了现代计算机的强大计算性能。强化学习是什么，何以如此强大？带着这个问题，我翻阅了相关学术文献和一些介绍强化学习的书籍，并认真观看了DeepMind在网络上发布的一套关于强化学习的公开课视频，经过一段时间的摸索，我较为系统地掌握了强化学习的工作原理和经典算法，并编写代码实现了其中的主要算法。为了进一步巩固和加深自己对强化学习的理解，我不断和其他学习者进行学术交流，并陆续把自己的学习体会整理后发表在知乎的一个专栏上，与大家分享。

随后有不少出版社联系我商谈出版事宜，我深感自己水平有限，均婉拒之。后来我有幸就读于蒙特利尔大学计算机学院人工智能专业，对强化学习、深度学习等的理论和实践有了较为深入的理解。考虑到市面上介绍强化学习入门的书较少，于是在机械工业出版社编辑的诚挚邀请下，我答应将自己的学习体会整理成书。由于自己才疏学浅，我特邀上海交通大学闫维新教授对全文进行了审改，并请他编写了最后一章。

本书以理论和实践相结合的形式深入浅出地介绍强化学习的历史、基本概念、经典算法和一些前沿技术，共分为三大部分：第一部分（第1～5章）介绍强化学习的发展历史、基本概念以及一些经典的强化学习算法；第二部分（第6～9章）在简要回顾深度学习技术的基础上着重介绍深度强化学习的一些前沿实用算法；第三部分（第10章）以五子棋为例详细讲解战胜了人类顶级围棋选手的Alpha Zero算法的核心思想。为了便于读者学习，本书的每一章都先介绍相关理论以及算法原理，随后通过精心编写的Python示例程序来实现算法、验证理论，让读者能够从理论文字、数学公式、示例代码三个方面综合理解强化学习。

本书涉及的源代码文件可通过 https://github.com/qqiang00/reinforce/tree/master/reinforce/codes_for_book 下载。

本书既可作为计算机专业高年级本科生及硕士生关于人工智能领域的入门参考读物，也可供对人工智能技术特别是强化学习技术感兴趣的读者借鉴参考。限于作者的水平，书中难免有因理解不准确而表述不到位的地方，恳请业内专家指正，先表谢意！

叶强

2020年5月23日