つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~

著者 : 株式会社電通国際情報サービス小川雄太郎

• マイナビ出版 (2018年6月28日発売)

作品紹介・あらすじ

強化学習、さらにディープラーニングを組み合わせた深層強化学習DQN（Deep Q-Network）という用語を目にする機会が増えています。本書は関連の概念を分かりやすく解説しつつ、PythonとPytorchで「迷路を解くプログラム」「倒立振子課題」「ブロック崩しの攻略」などを実装していきます。

第1章「強化学習の概要」では機械学習とその3分類（教師あり学習、教師なし学習、強化学習）について紹介します。

第2章「迷路課題に強化学習を実装しよう」では、簡単な強化学習（方策勾配法、Sarsa、Q学習）のコードをひとつずつ実装しながら、強化学習のアルゴリズムと実装方法を理解します。迷路を最短ルートでゴールするよう強化学習させます。

第3章「倒立振子課題に強化学習を実装しよう」では、2章で学んだ強化学習の基本をより複雑な課題への適用します。倒立振子とは、“ほうきを手のひらの上に立てる”遊びと同じ内容でその制御ルールを強化学習させます。Anacondaを用いたセットアップ方法も解説します。

第4章「Pytorchを用いてディープラーニングを実装しよう」では、ディープラーニングの内容を理解し、PyTorchで実装します。ニューラルネットワークとディープラーニング発展の歴史、学習フェイズと推論フェイズについて解説。最後に手書き数字の画像を分類するMNIST課題を実装解説します。

第5章「倒立振子課題に深層強化学習DQN（Deep Q-Network）を実装しよう」では、強化学習にディープラーニングを組み合わせた“深層強化学習”を理解し、DQNを実装できるようにします。第3章の倒立振子課題に対してDQNを実装します。

第6章「倒立振子課題に深層強化学習の発展版を実装しよう」では、新しい深層強化学習の手法、Double-DQN、Dueling Network、Prioritized Experience Replay、そしてA3C、A2Cを理解し、実装できるようにします。

第7章「AWSのGPU環境でブロック崩しを実装しよう」では、ブロック崩しゲームを対象に深層強化学習のA2Cを実装します。実行環境としてAmazonのクラウドサービスAWSのGPU環境を使用する方法も解説します。

感想・レビュー・書評

[algasさんの感想 · 2019年4月15日]

実際に動作するコードが掲載してあるし、生成できるアプリケーションも目に見えて動くから楽しい。後半は理論が薄めでこの本だけで学習するのは難しい。あくまでも実用書として他の教科書を見ながらコードを動かしたい人向け。

[kazhiramatsuさんの感想 · 2018年12月17日]

この本で強化学習を実際にどのように実装するのかを理解できた。数式より実装と言葉による解説で非常にわかりやすい。

[fraserlibさんの感想 · 2018年8月22日]

請求記号　007.1/O 24

著者プロフィール

株式会社電通国際情報サービス 技術本部開発技術部に所属。ディープラーニングをはじめとした機械学習関連技術の研究開発・技術支援、ならびにワークスタイルイノベーション室のHRデータ解析を業務とする。明石工業高等専門学校、東京大学工学部を経て、東京大学大学院 神保・小谷研究室にて脳機能計測および計算論的神経科学の研究に従事し、2016年博士号(科学)を取得。東京大学特任研究員を経て、2017年4月より現職。
Qiita：qiita.com/sugulu

「2018年 『つくりながら学ぶ！深層強化学習』 で使われていた紹介文から引用しています。」