機械学習スタートアップシリーズ Pythonで学ぶ強化学習 [改訂第2版] 入門から実践まで (KS情報科学専門書)

著者 : 久保隆宏

• 講談社 (2019年9月22日発売)

作品紹介・あらすじ

「Ｐｙｔｈｏｎで強化学習が実装できる！」と好評を得た入門書の改訂版。読者からの要望・指摘を反映させた。主に、Ｐｏｌｉｃｙ ＧｒａｄｉｅｎｔとＡ２Ｃの記述・実装を見直した。

・Pythonプログラミングとともに、ゼロからていねいに解説。
・コードが公開されているから、すぐ実践できる。
・実用でのネックとなる強化学習の弱点と、その克服方法まで紹介。

【おもな内容】

Day1　強化学習の位置づけを知る
　強化学習とさまざまなキーワードの関係
　強化学習のメリット・デメリット
　強化学習における問題設定：Markov Decision Process　

Day2　強化学習の解法(1): 環境から計画を立てる
　価値の定義と算出: Bellman Equation
　動的計画法による状態評価の学習: Value Iteration
　動的計画法による戦略の学習: Policy Iteration
　モデルベースとモデルフリーとの違い

Day3　強化学習の解法(2): 経験から計画を立てる
　経験の蓄積と活用のバランス: Epsilon-Greedy法
　計画の修正を実績から行うか、予測で行うか: Monte Carlo vs Temporal Difference
　経験を価値評価、戦略どちらの更新に利用するか：Valueベース vs Policyベース

Day4　強化学習に対するニューラルネットワークの適用
　強化学習にニューラルネットワークを適用する
　価値評価を、パラメーターを持った関数で実装する：Value Function Approximation
　価値評価に深層学習を適用する：Deep Q-Network
　戦略を、パラメーターを持った関数で実装する：Policy Gradient
　戦略に深層学習を適用する：Advantage Actor Critic (A2C)
　状態評価か、戦略か

Day5　強化学習の弱点
　サンプル効率が悪い
　局所最適な行動に陥る、過学習をすることが多い
　再現性が低い
　弱点を前提とした対応策

Day6　強化学習の弱点を克服するための手法
　サンプル効率の悪さへの対応: モデルベースとの併用/表現学習
　再現性の低さへの対応: 進化戦略
　局所最適な行動/過学習への対応: 模倣学習/逆強化学習

Day7　強化学習の活用領域
　行動の最適化
　学習の最適化

感想・レビュー・書評

[toriokikunさんの感想 · 2022年10月25日]

▼福島大学附属図書館の貸出状況
https://www.lib.fukushima-u.ac.jp/opac/opac_link/bibid/TB90368869

（推薦者：共生システム理工学類　樋口良之 先生）

[ちゅんさんの感想 · 2020年7月23日]

強化学習について丁寧に書いた本
強化学習の初学者におすすめできると思う

いろんなコードもあって参考になる
あとkerasでかいてあるの少ないので役に立つ

[M. Nakamotoさんの感想 · 2020年2月23日]

基礎のところ、弱点への言及、アプリ面での最近の話題などがとても参考になった。サンプルコードはあまりちゃんと読まなかったですが、時間があれば動かしてみたいと思いました。完全な理解からは遠いですが、いろいろ学べた気がします。

[fraserlibさんの感想 · 2019年11月8日]

請求記号　007.1/Ku 11

著者プロフィール

TIS株式会社戦略技術センター所属。Twitter：@icoxfog417。
現在は、「人のための要約」を目指し、少ない学習データによる要約の作成・図表化に取り組む。また、論文のまとめを共有するarXivTimesの運営、『直感 Deep Learning』オライリージャパン(2018)の翻訳など、技術の普及を積極的に行っている。

「2019年 『機械学習スタートアップシリーズ　Pythonで学ぶ強化学習　［改訂第2版］　入門から実践まで』 で使われていた紹介文から引用しています。」