深層学習の原理に迫る: 数学の挑戦 (岩波科学ライブラリー 303)

著者 : 今泉允聡

• 岩波書店 (2021年4月20日発売)

作品紹介・あらすじ

第三次人工知能(AI)ブームの中核的役割を果たす深層学習(ディープ・ラーニング)は、その高い信頼性と汎用性ゆえに様々な領域に応用されていく一方で、「なぜうまくいくのか」すなわち「なぜ優れた性能を発揮するのか」ということは分かっていない。深層学習の原理を数学的に解明するという難題に、気鋭の研究者が挑む。

感想・レビュー・書評

[Oさんの感想 · 2022年10月29日]

なぜ読んだ？：
・今後半年くらいの勉強モチベとして、「自分に足りないデータサイエンススキルセットを学び、穴を埋めていきたい」というのがある。
・自分のスキルセットの穴の中に、「深層学習の深い数学的理解および実装能力」がある。大学の講義にて簡単な数学的背景や応用例は学んだものの、数学的に深い所を理解したり、実際の問題解決のために実装したりといった経験はなかった。
・そこで、深い数学的理解に向け、深層学習の原理の入門書を読もうと考えた。

学んだこと：
DNN(Deep Neural Network)が2層に比べて有利な点
・ジャンプを持つ関数の近似。
・滑らかさが場所によって異なる関数の近似。Wavelet変換のように。
・特徴量が低次元なデータ。前半で特徴量抽出、後半で予測や判別。

過適合しないことの謎
・実は重要なパラメータは一部だけなのかも（枝刈り）。←脳の成長時におけるシナプス刈り込みと似ていて面白い。

・漸近リスク解析←パラメータ数を無限個として使うことによって、見通しがよくなるのが面白い！無限を扱う数学が「役に立つ」例。

・バイアスとバリアンスは、実はトレードオフではないかも！すると統計学の常識がくつがえる。

よく分からなかったこと：
・ランジュバン動力学による確率的勾配降下法の解析。焼きなまし法の勉強をしないといけないと思った。


次に読みたい本：
斎藤康毅『ゼロから作るDeep Learning: Pythonで学ぶディープラーニングの理論と実装』

[ken1maedaさんの感想 · 2021年10月15日]

深層学習にまつわる数学的な謎を，数式を使わずに概念的に説明したものである．気軽に読んで概略を理解するのに適した本である．

[しのさんの感想 · 2021年8月12日]

流行りのAIでなにかできないかなとどこかブレイクスルーを探している状態で書店で見かけ、手に取った一冊。読みやすく、さらっと読み終えた。著者は"原理に迫る"ことにこだわりを持っていて、もしかしたらこれまでの人生でその点を否定されたこともあるのかな（実用性を重視した研究をしろ的な）と勝手に想像して、勝手に想いを汲み取りながら読んだ。この分野には疎いし、数学も苦手なので3章以降大事なところは理解が追い付いていないけれど、また一歩前には進めたと思うたぶん。
自分自身先に実装、あとから理解が追い付いてくるタイプなので深層学習については一回なにか作って、動かすことを次の目標に、また本を読んだり、調べものをしていきたい。

[k0418さんの感想 · 2024年3月7日]

数式をほとんど使わず理論を説明する。二重降下問題は、人間がとても少ないデータで学習できることと関係しているのだろうかと思った。

近似誤差レート：滑らかな関数であれば２層で充分だが、ジャンプがある場合や非均一的な滑らかさの場合４層必要。

特徴量を抽出するのに多層が必要で、後半の層で分別か

理論によると、自由度を増やすと過適合しやすくなる（1/2乗に比例）が、実験ではパラメータ増やすほどよくなる。この理由についていろいろな説がある
・枝刈りしても高い精度があること
・宝くじ仮説（小さな部分ネットが選ばれている）
パラメータの値や探索領域の大きさが自由度に関係との説が出るが理論は否定
・損失関数が平坦だといいというPACベイズ理論

二重降下問題：パラメータ数増やしていくとデータ数と同じくらいのところで一旦損失が大きくなるがさらに増やすと減ってくる。
限定的な理論的説明がある
人間の学習もとても少ないデータで学習できることと関係？

確率的勾配低下法：損失（誤差）を小さくするようにパラメータを更新。複雑な損失関数なのになぜうまくいくのかよくわかってない。
　・過剰パラメータで損失関数をゼロに張り付かせる？
　・高速化のために訓練データを一部しか使わないことが奏功？（ランジュバン動力学）

[おぬまさんの感想 · 2024年1月7日]

図書館で借りた。
第3次ブームと言われて久しい人工知能分野。その中核的な要素であるディープラーニングについて語った1冊。タイトル通り「原理に迫る」ということで、分かりやすく噛み砕き、表面的な解説をした印象だ。
言い換えれば、しっかりとした教科書ではないので、専門外の人がなんとなく知りたいという目的や、あくまで「初歩中の初歩でいいんだよね～」という人に薦める感じかなと思った。
個人的には、ニューラルネットワークを多層で積み重ねたのが～は分かるが、その"原理"を解説してくれている部分は、非常に分かりやすくて腑に落ちた。

[TaHiさんの感想 · 2023年10月26日]

今泉允聡「深層学習の原理に迫る」読了。深層学習の根幹をなすニューラルネットワークは二層で数学的に十分であるにも関わらず多層になるほど性能が上がるとの事。しかしそれはその数学が適正でない。これは実世界が非均一的な滑らかさを持つ関数の近似でしか捉えられないからという事を示唆するのかなと思った。

[pnictideさんの感想 · 2023年8月21日]

相転移現象の記述に深層学習を適用可能とか、暗黙的正則化による過適合抑制というのは初めて知った。PACベイズ、二重効果理論、ランジュバン動力学(焼きなまし法の解析に便利)等々、興味深かったが、いずれも深層学習の理解には未完成のツールとのことなので、日進月歩のこの分野でいまそれぞれの手法での理解がどこまで進んでいるか知りたい。また、30-40年前に既に発見されていた手法が忘れ去られ、車輪の再発明に研究者たちの貴重な人生の時間が奪われているのがもどかしいと感じた。知識・技術の体系化と継承は、それが積み上がるほど難しくなっていくが、これを諦めると人間の進歩は止まってしまうのかもしれない。

[晴ぼんさんの感想 · 2023年7月31日]

深層学習 の議論について 手際よくまとめた本。最新の理論動向を勉強するには良い一冊。
AIを研究している修士なら一通りの読んでおいて損はしない。

[本好きの社長さんの感想 · 2023年7月19日]

タイトル通り、なぜ深層学習は人間の予測を超える結果を出すのか？を難しくない数学で解説してくれている本。時間があれば再読したい。

[桜美林大学図書館さんの感想 · 2023年6月7日]

https://cool.obirin.ac.jp/opac/volume/914135

著者プロフィール

東京大学 大学院総合文化研究科 准教授

「2023年 『応用基礎としてのデータサイエンス　AI×データ活用の実践』 で使われていた紹介文から引用しています。」