深層学習の原理に迫る 数学の挑戦 (岩波科学ライブラリー 303)

今泉允聡

• 岩波書店 (2021年4月20日発売)

作品紹介・あらすじ

第三次人工知能(AI)ブームの中核的役割を果たす深層学習(ディープ・ラーニング)は、その高い信頼性と汎用性ゆえに様々な領域に応用されていく一方で、「なぜうまくいくのか」すなわち「なぜ優れた性能を発揮するのか」ということは分かっていない。深層学習の原理を数学的に解明するという難題に、気鋭の研究者が挑む。

感想・レビュー・書評

[Oさんの感想 · 2022年10月29日]

なぜ読んだ？：
・今後半年くらいの勉強モチベとして、「自分に足りないデータサイエンススキルセットを学び、穴を埋めていきたい」というのがある。
・自分のスキルセットの穴の中に、「深層学習の深い数学的理解および実装能力」がある。大学の講義にて簡単な数学的背景や応用例は学んだものの、数学的に深い所を理解したり、実際の問題解決のために実装したりといった経験はなかった。
・そこで、深い数学的理解に向け、深層学習の原理の入門書を読もうと考えた。

学んだこと：
DNN(Deep Neural Network)が2層に比べて有利な点
・ジャンプを持つ関数の近似。
・滑らかさが場所によって異なる関数の近似。Wavelet変換のように。
・特徴量が低次元なデータ。前半で特徴量抽出、後半で予測や判別。

過適合しないことの謎
・実は重要なパラメータは一部だけなのかも（枝刈り）。←脳の成長時におけるシナプス刈り込みと似ていて面白い。

・漸近リスク解析←パラメータ数を無限個として使うことによって、見通しがよくなるのが面白い！無限を扱う数学が「役に立つ」例。

・バイアスとバリアンスは、実はトレードオフではないかも！すると統計学の常識がくつがえる。

よく分からなかったこと：
・ランジュバン動力学による確率的勾配降下法の解析。焼きなまし法の勉強をしないといけないと思った。


次に読みたい本：
斎藤康毅『ゼロから作るDeep Learning: Pythonで学ぶディープラーニングの理論と実装』

[ken1maedaさんの感想 · 2021年10月15日]

深層学習にまつわる数学的な謎を，数式を使わずに概念的に説明したものである．気軽に読んで概略を理解するのに適した本である．

[しのさんの感想 · 2021年8月12日]

流行りのAIでなにかできないかなとどこかブレイクスルーを探している状態で書店で見かけ、手に取った一冊。読みやすく、さらっと読み終えた。著者は"原理に迫る"ことにこだわりを持っていて、もしかしたらこれまでの人生でその点を否定されたこともあるのかな（実用性を重視した研究をしろ的な）と勝手に想像して、勝手に想いを汲み取りながら読んだ。この分野には疎いし、数学も苦手なので3章以降大事なところは理解が追い付いていないけれど、また一歩前には進めたと思うたぶん。
自分自身先に実装、あとから理解が追い付いてくるタイプなので深層学習については一回なにか作って、動かすことを次の目標に、また本を読んだり、調べものをしていきたい。

[kazuhisachibaさんの感想 · 2025年5月26日]

深層学習の現状と問題点を，数学を使わず語る．機械学習の問題点に言及することで，現状の研究課題が納得できる．対応方法論が，機械学習の応用分野からの参入者というのも近年の学会の様子を思い浮かべるとよく理解できる．

[ケンイチの弟子さんの感想 · 2024年10月24日]

ちょっと難しい、、、
なぜ深層にすると良いのか、パラメータを増やせば良いのか、数学的原理は微妙に分かっていないらしい
むしろ、今までの理論を覆すような結果が実際のニューラルネットで示され、それを説明する理論の提唱がされている

昔読んだ線形計画法の話よりも複雑

[金沢大学附属図書館 Kanazawa University Libraryさんの感想 · 2024年6月10日]

#ようこそ「科学沼」へ

金沢大学附属図書館所在情報
▼▼▼▼▼
https://www1.lib.kanazawa-u.ac.jp/recordID/catalog.bib/BC06816904?caller=xc-search

[k0418さんの感想 · 2024年3月7日]

数式をほとんど使わず理論を説明する。二重降下問題は、人間がとても少ないデータで学習できることと関係しているのだろうかと思った。

近似誤差レート：滑らかな関数であれば２層で充分だが、ジャンプがある場合や非均一的な滑らかさの場合４層必要。

特徴量を抽出するのに多層が必要で、後半の層で分別か

理論によると、自由度を増やすと過適合しやすくなる（1/2乗に比例）が、実験ではパラメータ増やすほどよくなる。この理由についていろいろな説がある
・枝刈りしても高い精度があること
・宝くじ仮説（小さな部分ネットが選ばれている）
パラメータの値や探索領域の大きさが自由度に関係との説が出るが理論は否定
・損失関数が平坦だといいというPACベイズ理論

二重降下問題：パラメータ数増やしていくとデータ数と同じくらいのところで一旦損失が大きくなるがさらに増やすと減ってくる。
限定的な理論的説明がある
人間の学習もとても少ないデータで学習できることと関係？

確率的勾配低下法：損失（誤差）を小さくするようにパラメータを更新。複雑な損失関数なのになぜうまくいくのかよくわかってない。
　・過剰パラメータで損失関数をゼロに張り付かせる？
　・高速化のために訓練データを一部しか使わないことが奏功？（ランジュバン動力学）

[おぬまさんの感想 · 2024年1月7日]

図書館で借りた。
第3次ブームと言われて久しい人工知能分野。その中核的な要素であるディープラーニングについて語った1冊。タイトル通り「原理に迫る」ということで、分かりやすく噛み砕き、表面的な解説をした印象だ。
言い換えれば、しっかりとした教科書ではないので、専門外の人がなんとなく知りたいという目的や、あくまで「初歩中の初歩でいいんだよね～」という人に薦める感じかなと思った。
個人的には、ニューラルネットワークを多層で積み重ねたのが～は分かるが、その"原理"を解説してくれている部分は、非常に分かりやすくて腑に落ちた。

[TaHiさんの感想 · 2023年10月26日]

今泉允聡「深層学習の原理に迫る」読了。深層学習の根幹をなすニューラルネットワークは二層で数学的に十分であるにも関わらず多層になるほど性能が上がるとの事。しかしそれはその数学が適正でない。これは実世界が非均一的な滑らかさを持つ関数の近似でしか捉えられないからという事を示唆するのかなと思った。

[pnictideさんの感想 · 2023年8月21日]

相転移現象の記述に深層学習を適用可能とか、暗黙的正則化による過適合抑制というのは初めて知った。PACベイズ、二重効果理論、ランジュバン動力学(焼きなまし法の解析に便利)等々、興味深かったが、いずれも深層学習の理解には未完成のツールとのことなので、日進月歩のこの分野でいまそれぞれの手法での理解がどこまで進んでいるか知りたい。また、30-40年前に既に発見されていた手法が忘れ去られ、車輪の再発明に研究者たちの貴重な人生の時間が奪われているのがもどかしいと感じた。知識・技術の体系化と継承は、それが積み上がるほど難しくなっていくが、これを諦めると人間の進歩は止まってしまうのかもしれない。

[晴ぼんさんの感想 · 2023年7月31日]

深層学習 の議論について 手際よくまとめた本。最新の理論動向を勉強するには良い一冊。
AIを研究している修士なら一通りの読んでおいて損はしない。

[本好きの社長さんの感想 · 2023年7月19日]

タイトル通り、なぜ深層学習は人間の予測を超える結果を出すのか？を難しくない数学で解説してくれている本。時間があれば再読したい。

[桜美林大学図書館さんの感想 · 2023年6月7日]

https://cool.obirin.ac.jp/opac/volume/914135

[akipiiさんの感想 · 2023年4月2日]

ChatGPTで起きている事象の意味は何なのか: プログラマの思索 https://forza.cocolog-nifty.com/blog/2023/04/post-ff1901.html

[しょりえさんの感想 · 2023年2月28日]

ディープラーニングについて漠然と思っていた、パラメータや学習の層が多いほうが(多いから)学習効率が高い、ということに関して、数学的な裏付けはなく仮説もいろいろと棄却されていることについて驚いた。

よく言われる、深層学習が出す答えはブラックボックスとは、単純に過程がわからないだけではなく、理論も成立していないということを鑑みると、今後研究が進んで数学的にも最適な深層学習の方式が確立されれば、大きなブレークスルーがあるのかもしれないと感じた。

[れふさんの感想 · 2022年12月29日]

深層学習の性質を数学的に理解しようとしている研究者による、2019年頃の動向の説明。内容は面白い、自分の好みのものだったけれど、まだあれもこれも未解決という印象で、それでどうなるんだろうという問に答えが与えられるわけではないことが、コンセプト的に仕方ないけれど残念。
221228

[kappappa14さんの感想 · 2022年2月3日]

もうちょっと踏み込んで数式での説明が見たかった。お気持ち本になってしまう。

パラメーター数が異常にあるのに、なぜ過学習しないのか？ってのはたしかに疑問なところで、宝くじ仮説は興味深かった。
人間が認知できるレベルを越えているのだとしたら、もはやどんなモデルが内部で使われるのかもモデルに任せた方が良いってことなのかもしれない（安直）。

[オフロスキさんの感想 · 2021年12月31日]

技術の可能性に／適用性に見通しが作れるように感じた。再読したい。

[たんたさんの感想 · 2021年12月21日]

ある程度機械学習や深層学習、物理のバックグラウンドが前提知識になりそうだが、それを差し引いてもとても参考になった。なぜ多層なのか、なぜパラメータが多いほど精度が良いのか、なぜ過適合にならないのかを学べた。非常に薄くてすぐに読み終えられるのもよかった。一方で縦書きの一般書の限界かもしれないが、個人的にはドロップアウト等の正則化手法の説明もあるともっとよかった。

[mogmog26さんの感想 · 2021年11月23日]

　この本は機械学習、深層学習がなぜ良い結果をもたらすのか説明できないことに対してもやもやしている方にはお勧めの本です。説明可能なAIという分野が発達してきているものの、基礎的な予測を導出する過程においてさえ、まだ数学的にそれが正しいかどうか説明できる段階にはないというのが現状のようです。

3章：深層学習においてニューラルネットワークの多層がなぜ必要か。
→これは滑らかな関数以外の素人的にいうとめちゃくちゃな関数を表すために必要といってよいです。例えば層が少ない場合には不連続なジャンプを含むグラフを表すことができません。

4章：膨大なパラメータの数の謎
→パラメータは多いほうがいいでのでしょうか。これも実は数学的には結論が出ておらず、パラメータが増えるほどに損失が増えるポイントがあるのですが、その後下がるという研究結果があるそうです。

また、パラメータの数が訓練データよりひとつでも多いと過適合が発生してしまう、ということもわかっています。しかしさらにパラメータの数が訓練データが無限にあるとき、損失を減らしていくことができることもわかっていますが、無限は検証が困難であるためまだ発展途上となっているそうです。

5章：なぜパラメータを学習できるのか

→パラメータを自動で学習できるのかどうかもひとつの謎となっている。確率的勾配降下法を用いることによって損失をゼロにするパラメータに到達するのには大量のパラメータがあればよいことがわかってきている。しかしそれがどの程度の数なのか、そもそも損失をゼロにするパラメータが最適なのかどうか、こういったところについてもまた研究がなされている状況であるということです。

6章：原理を知ることに価値はあるか

→今、自分たちが扱っているものについての説明ができなければ問題があったときに対応ができない。安心して使えない。そのため原理を知ることは重要。

著者プロフィール

東京大学 大学院総合文化研究科 准教授

「2023年 『応用基礎としてのデータサイエンス　AI×データ活用の実践』 で使われていた紹介文から引用しています。」