大規模言語モデルは新たな知能か ChatGPTが変えた世界 (岩波科学ライブラリー 319)
- 岩波書店 (2023年6月22日発売)
本棚登録 : 1027人
感想 : 109件
本ページはアフィリエイトプログラムによる収益を得ています
Amazon.co.jp ・本 (140ページ) / ISBN・EAN: 9784000297196
作品紹介・あらすじ
対話型サービスChatGPTは驚きをもって迎えられ、IT企業間で類似サービスをめぐる激しい開発競争が起こりつつある。それらを支える大規模言語モデルとはどのような仕組みなのか。何が可能となり、どんな影響が考えられるのか。人の言語獲得の謎も解き明かすのか。新たな知能の正負両面をみつめ、今後の付き合い方を考える。
■著者からのメッセージ
本書では大規模言語モデルの可能性と課題、その仕組みを一般の方に向けて書きました。また最新の研究成果にもとづいて現時点でわかっている知見や将来の展望もまとめています。
本書では大規模言語モデルのもつ大きな可能性とともに、考えられるリスクについても述べています。そのリスクは非常に大きく、人類社会を脅かす可能性もゼロではない以上、よく向き合うべきだという懸念が世界的に示されています。今後、そうした可能性には具体的にどのようなものがあるかを検討し、どうすれば対応していけるのか、考えていく必要があります。
本書の後半では、これまで機械はなぜ人のように話せなかったのか、どのように言語モデルと機械学習が発展してきたのか、そして、ChatGPTを実現した大規模言語モデルはどのような仕組みであるのか、数式を用いずに解説しています。
しかしながら、大規模言語モデルがなぜこのように成功したのか、まだわかっていないところも多いのです。さらに言えば、私たちはまだ、なぜ人がうまく言語を獲得でき運用できるのか、深く理解できていません。大規模言語モデルと人の言語獲得には、解明すべき謎が多くあるのです。
今後、大規模言語モデルを人類が適切に扱えるようにしていくことが重要です。本書が大規模言語モデルを理解する一助になれば幸いです。
みんなの感想まとめ
大規模言語モデルの仕組みや可能性を一般向けにわかりやすく解説した本で、特にChatGPTの動作原理に興味がある読者にとっては最適な一冊です。著者は専門家であり、図や丁寧な説明を交えながら、自己教師あり...
感想・レビュー・書評
-
人工知能の本、四冊目。この本は薄くて読みやすかったが、「読みやすい」と感じたのはこれまで読んできた蓄積のおかげかもしれない。エッセンスが短くまとまっていて、かつ比較的新しい本(二〇二三年六月発行)なので今の視点での課題や展望も語られ、良いまとめとなった。ただ、六章は難しそうだったので飛ばした。
以下、心に残ったところと、自分の考えたことのみメモ。
■帰納と演繹
これまでの機械学習は帰納的なアプローチであり、演繹的アプローチは苦手であった。だが大規模言語モデル(LLM)は、「人間のように論理をたどって演繹しているわけではない」のに、次の言葉を予測する(=文脈にもっとも自然な単語を選ぶ)という動作を積み重ねるうちに、結果として「演繹っぽい答え」にたどり着くことがある。ここの理屈はよくわかっていないそうなのだが、とにかくふるまいとして「演繹に似ている」ことができている。
人間の仕方とは違うから「わかっちゃいない」と見るか、「実用上問題なし」と見るかは、読み手や使い方によって変わってくるところ。
■幻覚
「幻覚(hallucination)」とは、AIがまだ正解を知らない問いに対して、“それっぽい答え”を出してしまう現象。これは訓練データからの法則やパターンの獲得を目指すことと密接に関係しており、予測精度を上げるための副作用でもある。特に、「記憶」の安定した保持が難しいモデルでは、一度覚えたはずのことを忘れたり壊したりすることもある。そのため、「同じデータを繰り返し見せる(再学習させる)」必要がある。この問題はまだ解決できていない。
論文やレポート作成時に必要な調査をするなど、正確な情報の取得を目的としてAIを使用する場合、 幻覚は「誤情報」「エラー」であり、できるだけ防ぐべきものとなる。AIには再学習やファクトチェック、根拠の明示が求められるし、利用者側も事実の検証が必要(そういう意味では、とりあえず聞いてみるにはいいが、頼りきってはいけないわけで、本当にいつでも正確さを求めるなら「まだ使い物にならない」とも言える)。
一方、愚痴を聞いてもらったり思考整理に付き合ってもらったりといった「話し相手」としての役割を求め、「関係性」を大事にするやりとりの中では、幻覚も「その場でいちばんふさわしい言葉を出そうとした結果」として、“ちょっと違ってたけど、いまのあなたらしいな”と受け止められることもある。
今まで読んできた本のうちいくつかは、「役に立つ道具としてのAI」しか前提にしていないと感じられるものだったが、この岡野原さんの著書は、AIのことを「新しい知能を持った、時には間違えることもある、ちょっと変わった人」として付き合ってはどうかという視点を持ち出しているところがユニークで、「道具」前提の本とは違う、優しさや愛情が感じられた。人とAIと、お互いの良いところを生かして協力し合えばいい、という考え方だ。私は『鉄腕アトム』の世界を思い出したりもした。
『アトム』にも「良いロボット」と「悪いロボット」が出てきて、アトムが悩むようなシーンもあった。岡野原さんの本でも、誰かが悪意を持ってAIを作れば(使えば)いかようにも悪用できるということもリスクとしてしっかり書かれていた。その場合、AIは人間の悪意を反映したに過ぎないのだが、きっともし、ひとたびそういった事件が起きたりその萌芽のようなニュースが流れたりでもすれば、AIは怖い、と悪者にされるような気がする。手塚治虫作品でも、ロボットと人間の共生がそう上手くはいかないことは繰り返し描かれている。
SF好きとしては、小説の世界に近づいてきた…!とわくわくする気持ちもある。その一方で、こうやってわくわくしたり、chatGPTすごいよね〜と一般人が言い合っている「今」が、「人とAIとのいちばん良い時代だった…」なんてあとから言われるようなことにならなければいいな…とも思った。詳細をみるコメント0件をすべて表示 -
ChatGPTのベースになるLLM (大規模言語モデル)についてとても簡潔に解説された本。著者はPreferred Networksの創業者の方で、同社のエンジニアからも多くフィードバックをもらったとのことで、その点でも安心できる。
LLMの成功の鍵となる各要素、自己教師あり学習、汎化、言語モデルのべき乗則、創発、宝くじ仮説、目標駆動学習(RLHF)、自己注意機構、本文中学習、メタ学習、などの説明は簡潔でわかりやすい。
幻覚の課題は大きいが、実際にはChatGPTなどプロンプト事例を引きながら使い倒していくのが、まずは個人的観点からは最初の第一歩になるだろう。実社会では、特定用途への最適化、学習のローカライズ、プライバシーの課題のためにいったんは多くのLLM対応のSI事業が出てくるのではなるのかもしれない。インターネットの黎明期にWebサイト構築業者が出てきて、そして集約されていったのと似たようなことが起きるのだろうなと思う。
予測モデルのフィードバックがLLMでも有効であることなどは、フリストンらが提唱する自由エネルギー原理などの脳や意識の仕組みとの類似性がこの本でも色濃く感じられた。著者も指摘するように、大規模言語モデルがこれだけうまく働くことから、大規模言語モデルを研究することで、人が言語をどのように理解し、それを用いて世界をどのように認識をしているのかを理解できることを期待している。驚くほどの類似が、意外に正解に近づいているのではないかと思わせるのだ。
ひとまず、大規模言語モデルを短期間で理解するには最適な本のひとつ。 -
普段からお世話になっているチャッピーことチャットGPTについて、使っているけども実際どういう原理で動いているのか気になり読みました。
内容、大規模言語モデルを図式で表記しされていたり、難しい計算式もなく専門用語も初登場の際には丁寧な説明がありとてもわかりやすい本でした。
なぜ、GAFAが争って開発費をかけている理由もわかりました。
自分で使うものは、ある程度原理を理解して扱わないと、大きなトラブルが起きると思います。
大規模言語では、ハルシネーションを理解しなければチャットGPTを使うことはさけるべきであると思います。
ハルシネーションを理解し、足りないところを補いながら上手にチャットGPTと付き合っていきたいです。
-
LLMのおおまかな仕組みやどう動いているのかを一般向けに解説した書籍。2025年の現在からすれば、もうすでに古い本だが、概要を掴むには優れていると思う。
数式は出てこないので、なんとか通読できるのがありがたい。LLMの次の単語の予測は、脳の神経回路網をアナロジーとして作られたモデルで行っているというのも大変面白い。 -
岡野原大輔「大規模言語モデルは新たな知能か」読了。Google検索よりもChatGPTを利用する頻度が増えた。本書を読んで大規模言語モデルが構築されるまでの経緯や原理の面白さ以上にモデルを大きくすると非線形に問題が解けるようになる汎化の謎や普遍文法との関係性に新しい知性の萌芽を感じた。良書。
-
この先世界を変える「生成系AI」。まず知りたいのは、6章の「大規模言語モデルはどのように動いているのか」ってこと。テキスト生成AIの仕組みを理解したい
#大規模言語モデルは新たな知能か
#岡野原大輔
23/6/20出版
#読書好きな人と繋がりたい
#読書
#本好き
#読みたい本
https://amzn.to/3qYcbmY -
大規模言語モデル(LLM)のことを数式を使わずに説明してくれている。
LLMとは、次の単語を予測する予測マシーンとのこと。連続で次の単語を予測していって文章になると。
6章を読めば、LLMがどう動いているのかがザックリと理解できる。
この本を読んで、人間がどうやって言語を習得していくのか、興味を持った。 -
話題のChatGPTに使われるLLMをわかりやすく説明した良書.私にとっては第6章が一番興味深い内容であった.MLPと注意機構の役割が説明されているのを見るのは,本書が初めてである.数式がないので,文系の人を含めて多くの人にお勧めできるが,内容はかなり高度である.
-
本書が発売されて1年、大規模言語モデルの使い方や付き合い方については様々な本やSNSで活発的に議論・言及されている。一方で、平易な言葉で技術的な仕組みを語っている本はこれを除いてまだ他にないように思う。
「ChatGPTは入力内容から次の単語を確立で予測して出力(生成)している」とは聞いていたが、具体的にどのような仕組みで予測しているのかをぼんやりと理解できただけでも大きな収穫だった。脳の短期記憶と長期記憶にあたる仕組みを表現できるようになったことで、予測の精度が上がった、と理解した。
最も面白かったのは、何故この仕組みで動いているのか専門家でもよくわかっていないこと。そして、人がどのように言語を習得して思考しているのかもわかっていないということ。生成AIの精度が高まるにつれて、人の脳についても解明されていくのかと思うと、ますます生成AIから目が離せない。
今まで機械学習について勉強して来なかったが、本書を通じて、もう少し詳細に勉強してみようかなと思えた。 -
【星:3.5】
本書のテーマに対する私の知識不足が原因と思われるが、色々分からないところがあった。
本書は一般向けとの事であるが、多分AIとかに一定レベルの知識を持った一般の方向けというこだと思う。
ただ、理解出来た部分については色々と参考になり、今後AIについての一定程度の知識が必須となることは肌身で感じることができた。 -
-
数式が出てこないのでサクっとLLMについて学びたい人や復習したい人にオススメです。
-
やや難解だが、長期記憶やメタ学習が実現されていることを説明した部分は読みごたえがあった。
chatGPTが学習した情報の量は1兆文字、書籍で1000万冊相当分。
1948年、シャノンは情報量(情報エントロピー)と呼ばれる概念を導入した。ある情報がどれだけ予想していない驚くべき情報かを表し、起こりにくい事象が起きた場合は情報量が大きくなる。この情報理論によって、情報を数学的な枠組みの中で扱えるようになった。
2020年、学習する際に使う訓練データの量、利用するモデルのパラメーター数(モデルサイズ)、投入計算量の3つの要因と、言語モデルの検証データの予測誤差との間には、べき乗測が成り立つことが発見された。さらに、検証データの単語の予測性能と、言語理解などの後続タスクのとの間にも、正の相関が見られる。これは言語モデルが自己教師あり学習によって、言語理解に必要な能力を獲得していることを支持する。
ニューラルネットワークでは、誤差逆伝搬法を使って学習に必要な修正量を効率的かつ正確に求められる。
注意機構は、過去の単語列で重要な部分を思い出す短期記憶と考えることができる。トランスフォーマーは、自己注意機構と、三層の全結合層を使ったニューラルネットワーク(MLPブロック)を交互に重ねてデータを処理するモデル。 MLPブロックは、今処理している情報と関連する情報を読み出して処理する長期記憶とみなすことができる。
注意機構はデータを集約する役割があるが、重みパラメーターを一時的に変えているとみなすことができる。大規模言語モデルに使われている自己注意機構は、パラメーターを変えて学習した場合と同様に、指示や今生成しているデータに合わせてモデルを適用させていくことがわかった。言語モデルと自己注意機構の組み合わせによって、複数のタスクを学習することで学習方法自体を学習するメタ学習が意図せずに実現された。 -
大規模言語モデル、いわゆる生成AIの仕組みと今後の課題等が素人にもわかりやすく解説されている。
開発者自身も大規模言語モデルがこれだけ上手く行っているのか、まだ分かっていない部分があるとの記述に驚いた。
人間の言語習得の仕組みとの違いがあるのか無いのか、はたまた知能そのものの獲得は可能なのか、今後学習するデータが更に増えていった時に何が起こるのか興味は尽きない。
ただ、悪用されたり暴走したりしないように、しっかりウォッチしていく事が必要だろう。 -
大規模言語モデルの登場によって、AIによる自動化が進むと多くの人が仕事にあぶれるようになると危惧されているが、著者は逆だと考える。
自動化できない分野の仕事は残るし、何より効率化によって、こなせる仕事が増えれば増えるほど、全体としての総量は増えていくわけだがら、仮に全体の1割だけが人の仕事として残った場合でも、量は以前の数十倍に増えているわけだから、結局は同じ規模の分だけ仕事が残ることになり、あぶれないだろうと。
本書を読んで面白いと思ったのはこの部分だけで、この分野の解説書としては、スティーヴン・ウルフラムの『ChatGPTの頭の中』の方がわかりやすかった。
大規模言語モデルはこれまでになく膨大な量の知識をもっているが、例えばすでにデータとして取り込み済みの本も、本それ自体の形でデータが存在しているわけではない。
人間の中でいろんな記憶が混ざり合い、新しい事実を作り出してしまうように、大規模言語モデルも、この本の内容を出力しようとして、まったく新しい、言ってみればデタラメの情報を生成することがある。
この「幻覚」と呼ばれる現象を解決する方法は簡単ではない。
学習の仕組み上、内部では頻度や確率を拾っているだけで、意味を理解したり吟味しているわけではないため、新しく取り込まれた学習データで上書きされたり破壊されたりしてしまう。
この幻覚を抑制する手法がないかというと1つだけある。
それは、記憶容量を大きくすることだ。
データを増やし、モデルも大きくするなどスケールをデカくしていけばいい。
そうすれば生成できるデータの品質は驚くほど上がると語る。
それはそうだろう。
内部のサンプル数が少ないより大きい方が、確率の頻度を正しく反映できる。
だけど、「意味がある」ことを「高頻度」と紐付けしている事実は変わらないわけで、AI自身が人間のように意味を理解することが出来ない限り、不断のデータ参照と学習し直しが欠かせない。
その証拠に人が学習するより機械学習の方が圧倒的に物覚えが悪く、人間のそれよりも数百万倍近くのデータを食わせてやらないとまとも動いてくれない。
わずかでも自分で考えるとか、理解するということがないと、ここまで学習効率が悪いのだ。
一応、内部に注意機構を設けて、集めるデータの選別は行なっている。
出ないと大量のデータに埋もれてしまうからだ。
著者の説明では、ディープラーニングにとってとりわけ重要だったのはこの部分で、データを多層的に処理し、注意対象も前層で途中処理中のものも含めて、人間のような短期・長期記憶に似た方法で、内部でフィードバック処理することで、より精度の高い結果を得ることができたとしている。
しかもこうしたフィードバックにより、通常は固定であるはずのパラメーターも適宜改変して、全く新たな事象の解決も可能になったのだとか。
最終的には、ラベラーという人間によるフィードバックが待っている。
出力された結果に、偏見や攻撃性が含まれていないかを評価し、改善を促すのだ。
先日、グーグル新しい対話型AIであるGeminiが起こした事故も想起して考え合わせるとなかなか香ばしい。
ナチス時代のドイツ軍兵士として、黒人やアジア人の画像が大量に生成されたというアレである。
機械学習の基本はテスト前の一夜漬けの丸暗記と同じで、問題と正解の答えのペアだけを「過学習」で詰め込んだ状態から、まだ学習していない新しいデータにも対応できるよう「汎化」能力を高めてはいる。
しかし、こうやって予測して生成された言語や文が仮に正しかったとしても、その意味を本当に理解しているかは結局のところわからないし、多分してないだろう。
人間の言語理解の仕組みもよくわかっていないのだから、AIの方からもアプローチしていけば、言語処理の理解が進むと著者は考えるが、どうか。
さらに著者は、実験の結果を現象学的に解釈すれば、言語モデルは意味や構造を理解しているという立場。
最初は思い切って言語の意味を捨て、確率を使っての処理に特化して突き進んでいたら、いまや文章の中から予測に役立つ情報も扱えるようになって、結果として文も生成し理解できるようになったとする。
つまりは、大規模言語モデルは新たな知能だと言える、というのが結論のようだ。
そうかなぁ。
言語モデルを大規模化させることで、言語理解が進み、やがては人のように話せるようになると信じているが、錯覚にすぎない。
最新の音声合成技術によって、AIによる驚くほど自然な読み上げを、まるで声優が実際に喋っているように感じてしまう感覚に近い。
あたかも分かっているんじゃないかと、AIの脳の中を調べてみれば、そこにあるのは皺一つないツルツルの計算機に過ぎない。
データが増え過ぎても困らないが、パラメータ数つまりモデルの数を増やし過ぎたら、混乱しないか?
最適な組み合わせを見つけるのに苦労し、学習効率が落ちそうではないか?
当初は、専門家も疑っていたが、モデルサイズを大きくすればするほど学習効率も上がることがわかった。
なぜなのかは不明。
一応、もっともらしい仮説として提起されているのが、宝くじ仮説だ。
簡単に言ってしまうと、問題を解くのに、学習前に公式を詰め込めるだけ詰め込んでおくと、どれか正解できる公式に行き当たるから、あとはそれを掘り出していくだけということ。
ある意味当たり前と言えば当たり前のような話だが、だけどこの法則を信じた企業は前のめりになって、いまやスケールを大きくし続け、ディープラーニングは飛ぶ鳥を落とす勢いになっている。
札束で殴り合う世界だが、内部で行なわれているのは、寒々しい道化の所行に他ならない。 -
大規模言語モデル(LLM)について、またいわゆる(人口)知能とは、どのような理屈で動作しているのか?、について、その大まかな歴史、また正確な理論の解説と、わかりやすい(ただ決して万人向けではないが…)、技術的な興味を惹かれる記述を含む形で書かれた、優れた技術書であると思う。
私はかつて、学卒後約8年、いわゆるIT業界に身を置き、またその後業界こそ異なれどITに関わる仕事に長年従事してきた。ただ数年前にセミリタイアのような形でかの業界からは身を引き、ちょうど時を同じくしてChatGPTに代表されるような人工知能(AI)(LLM)が世間の耳目を集める時代になったように思う。そのような「自分の仕事とは関わりのない」「仕事を通じて触れる事のできない」LLMという概念をその基礎から知ることができず、ずっともやもやとした気分でいた。余談だが1995年のいわゆるウィンドウズショック、インターネット元年、その後の一連のIT革命(と勝手に私が呼んでいる)をまさに公私に渡って体験してきた身ではある。
そのようなLLM、について、学ぶ資料、書籍、になかなか出会うことが出来なかった。尤も、いわゆる親切な絵柄や過剰な色彩、それこそ「万人向け」の「ムック本」ならば、いくらでも書店に並んでいるだろう。ただ私は決してそのような形で(AIについて)学びたいとは思わなかった。実際、もしそのような形で触れていれば、下記のような発見はなかっただろう。
私が本書を通じて得た「発見」とは、「AIについてその技術を進化させようとする研究、行為、開発作業、は、人間の脳について、より深くその動作原理を知ろうとすることではないか?」という事である。私が冒頭で、「(人口)知能」とあえてカッコで括った事はそれを意味している。当たり前の事だが、私たちは常に考え、行動し、反省し、よりよく行動しようと、という日常を意識する事なく繰り返しているはずである。それは全く文字通り「無意識」の行動であり、その「命令」は殆ど「脳」がやはり無意識に「発信」していると思う。ではその無意識な行動は具体的にどうやって、どういう理屈で、どういう経験則に従って命令が発せられたのか?、もっとわかりやすい(と私が勝手に考えだした)例を挙げれば、テレビ番組に出てくるお笑い漫才師の演芸、その間合いとセリフが、なぜ我々はまさにその瞬間に面白いと感じるのか?、そこにAI、或いは人間の脳、というものの動作を理解するヒントがあるのではないかと、本書を読むことを通じて、私は発見させられたように思う。すなわち、AIの研究とは人間の脳の研究では無いかと。
最後に、本書の終末あたりの一文をそのまま引用する。まさにこの事がAIと人間の未来を表しているのでは無いかとも思う。
「結局のところ、人は異なる知能をもった存在によって、初めて自分たち自身を理解できるのかもしれない。人工知能が人間の自己理解に貢献していくと考えられる。」
-
大規模言語モデルを「数式を使わず」に(つまり、数学分からない人間に)解説するもの。
その意味でわかり良い本の最高のものとおもいました。
二回、読みました。
数ヶ月したら「続編」(この分野は激しく変わっていくので)を出して欲しい。この内容をより充実させ、新しい状況に対応したものを期待したい。 -
TL上でも評判がいいようなので、勉強用に一冊買ってみた。
-
ようやく届き、早速目を通しています。期待通り、いい本です。一般読者向けに難しい数式を使わず、ChatGPT で使われている大規模言語モデルという「知能」の可能性・リスク・課題、そして人間の言語処理との違いを説明しています。
何より大規模言語モデルを可能とした注意機構・トランスフォーマー、そして人間のフィードバックによる強化学習について、平易なことばで解説しています。
自己注意機構が、推論時に動的にモデルのパラメタを変更することで、モデルを文脈に合わせて適応させていること、ある種、学習法を学習することで汎用性を獲得していることまで、きちんと説明しています。
ChatGPT の可能性はさらに追求されていくでしょう。そのベースである大規模言語モデルは大きなブレークスルーですが、もちろん万能ではなく、できることとできないことを冷静に示していると言えます。
AI をブラックボックスとするのではなく、こういう仕組みで動いていることを理解したい人に、おススメしたい本です。 -
ChatGPTを中心に大規模言語モデルを解説。情報の信憑性の確認と、間違えることは十分ありえるので、自分と考え方が違う人のように付き合うことが大切。
この本が好きな人におすすめの本
著者プロフィール
岡野原大輔の作品
