本棚登録 : 
感想 : 
- 本 ・本 (168ページ)
- / ISBN・EAN: 9784153400092
作品紹介・あらすじ
人工知能チャットボット「ChatGPT」の知られざる仕組みと基礎技術について、自らも質問応答システムの開発に携わる理論物理学者が詳細に解説。今も進化し続けるChatGPTが、将来的に人間の脳に匹敵する「思考の本質」を身につける可能性が鮮やかに示される
感想・レビュー・書評
-
正直、言っていることを正確に理解できているのかが、そもそも分からなかった。
もともと馴染みのないフィールドなので、名称や説明内容を、頭の中でイメージ出来ないのが問題だ。
ただこのようなことだろう。
・ChatGPTの思考システムは、人の頭の中のニューロンのようなもの。
・基本的な概念は、ウェブや書籍などから、人が作った文章の膨大なサンプルを集めるところから始まる。次に、「それと似た」文章を生成するようにニューラルネットを訓練する。具体的には、「プロンプト(指令・命令)」から始めて、「訓練に使われたのと同じような」文章を続けられるようにする。
・ChatGPTの内部にはウェブページや書籍などの文章がそのまま蓄積されているわけではなく、精度10桁未満の無数の数字であり、その数字が文章全てから集約した構造をある種の分散型でエンコードしたもの。
・人間が構築したと明確にいえるのは、実質的に大枠の基礎構文だけで、それ以外はすべて訓練データから学習する。その中身はブラックボックスだ。
・ChatGPTの動作は基本的に次の3段階で進む。
①今までにできている文章に対応するトークン列を取得し、それを表す埋め込み(=数字の配列)を見つける。
②この埋め込みを対象として、「標準的なニューラルネットと同じように」、連続したネットワーク層の中を値が「波紋のように伝わって」いって、新しい埋め込み(新しい数字の配列)が生成される。
③この配列の最後の部分を取得し、そこから次に来そうなトークンの確率が得られる約5万個の値の配列を生成する。
もちろんChatGPTの生成品は、完全ではないし、また特に数学問題では間違っているリスクがあるらしい。
それはそれで、人間的にも感じる。
このニューラルネットと言う概念は1940年代に考案されたらしい。
そんな古くから始まっていたのかと言う驚きと、ここ数年での飛躍的な進歩から、次の10年ではどんな世界になっているのかと言う期待半分、恐さ半分の複雑な心境にさせてくれる書だった。
11
詳細をみるコメント0件をすべて表示 -
スティーヴン・ウルフラム「ChatGPTの頭の中」読了。おもしろかった！道具としての生成AIに注目が集まってるけど、それは1つの側面で、人工知能の目的は、本来ヒトの脳・意識を理解するためにあり、その理解が深まる可能性が出てきたのがすごいんだなぁ。
4
-
NNのはなしから始まって、DL、Transformerのアテンション機構まで解説しながら、普段私たちの脳内で行われる「言語構築」との対応について考察されている。抽象的な表現・図が多くて辛い部分もあるので「最高の解説書」かはわからないが、正しくない軽視や過信は修正できそう。
あと、「正解を導くようなもの（たとえば計算問題）は苦手なので、俺の作ったWolfram｜alphaを使え！いつかChatGPTと融合して最強になるぞ！」という宣伝があるので、「この書籍にはプロモーションを含みます」という感じだった。
そして、計算言語、という概念は非常に興味深い。言語を数学・物理的に捉えられる可能性が出てきたのも、私たちの脳でしか作り得ないと思われていたものが大規模なネットワークで再現できたからであり、近年のAIの進化はそういう示唆を逆説的に与えてくれる魅力があると思った。
3
-
【書誌情報】
原題：What Is ChatGPT Doing … and Why Does It Work?
著者：Stephen Wolfram
監訳：稲葉 通将 [https://keldic.net/]
訳者：高橋 聡 実務翻訳家。[https://baldhatter.hatenablog.com/]
ISBN：9784153400092
価格：1,012 円(税込)
ISBN：9784153400092
刊行日：2023/07/19
人工知能チャットボット「ChatGPT」の知られざる仕組みと基礎技術について、自らも質問応答システムの開発に携わる理論物理学者が詳細に解説。今も進化し続けるChatGPTが、将来的に人間の脳に匹敵する「思考の本質」を身につける可能性が鮮やかに示される。
[https://www.hayakawa-online.co.jp/shopdetail/000000015521/]
2
-
ChatGPTに代表されるLLMのしくみとして、トランスフォーマーを用いて単語を意味空間に位置付ける「埋め込みベクトル」の最適化と、入力された単語間の意味空間上の距離を把握して、次に来る単語を予測するという動作原理がわかった。
現在の生成AIが、なぜこれほどうまく機能するのかを理論的には明らかにできておらず、「結果としてうまくいっている」だけの状態であること、しかし、結果としてうまくいっている以上、人間の言語と思考を表現する未発見の理論が存在しているはずであるとの著者の主張は印象的であった。
1
-
マセマティカを作ったことで有名なウルフラムさんのchat gpt解説本。彼のサービスのウルフラムアルファに繋げるとすごいぞという本なんだけど、導入の所の説明は見事。素晴らしい。オープンループなんだよってすごい強調するとか微笑ましい、私の興味は、人間の文の組み立て方の仕組みがわかった。それで作られてきたぶんによって社会はどのように作られてきたのか？なんだけど、ウルフラムさんはそこには興味はない。理系。
1
-
Wolfram Alphaを開発・運営するウルフラムリサーチのCEOスティーブンウルフラムの著書だけに数字や数学に強いWolfram Alphaと逆にそこが弱点のChatGPTとの比較から、連携構想などとてもユニークな視点で論考されています。
また、とても気になっていたトランスフォーマーについては、注意機構への説明はあるものの、岡野原大輔氏の著書「大規模言語モデルは新たな知能か ChatGPTが変えた世界」で言及されていたMLPブロックへの説明が無かった。ただ、ものの「基本的な特性」を数の配列で表し、「その特性が近いもの」は近い数値で示す仕組みとして、「埋め込み」という仕組みが説明されています。これがMLPブロックに似ているようにも思いますが、結局分からず、そこは不完全燃焼での読了となりました。
1
