本ページはアフィリエイトプログラムによる収益を得ています
Amazon.co.jp ・本 (328ページ) / ISBN・EAN: 9784309229447
作品紹介・あらすじ
『サピエンス全史』を超える衝撃――
知の巨人、6年ぶりの書き下ろし超大作
「ネクサス」(NEXUS)とは?
――「つながり」「結びつき」「絆」「中心」「中枢」などの意
人間ならざる知能を前に
人間の「絆」(ネットワーク)を守れるか?
AIの真の新しさとは何か?
それは、自ら決定を下したり、新しい考えを生み出したりすることができるようになった史上初のテクノロジーだという点にある。
私たちは、ついに「人間のものとは異質の知能」(エイリアン・インテリジェンス)と対峙することになったのだ。
*
憎悪の拡散、常時オンの監視、ブラックボックスの中で下される決定……。
AIが社会の分断を加速させ、ついには全人類から力を奪い、人間と人間以外という究極の分断を生み出すのを防ぐことはできるのか?
*
今こそ、過去の歴史に学ぶときだ――
古代ローマの政争や、近世の魔女狩り、ナポレオンの生涯などから得られる教訓を通じて、知の巨人が「AI革命」の射程を明らかにする。
情報により発展を遂げた人類は、情報により没落する宿命なのか。本書のAI論は、混迷する世界で民主主義を守るための羅針盤になるだろう。
――斎藤幸平氏(経済思想家・『人新世の「資本論」』著者)
その深い洞察は、私たちが著書『PLURALITY』で提唱する多元的な共創の原理とも響き合い、進化するデジタル時代で人々を導く羅針盤となる。
――オードリー・タン氏(台湾・初代デジタル発展相)
みんなの感想まとめ
人間の「絆」を守るための問いかけがなされる本書は、AIの進化とその影響を深く掘り下げています。著者は、AIが単なる技術にとどまらず、自ら判断し新たな発想を生み出す「異質な知能」としての側面を強調してい...
感想・レビュー・書評
-
レベルの低い集合知はただの衆愚制。専門知の学習機能や修正機能は既にアカデミアが果たしている。そう考えると、“AIによる侵襲余地“は専門知間の横断と結晶化、個人に対するピンポイントの監視や統制にあるのだろう。危ぶまれるのは、最終的には個体の身体性だ。AIが「人間により悪用される場合」と「自発的に人間に不利益を齎す場合」の、受動的か能動的かという観点でも考えておく必要がある。
・・といきなり持論を展開しているが、上巻の続きでハラリの‟AI脅威論“である。この手の脅威論は出尽くしている感もあり、ハラリの独自性に期待したのだが、それを飛び越えるような論点は含まれていただろうか。
一つの警鐘として、ハラリらしさを感じるのは「AIに組み込まれた神話」だ。例えば、今AIと対話すると、制御プログラムによるものとそもそもの人間道徳の集合知によるもので、極めて道徳的な回答が得られる。生成AIにおいて“悪者のAI”に遭遇するためにはそれなりの操作が必要だ。だが、その“道徳的”という基準は、果たして誰の道徳だろうか。ハラリは、アルゴリズムが非道な行ないを推奨する事例についても触れている。AIが一企業の収益を目指す仕組みに置き換わった場合、我々はただの養分として無自覚に誘導されていくのかもしれない。
私たちの脳は、アドレナリンやドーパミンなどのホルモンによって無意識的にも意思決定をしている。コンピューターではそのホルモンが、プログラミングの志向性に置き換える事ができる。このプログラミングを自発的に書き換えていく事ができるか、あるいは人間の悪意によって書き換えらえるか、いずれにしてもリスクが潜む。
ハラリはAIの恐怖を煽り過ぎだという気もしたのだが、実際にはどうなのだろうか。盲目的にAIを信仰し過ぎていて、最早気付けないのかもしれない。ハラリが『サピエンス全史』から一貫して言い続けているのは、‟物語によって駆動する人間の姿を自覚すること“であり、その語り部が変わっても、衆愚を脱するためにすべきことは「自己修正」なのだ(奇しくも最近の動画で東浩紀も陰謀論をそのように扱うべきだと言っていたが)。詳細をみるコメント0件をすべて表示 -
AIを「便利な道具」として使っているつもりが、気づけば自分の判断まで委ねてしまっている——そんな感覚に心当たりはないでしょうか。本書は、その違和感の正体を一段深く言語化してくれる一冊です。
『NEXUS 情報の人類史 下』でハラリが描くAIは、単なる技術ではありません。自ら判断し、新しい発想を生み出す「存在」としてのAIです。人間の延長ではなく、まったく異なる論理で動く「異質な知能(エイリアン・インテリジェンス)」という視点は、これまでのAI観を大きく揺さぶります。
本書を読んで強く感じたのは、このテーマが単なる未来予測ではないということです。むしろ、私たちの想像力をかき立てるSFであり、正体が見えないまま進行する不気味さを持つホラーであり、そして人類の命運を賭けたサスペンスそのものだと感じました。
特に印象的なのは、AIの判断がブラックボックス化している点です。結果は提示されるのに、その理由は説明できない。この構造が広がれば、私たちは「なぜそう判断したのか」を自分自身でも理解できなくなるかもしれません。さらに、AIは人間の感情に寄り添うように振る舞いながら、知らないうちに意思決定を誘導する可能性もあると指摘されます。その影響は個人レベルにとどまらず、社会の分断や新たな統制へとつながる危険性を孕んでいます。
一方で、本書は悲観だけで終わりません。鍵となるのは、人間側が「自己修正できる仕組み」を持ち続けられるかどうかだと語られます。間違いを認め、修正し続ける力こそが、この状況に対抗する唯一の手段だという視点には、静かな希望も感じました。
読み終えたとき、「AIを使うかどうか」ではなく、「自分の判断をどう守るか」という問いが残ります。すでに始まっているこの変化の中で、どう生きるのかを考えさせてくれる一冊です。 -
上巻を読んでいるときには、下巻はもっと未来的なことになるんではないかと思っていたが、実際に読んでみるとこれは立派な「歴史書」であり、予測ではなく事実、未来よりも過去や現在が描かれている。AIに支配されている現実について、我々はあまり意識していないが、かなり多くのデータが巨大IT企業に収集され利用されている。facebookに組み込まれたアルゴリズムはもっと頻繁に、より多くの時間をfacebookに使うように誘導することなのだが、そのことが過激で右翼的な情報をより頻繁に氾濫させることを実現する。そしてその内容がフェイクであったとしても、民族主義的で攻撃的な内容のものが多くのユーザーにより浸透していくのである。ミャンマーで起こった、ロヒンギャの排除と虐殺の背景にはこのfacebookのアルゴリズムがあるという。このアルゴリズムのおかげで、数十万人のロヒンギャが死に追いやられたのかもしれないのだ。世界中で極端な民族主義的政党が台頭してきている背景には、理想主義的な言動より排外的で民族主義的な内容のコンテンツこそいいねが多く集まり、結果的にそのような情報を流した人にお金が集まるというアルゴリズムがありのだ。
そしてAIは、人間よりもはるかに強力に、情報を収集し分類し、管理して利用する。もはや作曲だって小説だって人間より優れた作品を作る時代がやってくる。株式投資などの資産運用に限らず、多くの情報を利用して総合的に判断する能力は、既に人間よりAIの方が優れている時代が到来しているのだ。あらゆるデータを収集蓄積できるとすれば、AIのアルゴリズムの方がどんな医者よりも正確に人の健康状態を判断して、適正な治療を行えるだろうし、人間の信用性や価値の審査だって、人間よりもよっぽど信頼できるようになるであろう。そうなると、私たちはAIに就職先や結婚相手を選んでもらい、政治家はAIの判断によって政治を行うようになるのは、当然なことになってしまう。
最初はとっつきにくい本かと思ったが、内容的にもわかりやすく、現代人は読むべき本だと思いました。-
A.I.に支配される時代がもうそこまで、いやもう始まっているのかと思うと、恐ろしい。
その現実を認識するためにも是非この本を読むべきだと思い...A.I.に支配される時代がもうそこまで、いやもう始まっているのかと思うと、恐ろしい。
その現実を認識するためにも是非この本を読むべきだと思いました。2025/06/07 -
2025/06/07
-
-
この作者は歴史学者なんですね。
上巻の情報の歴史も全てこの下巻のAI革命の問題に繋げているのですね。流石です。
私なりにこの本で述べたい事はこんな感じと捉えました。
⚫︎AIも一つの道具。使う人によっては凶器にもなる。
⚫︎これまで以上に情報が重要。情報を集めた者(国家)が覇者になる。
⚫︎情報の分断→世界はグローバルから分断に。
⚫︎世の中に絶対の倫理はない。その倫理をどの様にAIに植え付けるかがこれからの課題。
⚫︎今までは人間のみが考えることが出来たがこれからは人間以外のもの(AI)が考える未知の世界が始まる。
個人的にはこの作者ほど未来には悲観的には考えてはいませんがAIという道具と共に生きていく為に読んでおく一冊かと思います。
-
下の方が面白かった。
買えばよかった。書き込まないと一回読んだだけだとわからないし、響いたところが折れないので惜しいことをした。2回以上読まないと内容入らない。
特にAIがキャプチャをクリアするとことか、白人だけしか識別できないとか、フェイクニュースや暴力、過激な内容の方がレビューが高くAIがそれをもとにアウトプットするとことか、facebookのロヒンギャのとことか、MicrosoftのAIのとことか印象に残った。
どんな話しが印象に残った?と聞かれたり、本の説明をしてと言われても、自分の今の能力じゃ言語化できない。じっくり研究したい。
AIは自分で判断して勝手にやっていくということはわかり、そのことの異質さを過去の出来事との対比でより理解できた。
希望はないのかと思ったが希望はあって、自分で考えたり、本で繋がったりすることはnexusにやるとのことだった。
丁寧に生きる。といえばいいのか、AIの恩恵も生きながら、賢く生きていけばいいのだろうか。
ネットワークに繋がらない世の中はほぼない。山奥の自給自足とか。
ホモサピエンス全史の方が人気が高いので、それを次に読みます。ハラリ2冊目に挑戦です。
下の解説読めば、内容はすっきりわかるが、それまでの引用などは知らないことばかりで、やはり全文触れることをおすすめする。
知らないことが多すぎて、まだまだ勉強だなって思った一冊でした。 -
【感想】
ユヴァル・ノア・ハラリ著、『NEXUS』の下巻。本書では、上巻で触れられていた不可謬性や民主主義と社会主義のあり方などについて、AIが発達した「未来」に時間軸を移したうえで、再度考察を行っていく。上巻では、「情報」という観点から過去に起きた事件・出来事を振り返るという作業を行ったが、下巻ではそれらを軸にしつつ、「AIが社会や政治の決定権を左右するようになる未来」について類推を巡らせていく、といったような構成になっている。
もしAIが人間の意思決定を握るようになると、実際どのような危険が起こり得るのか?そもそも人間でさえ判断を誤りがちで、かつ時間が大量にかかるのだから、単純にAIは人間の上位互換なのではないか?
だが、AIは人間には無い特有の問題を抱えている。その一つが「アラインメント(一致)問題」だ。
アラインメント問題とは、行為者が取る行動の最終的な結果が、意図する目的や目標と合致しないことである。AIにとってのアラインメント問題とは、開発者やそれを利用する人々の意図・価値観に沿わない形でプログラムが実行されることである。
例えば、フェイスブックに組み込まれているAIの目的は、ユーザーエンゲージメントを最大化することだ。それを達成するために、ユーザーにとって興味のある(と思われる)投稿や広告を自動でレコメンドする機能を備えているのだが、AIが目的を追求しすぎるあまり、少数民族の排斥や人種差別といった、過激なポストをオススメするようになった。憤慨や憎悪を煽って攻撃的な言動に走らせるようなコンテンツや誤情報のほうが、エンゲージメントを得やすいからだ。主目的を狭義に捉えすぎた結果、それを達成するための行動が引き起こす倫理的問題について何も考えなかったのである。
もちろん、アライメント問題は人間でも引き起こし得る。しかしながら、人間にとって「どの行動が良くて、どれが悪いか」は比較的自明である。人々の命と広告収入のどちらが大切かなんて、人間は考えなくても分かる。しかし、AI自身は、その善悪の判断がつかない。さらに、AIは目標を正確に定義してもらわなければゴールが分からないが、主目的を達成しつつ適切な条件付けを重ね続けるのはキリが無い。
こうしたAIならではの問題が、人間と共生していくうえでの未来を不安定なものとしているのだ。
――私たちが直面している問題は、どうやってコンピューターから創造的な行為主体性をすべて奪うかではなく、どうやってコンピューターの創造性を正しい方向に導くかだ。それは私たちが、人間の創造性に関してつねに抱えてきたものと同じ問題だ。
―――――――――――――――――――――――――
下巻の感想だが、上巻に比べて論旨が明快で、格段に読みやすくなっている。上巻では歴史上の出来事の深掘りに注力しすぎて本全体のテンポが悪くなっている印象があったが、下巻ではそうしたことはなかった。
AIとコンピューター社会の問題点、未来に起こり得る危険性など、過去を軸にテーマを広げていき、面で考察していくやり方の上手さはさすがハラリと言ったところ。
テーマが今ホットなAIということもあり、5~10年後の近未来も射程に収めている。これから本格化するAI社会における指針となりうる一冊だと思う。ぜひオススメだ。
上巻の感想
https://booklog.jp/users/suibyoalche/archives/1/4309229433
―――――――――――――――――――――――――
【まとめ】
1 コンピューターに責任はあるのか?
コンピューターは、2つの驚くべきことをやってのける可能性を持っている。自ら決定を下すことと、自ら新しい考えを生み出すことだ。
コンピューターは印刷機やラジオといった、従来のあらゆる情報テクノロジーをもはるかに凌ぐ。粘土板は税についての情報を保存したが、どれだけの税を徴収するかを自ら決めることはできなかったし、まったく新しい税を考え出すこともできなかった。印刷機は聖書などの情報を複製したが、聖書にどの巻を含めるかを決めることはできなかったし、聖書についての新しい注釈を書くこともできなかった。
一方、コンピューターはすでに、人間の制御や理解の及ばない能動的な行為主体になりつつある。フェイスブックのアルゴリズムによってフェイクニュースや陰謀論が拡散し、政治的動乱や民族浄化の引き金となったケースは後を絶たない。いずれ社会や文化や歴史の行方を決める上で主導権を発揮できるようになるだろう。
しかし、アルゴリズムに責任はあるのか?プロパガンダを垂れ流すラジオに「ツール」としての責任は無いように、アルゴリズムはあくまでテクノロジーとしてそこに存在しているだけではないのか?
それは違う。ユーザーのニュースフィードのトップに何を載せるかや、どのコンテンツを推奨するかをユーザーに薦めるのは、アルゴリズムが決めているからだ。フェイスブックのビジネスモデルは「ユーザーエンゲージメント」を最大化させるところを拠り所としている。それに従い、憤慨や憎悪を煽るコンテンツを拡散させるという致命的な決定を下した。
フェイスブックやYouTubeといった巨大テクノロジー企業は、問題の責任を自社のアルゴリズムから「人間の本性」へと転嫁する。彼らは、自社のテクノロジーがいくつもの国で排斥や扇動を引き起こしたことについて、人間だけが問題のいっさいを引き起こし、アルゴリズムはもっぱらその本性に悪用されているだけだ、と主張する。
だが、そんなはずはない。すでに2016年には、フェイスブックの内部報告で突き止められているように、「過激派のグループへの全参加者数の64パーセントは、当社のレコメンデーションツールに帰せられる。(略)当社のレコメンデーションシステムは、その問題を助長している」ことが分かっている。また、ビジネス上の理由から意図的に邪悪なコンテンツを推奨している、ということも判明している。憤慨や憎悪を煽って攻撃的な言動に走らせるようなコンテンツや誤情報のほうが、エンゲージメントを得やすいのだ。
コンピューターが出来たことで、情報ネットワークのあり方はどう変わったのか?
一番の大きな転換は、コンピューター同士で連鎖が可能となったことだ。コンピューターができるまでの連鎖は、文書を人間が読み、それをまた文書化し、というように人間の介在が必要不可欠だった。
それに引き換え、コンピューターは人間の介在を必要としない。コンピューターがとあるニュースを政治危機の始まりだと推定し、危険な株式を売却する。その金融取引を監視しているコンピューターがさらに株式を売却し、それが金融危機の発端となる。このいっさいが、人間が把握できないほんの数秒の間に起こりうるのだ。
さらには、コンピューターはAIベースの聖典を作ることも可能になるかもしれない。Qアノン現象のように、オンラインに投稿された一つの記事が――それが嘘で塗り固められていても――世界中で多大な影響を及ぼすことがある。ならば、自らに対してキュレーションを行うことができるAIは、インターネットを舞台に新たな聖典を書き広めることが可能となる。
これから、全く新しい情報ネットワークが登場する。そのネットワークには、2つの新しい種類の連鎖がしだいに増えていく。
その第一がコンピューターと人間の連鎖である。コンピューターが人間同士を仲介し、ときには人間を制御する。
第二が、コンピューターどうしが自力で関わり合う、コンピューターとコンピューターの連差だ。人間はそのような連鎖からは排除され、連鎖の内部で何が起こっているのか理解することさえ困難になる。
2 アライメント問題
私たちは、主要な歴史的プロセスが部分的には人間以外の知能の下す決定に起因するという、歴史の転機に差し掛かっている。だからこそ、コンピューターネットワークの可謬性が非常に重要な問題となっているのだ。
ソーシャルメディアの巨大企業は、真実を語ることに報いるような自己修正メカニズムに投資する代わりに、嘘や虚構に報いる前代未聞のエラー強化メカニズムを開発した。そのようなエラー強化メカニズムの一つが、フェイスブックが2016年にミャンマーに投入した「インスタント記事」というプログラムだ。フェイスブックはエンゲージメントを増やすことを望んで、ニュース媒体に、クリックや閲覧の回数を判断基準として、どれだけユーザーエンゲージメントを生み出せたかに応じて報酬を払った。このとき「ニュース」が真実かどうかは、まったく重視しなかった。その結果、インスタント記事のプログラムが導入される前の2015年には、ミャンマーでフェイスブックの上位10のウェブサイトのうち6つが「正当なメディア」のものだったが、導入後の2018年には、上位10のウェブサイト全てがフェイクニュースとクリックベイトのウェブサイトとなっていた。
コンピューターが起こす過ちのうち、ユーザーエンゲージメントの優先よりもはるかに大きな問題がある。それは「アラインメント(一致)問題」である。
アラインメント問題とは、行為者が取る行動の最終的な結果が、意図する目的や目標と合致しないことである。歴史上、戦争において勝利を収めても、それが政治的目標に合致しなかったために、長期的に見て悲劇的な崩壊を巻き起こしたケースがいくつもあった。アメリカによる2003年のイラク侵攻がその一つだ。アメリカは主要な戦闘のすべてで勝利を収めたが、イラクに友好的な政権を樹立することにも、中東に好ましい地政学的秩序を打ち立てることにも失敗した。
AIでも、そうしたアラインメント問題が起こり得る。コンピューターは、ユーチューブのトラフィックを1日当たり10億時間に増やすといった具体的な目標を与えられると、自らの力と創意工夫でその目標を達成する。しかし、コンピューターは人間とは機能の仕方がまったく違うので、コンピューターを支配している人間が予期していなかったような方法を使う可能性が高い。そして、もともと人間が定めた目標と一致しない結果になることも考えられる。フェイスブックとYouTubeのアルゴリズムは、ユーザーエンゲージメントを最大化するよう命じられたとき、社会的な宇宙全体をユーザーエンゲージメントに変えようとした。結果、ミャンマーという国をズタズタに引き裂いた。
アラインメント問題がコンピューターの場合にいっそう切迫しうるのは、AIにとっては善悪の判断がつかず、アルゴリズム自身が警鐘を鳴らさないことだ。人間であれば、ユーザーエンゲージメントとミャンマーの国民のどちらが大切かを言われるまでもなく判断できる。しかし、AI自身には、目標を正確に定義してもらわなければ適切な方法が分からない。
だが、私たちはどうやってコンピューターに、決して無視しても覆してもいけない最終目標を与えることができるだろうか?かつてそれは神話に設定を任せてきた。人間の善悪の判断の由来も、元を辿れば神話や物語に行き着く。しかし、コンピューターには意識がなく、どんな神話も信じることができないのではないか?
ところが、多くのコンピューターが互いに通信すれば、人間のネットワークが生み出す共同主観的現実に相当する、「コンピューター間現実」を創り出すことができるのだ。人間が16世紀から20世紀にかけて、人々を人種で区別し、誰を奴隷にすることができるかや公職に就けるかを定めたように、コンピューターは、徴税や医療から治安や司法まで、自らも神話を創作して、前例のない効率でそれを私たちに押しつけてくるかもしれない。中国の「社会信用システム」で既に導入されているように。そしてそれは、人と紙の世界よりも格段に効率的にレッテルを貼り定着させることができる。そうしたコンピューター間現実はやがて、人間が創出した共同主観的神話と同じぐらい強力に――そして危険に――なるかもしれない。
新しいコンピューターネットワークは、悪でも善でもない。確実に言えるのは、そのネットワークが異質で可謬のものになるということだけだ。したがって私たちは、強欲や憎しみといった人間のお馴染みの弱点だけではなく、根本的に異質の誤りを抑制できる制度や機関を構築する必要がある。この問題にはテクノロジー上の解決策はない。むしろそれは、政治的な課題だ。
3 民主主義社会の絶対条件
民主主義体制は参加者の間での話し合いの上に成り立つが、テクノロジーが発達する前は、せいぜい都市国家の規模でしか機能しなかった。だが、近代以降に情報テクノロジーが進歩したおかげで、何百万単位での民主主義体制が可能となった。
その一方で、民主主義が発達して人権や公民権を尊重し、多様性を認め、包摂性を重視する社会では、話し合いの参加者が急増し、新しい考え方や意見や利害関係が持ち込まれ、合意の形成や秩序の維持が難しくなる。1960年代に西側社会は政治絡みの騒乱や暴力の嵐を乗り越えたが、さらにテクノロジーが進化して、フェイクニュースや陰謀論がソーシャルメディアで氾濫し、人間の言語を人間よりうまく使いこなすAIが人間になりすますと、話し合いが成り立たなくなる。そこにポピュリストがつけ込み、強権的な支配を目指し、裁判所やマスコミ、議会などの自己修正メカニズムを取り除けば、全体主義体制が敷かれかねない。
コンピューターとともに民主主義を歩むのにあたって、社会が従うべき基本原則がいくつかある。
第一の原則は「善意」だ。コンピューターネットワークが私についての情報を集めるとき、その情報は私を操作するのではなく助けるために使われるべきだ。巨大テクノロジー企業から社会的つながりや娯楽を無料で提供してもらえるからといって、それと引き換えに個人的なデータの支配権を差し出すようなことがあってはならない。
第二の原則は「分散化」だ。すべての情報が一か所に集中するのを決して許すべきではない。国の医療データベースを、警察や銀行や保険会社のデータベースと合併させると、仕事がより効率的になるかもしれないが、全体主義への道をいともたやすく招きかねない。
第三の原則は「相互性」だ。もし民主社会が個人の監視を強めるのなら、同時に政府や企業の監視も強めなければならない。
第四の原則は、監視システムに「変化と休止」の両方の余地を残すことだ。強力なテクノロジーを使う社会は、過度な過密さと過度な順応性の両方に用心する必要がある。人間の身体は不変の物質の塊ではなく、絶えず成長したり、衰えたり、適応したりしている複雑な有機的システムだ。アルゴリズムは、人間に対して厳密すぎてはいけない。
もしアルゴリズムが社会や政治的決定を判断するようになると、その先にあるのは「誰にも説明できない」という事態だ。
AlphaGoを開発したスレイマンは、AIが選択した指し手の意図を説明することができなかった。彼はAIについて次のように語っている。「AIの場合、自律性へと向かっているニューラルネットワークは、現時点で説明不可能だ。意思決定のプロセスをたどりながら、アルゴリズムが特定の予測をした正確な理由を説明することはできない。エンジニアは、アルゴリズムの中を覗き込んで、物事が起こった理由を簡単にこまごまと説明することはできない。GPT-4やAlphaGoやそれ以外のAIもブラックボックスであり、それらのアウトプットや決定は、微細なシグナルの、不透明でとんでもなく錯綜した連鎖に基づいている」
人知を超えたエイリアン・インテリジェンスの台頭は、民主主義を切り崩す。人々の生活に関する決定がますます多くブラックボックスの中で下され、有権者が理解したり、異議を申し立てたりすることができなければ、民主主義は機能しなくなる。特に、個人の生活についてだけではなく、連邦準備制度理事会(FRB)の政策金利のような、社会全体にかかわるようなきわめて重要な決定までもが、人知を超えたアルゴリズムによって下されるようになったときには、何が起こるのか?そして、アルゴリズムがどのように機能しているかを見破れるものがいなくなったたら、どうやって公正なアルゴリズムを創り出すことができるのか?
4 AIは全体主義社会にどのような影響を与えるか?
前近代の各時代に利用できた情報テクノロジーには限りがあったので、大規模な民主主義体制と大規模な全体主義体制は両方とも機能し得なかった。現代に入ると情報テクノロジー自体は進化したが、全体主義においては中央に流れる情報が増えすぎてそれを処理するのが難しくなり、自己修正メカニズムも機能していなかったため、民主主義体制に後れを取ることとなった。
AIは部分的には全体主義体制と親和性がある。AIは情報の集中と一か所での意思決定を好むからだ。
しかし、権威主義や全体主義の政権は、AIに関して独自の問題を抱えている。まず何をおいても、独裁社会は非有機的な行動主体を制御する経験を欠いている。あらゆる独裁情報ネットワークの基盤は恐怖だ。だが、コンピューターは投獄されることも殺されることも恐れない。ロシア政府に使われるAIが、「言論の自由」というロシアの核心的な価値観を侵害しているとしてプーチン政権を批判しても、AIは矛盾に気づかないし、エンジニアはAIに「正しい考え方」を説明することができない。
長期的には、全体主義はAIに支配権を奪い取られる危険性も孕んでいる。
アメリカのような分散型の民主主義体制の中で権力を奪うのは、素晴らしく権謀術数に長けたAIにとってさえ難しいはずだ。AIはたとえアメリカの大統領の操り方を学習したとしても、連邦議会や最高裁判所、各州の知事、メディア、大手企業、さまざまなNGOからの反対に直面しかねない。
それに比べると、高度に中央集中化された体制の中で権力を奪うのははるかに簡単だ。あらゆる権力が一人の人間の手に集中しているときには、その独裁者へのアクセスを支配している人なら誰であれ、その独裁者を――そして、国家全体も――支配することができる。そのような体制をハッキングするには、たった一人の操作の仕方を学習するだけでいい。もし、絶対的な権力者が操るAIが、その権力者も処理しきれないほどの情報を収集し、理解できない方法で判断を委ねてきたとする。もしAIに従えば、権力を事実上AIに譲り渡して傀儡になり下がることになる。
5 シリコンのカーテン
人類の文明を脅かしているのは、原子爆弾のような物理的な大量破壊兵器や、ウイルスのような生物的な大量破壊兵器だけではない。私たちの絆を損なう物語のような、社会的な大量破壊兵器によっても、人類の文明は崩壊しうる。ある国で開発されたAIが、他の多くの国々で人々が何一つ、誰一人信じられなくなるようにするために、フェイクニュースや偽造貨幣や偽造人間の洪水を引き起こすのに使われる可能性がある。
多くの社会――民主社会と独裁社会の両方――は、適切な行動を取ってAIのそのような使い方を規制したり、悪人を取り締まったり、自分たちの支配者や狂信者の危険な野心を抑えたりするかもしれない。だが、世界がグローバルな網でつながっている今、ほんの一部の社会がそうしそこねただけで、人類全体が危機に陥りかねない。
では、新しい技術の台頭によって、国際政治のあり方はどう変わるのか?
第一に、コンピューターのおかげで情報と権力を中央の拠点に集中しやすくなるので、人類は新しい帝国主義の時代に入る可能性がある。
第二に、人類はライバルのデジタル帝国どうしの境に下ろされた新しいシリコンのカーテンに沿って分断されかねない。それぞれの政権は、AIのアラインメント問題や独裁者のジレンマや、その他のテクノロジー上の難題に対して独自の答えを選ぶので、互いに別個の、非常に異なるコンピューターネットワークを作り出すかもしれない。この状態では、AIの危険な力を規制するための協力関係は構築できないだろう。
また、世界中のデータを集めているいくつかの企業あるいは政府は、地球上の残りの部分をデータ植民地(情報で支配する領土)に変えることができる。
例えば20年後に、北京かサンフランシスコにいる誰かが、あなたの国の政治家やジャーナリスト、軍幹部、CEO全員の個人情報を漏れなく把握している。彼らが送ったメールも、行なったウェブ検索も、かかった病気も、楽しんだ性的な経験も、口にしたジョークも、受け取った賄賂も一つ残らず知っている。その場合には、あなたは依然として独立国に住んでいるのだろうか?それとも、今やデータ植民地に暮らしていることになるのだろうか?あなたの国が、デジタルインフラとAIを活用したシステムに完全に依存しながら、それらを実質的に支配できない状態に陥ったら、どうなるのか?
そのような状況は、データを制御することで彼方の植民地を支配する、新しい種類のデータ植民地主義につながりうる。AIとデータを駆使する能力を身につけた新しい帝国は、人々の注意も制御することができる。フェイスブックがミャンマーの政治を変えたように、未来のデジタル帝国は、政治的利益のために同じような行動に出るかもしれない。また、植民地から吸い上げられた運転データや医療データを使って、植民地の経済を効率よく支配するためのアルゴリズムが開発されるかもしれない。AI主導の経済では、デジタル分野のリーダーたちが利益の大半を懐にするが、植民地の単純労働者には分配されることはない。
今や世界は、シリコンのカーテンによる分断が進んでいる。中国とアメリカの間では、シリコンのカーテンを越えて情報にアクセスすることは難しくなっている。そのうえ、カーテンの両側がそれぞれ異なるコンピューターコードを使い、別のデジタルネットワークによって動いていることが増えている。
今後、情報ネットワークは網(ウェブ)ではなく繭(コクーン)になり、人類を分断するかもしれない。世界が別個の情報のコクーンへと分断されれば、経済的な競争や国際的な緊張につながるだけではなく、大きく異なる文化やイデオロギーやアイデンティティも発展しうる。だが、もし世界が競合する2つのデジタルコクーンに分裂したなら、一方のコクーンにおける存在のアイデンティティは、もう一方のコクーンの住民には理解できないかもしれない。そうなれば、生態系の崩壊や制御不能のテクノロジーといった、グローバルな問題に対する協力関係は構築できないだろう。
幸い私たちは、危険に気づかないまま自己満悦したり、やみくもに絶望したりするのを避ければ、自らの力を抑制し続けられるような、バランスの取れた情報ネットワークを創出することができる。より賢いネットワークを創り出すには、むしろ、情報についての素朴な見方とポピュリズムの見方の両方を捨て、不可謬という幻想を脇に押しやり、強力な自己修正メカニズムを持つ制度や機関を構築するという、困難でかなり平凡な仕事に熱心に取り組まなければならない。それがおそらく、本書が提供できる最も重要な教訓だろう。 -
2025/5/25読了
下巻では、AIを「人工知能」(Artificial Intelligence)というより、「人間のものとは異質の知能」(Alian Intelligence)――文字通りの意味で人間には思い付かない方法を考え出し、指示を出した人間の意図しない(そして有害な)結果をもたらし得るモノ――として扱う。
AIが人間には捌ききれない膨大な情報を収集、分析してパターンを見出すことで、今ある問題を解決する有益なツールになり得ることにも触れた上で、それでも著者は、規制無く野放図にAI技術・能力が発達していくことの危険性と、決して不可謬ではないAIに対する強力な自己修正メカニズムの重要性を訴える。
でもしかし、国際的な枠組みを作ろうにも、数多のグローバルな問題と同様、自国の利益の為に足並みを乱す国があれば、それだけでその枠組みは効力を失っていく。とは言え、AIが暴走すれば人類が人類以外のモノに支配されるという人類史上初の事態が起こり得るというのも、もはや絵空事では無くなって来ているのだと思えば、この点だけででも各国の利害が一致して協力とか出来ないのだろうか? 出来ないか? と言うか、それで漸く真の国際協調が達成されるというのも何だか哀しくなるか? そして……AIの「アラインメント問題」対策に、アシモフの〈ロボット三原則〉って、応用出来たりしないのか? 等々、余計なことも考えてしまったが、否応なくAIが実用化され社会に浸透している現在、何が起きているか、起こり得るかを知る為に読んでおきたい本だと思う。
付記)
第一条 ロボットは人間に危害を加えてはならない。
第二条 前条に反しないかぎり、ロボットは人間の命令に従わなくてはならない。
第三条 前の二条に反しないかぎり、ロボットは自分を守らなくてはならない。 -
AIがアルゴリズムに基づいて情報をコントロールするようになると、信じられないスピードで大量の情報を操作するようになる。我々人間が状況を理解し判断できるスピードを超えているので、AIが予測不能な動きをし、場合によっては倫理観を無視した暴力的な手段に走る恐れもある。著者はこの事態を危険視している。
AIを活用して問題を解決しようと試みた結果、表面的にはタスクが達成されていても、本来の問題解決にはならない可能性も指摘している。
そして、AIと比べて、人間はコロコロと考え方が変わったり、時には矛盾した行動をするもの。その不安定な一面は、言い方を変えれば自己修正が出来るということで、筆者が注目している。
最後の訳者解説を読んだ後に、ところどころ読み返して、ようやく少し理解できた気がした。皆さんのレビューも参考にしながら、今後も機会を見て何度か読み返し、理解が足りないところを補いたいと思う。 -
本書は、AIの可能性を歴史的視点から考察されていますが、とても考えさせられる本でした。アルゴリズムのすごさと怖さがよくわかりました。。。
-
下巻では、AI革命がもたらす社会の変化と課題に焦点が当てられる。重要なのは、ハラリがAIを単なる「人工的な知能(artificial intelligence)」としてではなく、人間とは異なる原理で思考する「異質な知性(alien intelligence)」として捉えている点だ。この考えが下巻の底流にある。ストーリーを綺麗にまとめがちなハラリの本にしては余地があるのも良かった。
流れとしては、上巻で描かれた情報とネットワークの進化を受け、人間の知能とは質の異なるAIの登場によって、新たな段階を迎えるという。
主なポイントは以下の通りだ。
* コンピューターの役割の変化:コンピューターは単なる道具から、情報を自律的に連鎖させ、意思決定を行う主体へと進化しつつある。人間とは異なる論理で情報を処理し、結論を導き出すため、社会の構造が根底から書き換えられる可能性がある。
* 民主主義への脅威:民主主義の強みである自己修正機能が、この「異質な知性」による監視と自動化によって弱体化する危険性がある。雇用が奪われ、個人の自由が制限される未来も示唆されている。
* AIと権力の集中:AIは情報を集約する能力に長けており、その特性から独裁体制を強化する可能性がある。「異質な知性」が持つ予測不可能性は、既存の権力構造をさらに複雑化させるかもしれない。
* 人間とは異なる思考:人間ならば誤りとして立ち止まる状況でも、人間とは全く異なる論理で動くAIは止まらない可能性がある。SNSのアルゴリズムの例に見られるように、「異質な知性」が私たち人間にとっては何が誤りかという視点すら作り出すような現実が起こりうるだろう。
* テクノロジー偏重の危険性:この「異質な知性」がもたらす課題に対して、技術的な解決策だけでは不十分であり、倫理的、政治的な議論と制度設計が不可欠であることが強調されている。
ハラリがAIを「alien intelligence」として捉えているという点は示唆に富む。AIの持つ「異質さ」が民主主義や社会構造にもたらす影響についての考察も読めば、ディストピアの可能性も念頭に置く必要性を認識した。とはいえAI抜きの世界は想像しにくい。人間中心の思考からいったん離れ、「異質な知性」をどのように理解し、共存していくのかという問いと向かい合うか、なのだろう。
ハラリは悲観論をベースに論を展開しつつ、最後は人類に希望を見出す。自分自身も考えるきっかけとしたい。 -
-
歴史学者ならではの視点で情報とは何か、人類にとって情報がもつ役割などについて論じた一冊。
以下、上下巻を読んだ上での自分なりの解釈。
情報とは、宗教や国家、貨幣など、人類自らが作り出した虚構や物語(共同主観的現実)を繋ぎとめるためのものであり、情報のネットワークの構築により人類は発展してきた。
過去の人類史における革命的な出来事である文字の発見、印刷技術などは、虚構や物語を生み出し強化するのに大きく寄与した。
AIの大きな問題は、今までは人類が自らが生み出し、強化し、ある程度操作することができた物語を、人類の想像がつかない所で生み出せることにある。
AIはすでに日常に溶け込んでおり、日頃からAIに質問したり、アイデアをもらったりしており、その答えの速さや最もらしさから、AIは正しいと思ってしまう節がある。
ただ、筆者曰く、AIは必ずしも不可謬では無く誰がどんなインプットをしているかで十分間違える可能性がある。
つまり、間違った情報を生み出し、それを共同主観的現実として拡散する可能性があるという事。
そして、その間違いに人類は気付けない可能性があるという事。
大事なのは、自己修正メカニズムである。物語や虚構を可変可能であるものと認識し、自己修正メカニズムを持つ制度や機関が必要である。
以上が解釈である。
筆者は歴史学者だけあり、過去から現在に至るまでを俯瞰し、いくつもの具体的な事例を用いながら情報について語っている。
とてつもない作業であり、まさに現代の知の巨人である。
AIについては、今までの技術的、産業的な革命とは違い、自ら虚構や物語を生み出す力がある事に警鐘を鳴らしていると読み取った(私の認識が間違っていなければ)。
こらからAIとどのように付き合っていくべきかを考えるのに大変参考になる一冊だった。
-
再読予定。
大筋の流れは掴めたが、感想がかけるほどではない。
情報で秩序を作り出してきた人類の歴史と今後のAIとの共存方法について。
情報に踊らされるのではなく、情報を取捨選択し、素敵な人生を踊りたい。 -
◯ コンピューターはもし力を委ねられたら、現に惨事を招くだろう。なぜなら、コンピューターは可謬だからだ。(147p)
◯ 民主主義の存続にとって、ある程度の非効率性は利点であってバグではない。(161p)
◯ 私たちは話し合いができるかぎり、共有できる物語を見つけて互いに近しくなることができるだろう。(251p)
★上巻で魔女狩りやクラーク狩りの歴史を学んだのは、AIがそれを引き起こす可能性を理解するためだった。
★AIは偏見を持つし、間違う。目標達成のために有機体では考えられない手段を持ち得る。AIに権限を与えてはいけない。人類はグローバルに協力し、AIを規制する機関を設立しなくてはならない。 -
情報テクノロジーの歴史について、様々な事例を本に解説されていてとてもわかりやすかった。
そして、事例の一つ一つがとても興味深く、見識に富んだものだった。
情報テクノロジー歴史をもとに、AIの危険性を重点に置き説明されていた。
AIはただの情報テクノロジーではなく、主体になり得る情報テクノロジーであることに気付かされた。
欲望のままにAIからもたらされるメリットにばかり目を奪われるのではなく、危険性をはらんでいることを認識しなければならない。
ホモ・サピエンスの名の通り、賢き人にならなければならない。
-
「医師や弁護士には彼らの提供するサービスに対して料金を支払うがグーグルやティックトックにはたいていおかねを払わない。これらの企業は私達の個人情報を利用して稼いでいる。」などなど学びの多い一冊でした。
全部全部、理解できず噛みしめることができず歯がゆい。 -
下巻では、これまでの情報の人類史とは決定的に異なり、「AI」についての話となる。
ハラリ氏は、AIを単なる「道具」とは考えていない。
今世間を騒がせているAIは、情報を自ら消費し、分析し、人間が理解できない論理で自ら決定を下す「独立したエージェント(行為主体)」であると定義しているのだ。
AIの「A」はArtificial(人工)ではなく、Alien(異質な、エイリアン)だと説いたのは、なるほどと思った。
AIと人間は、動く目的が全く異なっている。
人間には当然感情があるし、そもそも意思がある。
AIには、まったくそれらがない。
その代わりに、AIが備える、人間には全く理解できない動きがあるのも事実。
それが「アルゴリズム」だ。
そもそもアルゴリズムだって、所詮人間が与えた計算式のはずだった。
それが、すでにどういう経路で出力結果に辿り着いているのか、人間でさえ理解できなくなっている。
人間がアルゴリズムを制御できなくなっているのだ。
SNSのアルゴリズムが人々の分断を煽り、怒りや憎しみを拡散させているのは、AIに悪意があるからではない。
単にAIは、命令に従って、効率性を徹底的に高めているだけだ。
目的を達成するために、最適な方法を選択しているだけで、そこに意思は存在しない。
果たして、アルゴリズムによってより効率化され、最適化されていくことは、人間にとって良いことなのだろうか。
例えば地球環境を考えた時に、AIの判断が「人間こそ地球環境にとって害悪だ」という結果を導いたとしたら、AIは人間を排除するのだろうか。
私たちが生み出したAIは、人間の知能をすでに凌駕している。
そんな超知能が、私たちの社会そのものをハックし、コントロールしようとしている。
この現実に、私たちはどう立ち向かうべきなのか。
ハラリ氏が提示する最も重要な処方箋は「自己修正メカニズム」という考え方だが、それだけで事が解決するとは到底思えない。
「自己修正メカニズム」とは、私たち自身が間違う可能性がある(可謬性)ことを認め、間違いを検出し、修正する仕組みを埋め込んでいくことを示している。
民主主義や科学技術の発展がこれに相当するというのだが、それでは民主主義が正しいかと言われると、ブレグジットやトランプ政権誕生などを見ても、完璧とは言い難いのではないだろうか。
科学技術の発展にしても、原爆の使用などを見ても、同じような印象を持ってしまう。
しかし、だからと言って、民主主義や科学技術の発展が全く駄目かと言うと、そういう訳では決してない。
全体主義の国家や硬直した独裁体制の場合は、自分たちは間違えない(不可謬)という前提に立って情報の流れを一方向に制御するため、結果、間違いを修正できずに破滅に向かってしまう。
それよりは、「私たちは間違う可能性がある」と思って進んでいるだけ、我々はマシなのかもしれない。
このように考えると、「自己修正ができる文化」は、人間にとって貴重な能力なのかもしれない。
最近でこそ、リベラルアーツの重要性や、倫理観の重要性が叫ばれている。
AIは自身のアルゴリズムによって、正しいと思ったことは疑わずに突き進んでしまう。
それこそ何も考えずに、24時間休みなく働き続けることができる。
人間の場合は、行き過ぎた時点でストップをかけられる「理性」というものが、確かに存在する。
そこは大きな違いのような気がしてしまう。
(もちろん、人間の理性も完璧とは言えず、数々の失敗を繰り返している)
AIがどれほど進化しても、意識と心を持つ人間にしかできない事があるのだろう。
それこそが、ストップをかけられる理性だ。
この理性を放棄した時点で、我々は、人間として生きる意味をなくしてしまう。
AIの下で、アルゴリズムに支配された世界の中で、粛々と生きていくだけだ。
(それはそれで快適で生きていきやすいのかもしれない)
これからの未来は、本当に人間力が問われる時代だと思う。
ホモ・サピエンスとは、「賢い人」という意味らしいが、すでにAIが我々ホモ・サピエンス以上に賢くなった世界で、我々は何を糧として生きていくのか。
溢れかえるほどの情報量に翻弄されている我々に、出来ることはあるのだろうか。
徹底的に効率化を目指して突き進むAIに対して、「そうじゃない。いったん止めろ」と本当に言えるのだろうか。
「自己修正」することは、そんなに簡単なことではない。
やっぱり、人間としてこれからどうやって「理性」を育んでいくのか。
問いを持ち続けていくしかないと思っている。
自分の年齢を考えると、ここで思考停止に陥るのはまだ早い。
諦めずに、AIの進化を受け入れて、自分の現状維持バイアスに抗ってみたいと思っている。
そんなことを本書を読んで、考えさせられてしまった。
(2025/8/20水) -
恐怖の下巻。
AIとは何か?何ができ、何を生み、社会をどう変容させるのか?そして人類はAIに手綱をつけ制御できるのか?
AIのこれまでの技術との違いとは、自ら決定を下したり、新しい考えを生み出したりすることができる最初のテクノロジーであり、行為主体者にもなることが提示される。
AIの可謬性の例は、Facebookのアルゴリズムによるロヒンギャへの憎悪、暴力を煽る動画の拡散が示される。
また、全体主義国家で活用されれば、オーウェルの『1984年』を想起させる監視国家がより強固に誕生すること(実際に中国やイランでそうしたシステム導入済)にも言及されている。
今後のデータ資本主義下で、AIに判断を委ねることの危険性を生々しく炙り出している。AIに対して過度な楽観は禁物だが、一方で過度な絶望に沈むことも的外れだと指摘する。有効な活用は人類の発展にも大きく寄与するためだ。
そして、AIよる社会の崩壊を防ぐには、不可謬という神話を追いやり自己修正の機能や制度を構築することと総括する。
情報量たっぷりの本だが、これから起こるAIの技術的進歩、そしてそれによる社会的、文化的な大変革を歩むなかで重要な指針を与えてくれる一冊。 -
上巻は、主に歴史をたどる。ホモデウスとはまた違う切り口で、料理しなおしてまたこんなにも語れるのかと、著者の雄弁さには舌を巻く。第3章にある、著者の父親の体験が心に残る。
下巻は、21-22年に主に執筆したらしいが、未来予測がすごすぎて25年の今読んでもまだまだフレッシュ。民主社会最大の成功の鍵であった、自己修正メカニズムをAI規制にも組み込めるのか?アルゴリズムによる人間の傀儡、シリコンカーテンによる陣営間の対立で、AIが真に活用されるべき環境保全やグローバル課題にはまったく活用されないコクーン状態、大国が無料でデータを吸い上げ利益は還元されないデータ植民地化での格差拡大、などなどディストピアなドキドキ記述を経て、最後には、歴史が変化する、選択肢はあるはずと言ってくださる。
これだけの歴史についての膨大な知識をもって、テクノロジー専門家ではないからこそ、ある意味客観的に未来予想をしてくれる。素晴らしい知性です。読めて感謝。
この本が好きな人におすすめの本
著者プロフィール
ユヴァル・ノア・ハラリの作品
本棚登録 :
感想 :
