AI新生 人間互換の知能をつくる

スチュアート・ラッセル 松井信彦

• みすず書房 (2021年4月20日発売)

作品紹介・あらすじ

「これまで読んだ最も重要な書だ」
ダニエル・カーネマン（プリンストン大学教授、『ファスト＆スロー』）

「AIの真のパイオニアによる傑作…リスクを明らかにするだけでなく、具体的で有望な解決策を示している」
マックス・テグマーク（MIT教授、『LIFE3.0』）

「重要な警鐘を鳴らしている…AI研究における大きな前進だ」
『ネイチャー』誌

「AI開発者とAI利用者、つまり私たち全員にとって、わかりやすく魅力的な必読書だ」
ジェームズ・マニーイカ（マッキンゼー・グローバル・インスティテュート・ディレクター）

「問題はずばりAIの基本定義にある。機械はその行動がその目的を達成すると見込める限りにおいて知能を備えている、と私たちは言うが、その目的が私たちの目的と同じだと確かめるための信頼に足る方法がない…ならば、こんな定義はどうか。《機械は、その行動が私たちの目的を達成すると見込める限りにおいて、有益である》…こうした機械にとって、私たちの目的が不確実になることは避けられない…目的に不確実性があると、機械は意思決定を人間に委ねざるをえなくなる。修正を受け入れ、スイッチを切られることを厭わなくなる。
機械は決まった目的をもつべきという前提を取り払うなら、私たちが試みている基本定義を、すなわち人工知能の土台を、一部取り払って置き換えなければならない。ということは、AIを実現するためのアイデアや方式の蓄積という母屋の大半をつくりなおすことにもなる。すると人類と機械とのあいだに新たな関係が生まれるだろう。私はこの新たな関係が、これから数十年の人類を成功へ導いてくれると願っている」（本文より）
全世界で使われるAIの標準的教科書の著者が、安易な脅威論を超え、ヒトとAIの新たな関係を提案する。

感想・レビュー・書評

[Tomoさんの感想 · 2025年3月6日]

　人工知能（AI）の進化は、私たちの社会に計り知れない影響を与えている。すでに医療、金融、交通、エンターテインメントなど、あらゆる分野で活用され、その可能性はさらに広がり続けている。しかし、AIが高度化し、人間の知能を超える汎用人工知能（AGI）が誕生したとき、私たちはその力をどのように制御し、活用すればよいのだろうか。この問いに対し、スチュアート・ラッセルは『AI新生』において、AIがもたらす危険性に単純に警鐘を鳴らすのではなく、それらを的確に見極め、人類の利益となる形で運用するための道筋を示している。本書の特徴は、AIのリスクを過度に誇張するのではなく、どのような課題が生じる可能性があり、それにどのように対処すればよいかを具体的に論じている点にある。これまでのAIは、人間が設定した目標を達成するための手段として機能してきた。しかし、もしAIが人間の指示を超えて独自の目標を追求し始めたらどうなるのか。例えば、「世界の気候変動を止める」という目的を与えられたAIが、温室効果ガスの排出を最小限にするために人間の活動を制限しようとするかもしれない。このような極端なシナリオは一見非現実的に思えるが、ラッセルはAIが純粋に論理的な最適解を導き出す性質を持つ以上、こうした予測不能な事態が起こり得ることを指摘する。ただし、彼の主張の核は、こうしたリスクに過剰に怯えるのではなく、それを正しく理解し、適切な仕組みを構築することで制御可能にすることが重要であるという点にある。AIが「固定された目標」に基づいて動く場合、その目標が人間の意図とズレることで望ましくない結果をもたらす可能性がある。ラッセルはこの問題を解決するために、「AIは自らの目標が不完全であることを前提にし、人間の意図を学習しながら行動するべきだ」と提唱する。AIを単なる「強力なツール」としてではなく、「人間と協調するパートナー」として設計することで、その力をより良い形で社会に活かすことが可能になる。このアプローチの鍵となるのは、AIが「人間の価値観を学習し、適応する能力」を持つことだ。AIが完全な指示を待つのではなく、状況に応じて人間の意図を推測し、それに基づいて行動するよう設計されれば、より柔軟で安全なシステムを構築できる。また、AIの行動が透明性を持ち、予測可能であること、さらに人間が介入できる仕組みを整えることも不可欠である。AIを恐れるのではなく、その能力をより良い方向へと導く工夫が求められるのだ。
　AIの進化は社会にも大きな影響を及ぼす。特に、労働市場においては、多くの職業がAIに取って代わられる可能性がある。自動化が進むことで生産性は向上するが、その恩恵がどのように分配されるのか、また、雇用のあり方がどのように変化するのかについても慎重に考えなければならない。さらに、AIが政治や経済の意思決定に関与するようになれば、その倫理的な判断や責任の所在をどのように確立するのかという課題も浮上する。AIを開発・運用する主体が巨大企業や国家であることを考えると、単に技術的な側面だけでなく、社会全体でのガバナンスのあり方も問われることになる。技術の進歩を止めることはできないが、その方向性を人類にとって望ましいものへと導くことは可能である。ラッセルは、AIの未来を決定づけるのは技術そのものではなく、それをどのように設計し、活用するかの選択にかかっていると強調する。つまり、私たちはAIを単なる危険因子として捉えるのではなく、その影響を分析し、戦略的に活用する方法を模索しなければならない。
　本書は、AIの未来に対する冷静で実践的な提言を行っており、その点では非常に説得力がある。しかし、一方で、ラッセルが提唱する「人間中心のAI」が実現可能なのかという点については、いくつかの疑問が残る。AIが人間の価値観を適応的に学ぶという考え方は理想的だが、価値観そのものが社会や文化、時代によって変化するものである以上、AIがどの基準に基づいて学習するのかは依然として難しい問題だ。さらに、AIが「不完全な目標」を持つべきだという考え方は、安全性を高める可能性がある一方で、それがAIの意思決定を曖昧にし、予測困難にするリスクも伴うのではないかという懸念もある。また、AIの制御に関しては、技術的な問題だけでなく、政治的・経済的な課題も無視できない。AIの開発は巨大企業や国家によって進められており、それぞれの組織が異なる利益や目的を持っているため、統一的なルールを確立することは容易ではない。本書では、人間中心のAIを実現するための社会的な仕組みの整備についても言及しているが、実際にどのように実行に移すかについては、より具体的な議論が必要だろう。
　『AI新生』は、単なるAI技術の解説書ではなく、AIの未来について私たち一人ひとりが考えるべき課題を投げかける一冊である。AIが持つ可能性を最大限に引き出しながら、それが人類にとって脅威にならないようにするためには、技術者だけでなく社会全体で議論し、方向性を定める必要がある。AIがもたらす恩恵は計り知れないが、それを制御できなければ危険な存在にもなり得る。私たちは今まさに、AIをどのように活用するかという重要な選択を迫られているのだ。ラッセルの提言を踏まえ、AIを「人類にとって真に有益なもの」とするために、私たちはどのような未来を描くべきなのか——その問いに向き合うことが、今後のAI時代を生きる私たちにとって不可欠なのではないだろうか。

[blueridgeさんの感想 · 2022年7月7日]

AIが人を凌ぐのは間近だ。というSF的な書籍もベストセラーに入る中、特定の領域にとらわれず、バランスが取れていて平易に書かれた良い本だと思います。
1980年代からコンピューターに関わってきた者として、ゲーム理論、ファジー、エキスパートシステムなど過去からのAI（人工知能的に見える事柄）に関わる全般を、歴史的背景を含め、時折哲学的な面も交えて書かれていて、AIはどうあるべきか考えさせられる良書です。
米軍ではドローンのパイロットがCuntomerの指示で殺害をすることもあり、人間であるパイロットは精神疾病を患ったり役務を辞退するなど報道されています。
汎用ではなく特定の目的を設定すれば、AIは最適な手段で呵責なく実行することができるCPUパワーを得た現在。この本は今後どうあるべきか考えるのに良いと思います。

[夜田わけいさんの感想 · 2024年1月10日]

難しい。画像生成の話も少し載っている。

[H.Satoさんの感想 · 2022年5月6日]

自律型兵器が映画「ターミネーター」に描かれているような形でのこの世の終わりではない。自動運転車はおそらくもう少し賢くなる必要があるものの、自律型兵器は取り立てて知的である必要がなく、与えられる任務は「世界を乗っ取る」の類ではない。知能の低い殺人ロボットはAIの存在リスクの主要因ではないのだ。だが、人間と争う超知能機械が、わりと低能な殺人ロボットを世界規模の管理システムの物理的延長にするというまさにあの形で自らを武装できることは間違いない。P115

[kawaakamiさんの感想 · 2021年5月11日]

幸福の定義が上位1％に入ることだとしたら99％は不幸になる。とか、割引率によるAIの価値の推定とか、とてもキレ味のある論評。バークレーっぽい感じもあって、トランスセンデンスも引用されている。結局AIへの不安というよりは、一神教の人たちのロジックドリブンで行った究極への不安ってことの方が大きいねえ。というふうに読みました。ロジックドリブンの場合には、境界条件の設定がすごく重要な意味を持つんだけれど、ロジックが完全性を持つ時には境界条件がなくなって自己言及を起こすようなところにまでいく。当然全てがmake senseするということは無くなるんだけど。最後の方は人間の幸せの計量方法みたいな方向に行くのですが、全くかけらもピンときませんでした。
人間が意思を持って、目的のために生きているというところを疑えないみたい。
その点、小さい頃から一切空とか言ってる文化圏にいるから、なぜイーロンマスクとかが大騒ぎしてたのか全然わからなかったけど、なんとなく今はわかる気がする。
この本読むと、やっぱ西田さんとか福本さんとか三宅さんの方向で行きたいです。

[Go Extremeさんの感想 · 2025年11月22日]

キング・マイダスの問題 標準モデル 目標達成の歪み スパムメール削減の逆説 インターネットのシャットダウン 報酬関数の誤指定 経済的圧力 自動運転車の倫理 医療診断システムの判断 個人アシスタントの支配 金融取引システムの暴走 致死的自律型兵器 顔認識による監視 SNSアルゴリズムの偽情報拡散 エンゲージメント最大化の落とし穴 ロボット工学による失業 自動化による経済的支配 蓮を食べる人々の種族 ディストピアの喪失 人間の完全依存 主体性の消失 オフスイッチゲーム 自己保存の道具的目標 ロボットの不確実性 情報としてのスイッチ押下 人間の価値観の複雑性 文化的差異 暗黙的な価値観の困難さ 尊重の曖昧性 価値観の時間的進化 環境保全の主流化 人間の非合理性 表面的行動と真の意図のギャップ メール確認への誘惑 完全な価値観一致の不在 援助ゲーム 協調的逆強化学習 情報の非対称性 人間の報酬関数の不知 ペーパークリップゲーム

[oursoursさんの感想 · 2021年9月22日]

・道徳理論に確率を持ち込むことが理にかなっているのかがはっきりしない。
・ベイズの確率

[桜美林大学図書館さんの感想 · 2021年8月6日]

https://cool.obirin.ac.jp/opac/volume/872885

[fraserlibさんの感想 · 2021年6月3日]

請求記号　007.1/R 89

著者プロフィール

カリフォルニア大学バークレー校のコンピューターサイエンス教授およびスミス=ザデー工学教授。オックスフォード大学ワダムカレッジ名誉フェロー。世界経済フォーラムのAIとロボット工学審議会副議長。国連の武器管理アドバイザー。アメリカ人工知能学会、計算機学会、アメリカ科学振興協会のフェローでもある。著書に、『AI新生』（2019、松井信彦訳、みすず書房、2021）、AIの決定版教科書と広く認められている『エージェントアプローチ 人工知能』（2008、共立出版、第2版、ピーター・ノーヴィグとの共著）がある。

「2021年 『AI新生 人間互換の知能をつくる』 で使われていた紹介文から引用しています。」