シグナル&ノイズ 天才データアナリストの「予測学」

著者 : ネイト・シルバー 川添節子

制作 : 西内啓 

• 日経BP (2013年11月28日発売)

作品紹介・あらすじ

「私たちはシグナルを探そうとしてノイズを集めている」米大統領選で「オバマの勝利」を完璧に予測し、世界を騒然とさせた希代のデータアナリストが、情報の洪水のなかから真実(シグナル)を見つけ出す統計分析理論と予測技法を初公開!

感想・レビュー・書評

[kazzu008さんの感想 · 2021年8月5日]

データアナリシスの基本を学ぶ本としてよいのではないだろうか？

ノイズをいかに見抜き、それを排除して思考することが大切。

[Kazuさんの感想 · 2016年9月9日]

地震予知、地球温暖化予測で用いられるデータの信憑性に関して、もやもやとしたものがあったが、本書を読んで見方が多少分かってきた。因果関係と相関関係、データ中に含まれるノイズ、そのデータを使う人の目的などを知り、安易に騙されないよう心掛けたい。特に自分に都合の良い意見を持っている人のよりどころとしているデータに関しては客観的に見直したり、反対意見の人の考えも排除しすぎないよう注意しよう。

[kohamatkさんの感想 · 2024年3月28日]

2008年に気候学者に対して実施された調査によると、94%が気候変動が起きていることに同意しており、84%が人間の活動によるものだと思っている。しかし、地球の気温を予測するモデルの能力についてはさまざまな意見があり、気候変動が引き起こす事象をモデル化することについては疑問視する声が多い。今後50年で海面がどれだけ上昇するかを予測するモデルが有効だと思っている人は19%しかいない。

[本好きの社長さんの感想 · 2023年11月24日]

データ解析する場合に、シグナルとノイズをどのように扱うべきか書かれた本。気象、地震、テロなどなど予測に携わる人ならば一読すべき一冊。

[馬オジさんの感想 · 2023年2月28日]

リスクと不確実性
測定ができるかどうか。
命中率とバラツキの関係に近い。予測のバラツキが小さいことを、命中率が高いものと見誤ると大変なことになる。

ハリネズミとキツネ
古代ギリシャの詩人アルキロコスの一説より
「キツネはたくさんの小さなことを知っているが、ハリネズミは大きなことを一つ知っている」
作家、思想家などは大きく2タイプに分類される。

ハリネズミ: 予測が下手
専門的。分野外の意見を嫌う。
硬直的。全部ひっくるめたアプローチに拘る。新しいデータは元のモデル（自分のバイアス）の補強のために使う。
頑固。間違いは運のせい。環境のせい。
秩序を求める。ノイズの中のシグナルを見つければ、単純な原則を見つけられると考える。
自信がある。曖昧な予測はしない、意見を変えるを良しとしない。
イデオロギー的。壮大な理論、闘争により問題が解決されると考える。

キツネ: 予測が上手
総合的。立場にとらわれず様々な分野に取り組む。
柔軟。最初のアプローチが機能するかわからなければ新しい方法を探し、複数試す。
自己批判的。自分の予測の間違いを認め、非難を受け入れる。
複雑さを受け入れる。世界を複雑なものと見ており、多くの基本的な問題は解決不能、あるいは本質的に予測不能と考える。
用心深い。確率的な言葉で予測を表現し、断定を避ける。
経験的。理論より経験を重視する。

客観的とは個人のバイアスを超えて、問題の真実を見ること。
人間の判断にはバイアスが付きもの。客観的になるには自分の仮定が予測にどんな影響を与えるか常に自問すること。
キツネの考え方を学ぶこと。人間には限界があると知ることが、よりよい予測に繋がる。

予測の中の「自信の量」は正確性の目安にはならい。むしろ自信は良い結果と逆の相関を示す。
経済に限らずどの世界でも、リスクを明言しようとする予測者の気持ちを挫けば、行く手には危険が待ち受けている。

自己成就予言
予言が自ら予測実現する方向に力が働くもの
　・ファッション業界。デザイナーがある色が流行ると言えば、人はそれに反応してその色を着る。
　・原因が難しい病気。メディアなどで広く報道されると人々が気にするようになり症例報告が増える。自閉症が典型。

自己破壊予言
予測が予測そのものをダメにするもの
　・GPS。カーナビで渋滞回避のナビを出すが、皆がそれを見て従うと逆に渋滞が起きる

[shyboyさんの感想 · 2021年1月31日]

年末に図書館で見つけてついつい借りてしまった。

年初めにいきなり500ページ超の本なんか読むものではない（戒め）を強く感じた本書。

様々な分野で統計が活かされているわけだが、分野によって向き不向きがあり、分析や統計解析がそもそも適切ではない事例も多々ある、みたいなことが多角的に広範にそして深々と書かれている。

各章は面白く読んでいたんだが、あまりにも長すぎてだんだん記憶があいまいになる、そんな一冊。

読んだ後、結局この人は何が言いたかったのだろうと考えるといまいちよくわからんかった。

[osechiesさんの感想 · 2021年1月13日]

「ベイズの定理を実践する一番の近道は、たくさん予想をすること」

ベイズの定理を実践しなくても、たくさん予想することはものすごく大事。
機会だけでなくパターンも多く。

[aya00226さんの感想 · 2020年12月28日]

格付け会社は、透明系を高めるという理由で、格付けソフトウエアを発行者に渡した。
ひとつひとつのデフォルト確率が5％でも、前提条件によって統合されたデフォルト率は違ってくる。
恐怖と欲望のバランスが崩れた時、バブルが起き、崩壊する。

ハリネズミとキツネはどちらが予測できるか。
ハリネズミは基本原則を信じている。キツネは、原則を持たない。キツネのほうが当たるが、テレビにはハリネズミのほうがよく出る。

「ベースボールプロスペクタス」を使って、統計的に勝負を予測できるか。
打率はホームランより不安定。勝ち星は安定しない。

相関関係と因果関係は別物。

経済モデルが前提とする過去のデータは、当時の政策決定の結果でもある。
グットハートの法則＝ある変数をターゲットにすると、それは経済指標にはならない。
経済モデルでは、インプットとアウトプットがあるが、それらは実際には区別できない。

外挿法＝現在の傾向が続くと予測すること。これが予測が外れるときの間違いの元。指数関数的に増減する者は予測できない。
自己成就予言と自己破壊予言。自閉症は、新聞に使われる頻度と同じように患者数が伸びた。GPSで早くつくと指示されたルートにみんなが集中するため、遅くなる。

ベイズ統計＝間違いは減っていく。
ハララボスボブブルガリス＝MBAの賭けで生活している。
自信過剰警報＝絶対とか、理論を信じる、など。これはギャンブラーにとっては、致命的な欠陥になる。
ベイズ的思考。ベイズは牧師。
事前確率のうえで、事後確率を考える。それを統合する。ことが起きるごとに、確率を改定する。

相関関係ではなく因果関係を示すものはけた違いに少ない。

フィッシャーの統計＝頻度主義。
効率的市場化説は正しいか。
ファンドマネージャーは、暴落する危険がわかっていても降りるわけにはいかない。みんなと違う行動をとるほうが自分自身のリスクが高い。運用資金が自分のものではないから。これが効率的市場化説の弱点。
自信過剰なものが多ければ、それだけで効率的市場化説は成り立たなくなる。
価格は正しくないが、フリーランチがない、という点では正しい。
ミュラー・リラー錯視を避けることはできない。上がっているものは上がり続けるように見える。
ベイズ予測では、常に反対になる危険性を考える。それに対して、みんなの予測とどうか、を決める。

天気予報は、予測の中の成功事例。
ベイズの定理を正確にするには、何回も予測すること。

[ジマさんの感想 · 2020年4月6日]

尊敬しているデータサイエンティストの人がおすすめしていたので手にとった。

[いおりさんの感想 · 2019年2月3日]

予測情報とベイズ定理について。確かにメディアで大胆な予測をする人は言い切る分目立つが多面的な予測力に欠ける。

[nmさんの感想 · 2018年12月11日]

・統計学の勉強本ではなくて，「目の前にあるデータの見方についての誤りを正すための警告をしている本」だろうか。この本で統計学の勉強はできないが，普通の教科書よりもずっと豊富な知見を与えてくれる。

・人はシグナルとノイズの区別はできない。特に事前には。
・データ量を多くしても予測が正確になるとは限らない。シグナルよりもノイズが増える方が多い。
・結果として人はデータに騙される。本当は「騙された」わけではなくて，「見誤っている」だけなのだが。

[せんりさんの感想 · 2018年11月23日]

堀さんの推薦　http://lifehacking.jp/2013/12/signal-and-the-noise/

[dekadannaさんの感想 · 2018年11月12日]

予測が如何にあてにできないかが分かる本。NBAのレイカーズの例が興味深かった。

[bookkeeper2012さんの感想 · 2018年11月5日]

邦訳されたすぐ後に買っていたのだが1/3くらい読んだところで放りだしていた。分厚いながらも別に読みにくい本ではないのに。このたび、家ですごす連休のお供として引っぱり出したのだが、これがまたコロナの時代にピッタリの内容であった。いま世界中が、きわめて不確実な状況に置かれながら少しずつ明らかになるウイルス/疾病の情報をもとに今後の見通しを更新していく、まさにベイズ的な過程のただなかにいる。私たちが「知っていること」と「知っていると思っていること」の違いを識別しなければならないと教えてくれる本だ。

ネイト・シルバーの文章には論理的な明晰さがあって読みやすい。少し斜に構えたユーモアとあわせて、なんとなく余白がない感じがアメリカ的な薄っぺらさとも言えるのかもしれないが、読んでいるこちらまで少しアタマが良くなったような気がしてくる。

本領である選挙やスポーツの予測にはじまり、金融、経済、気候、地震、テロリズムなどなど意欲的に幅広い分野の予測をテーマとしている。個人的には、シルバーの個人的な体験であるオンライン・ポーカーのくだりを特に興味深く読んだ。彼の実践的なスタイルは鉄火場で培われたのではないかと思わせる。

まさにタイムリーにインフルエンザなどの感染症の予測、疫学モデルにも1章を割いている。SIRモデルはシンプルすぎる（多様な行動をとる異なる人々のグループを捨象してしまっている）として批判しているが、ワタクシの最近の付け焼き刃知見では、そこらへんの多様性を導入したモデルもすでにあるようだ。これについては、この数年間での疫学の進歩なのか、単に著者のリサーチ不足なのかは不明。

[休日は読書さんの感想 · 2018年10月9日]

難しい

[bookkeeper0さんの感想 · 2018年4月11日]

最近データの活用が大事だと言われているが、データに対するリテラシーが不足していることに気付かされる。過剰適合等データの取り扱いは単純にはいかない。
まさにノイズの中からシグナルを予断なく見出すかが問題だ。

[pulse02さんの感想 · 2017年5月7日]

自分が興味ある分野だけに、500ページのボリュームでしたが、かなり興味深く読みました。
リーマンショックや巨大地震、インフルエンザなどの予測に関する失敗のエピソードは、参考になりました。
著者は、最近のビックデータ分析で用いられているベイズ統計の重要性と推奨をしてます。
ある事象を分析する上で、その事象が起こる前の事前確率を見積もり、現実の事実を組み合わせて、確率的に予測する理論です。
ベイズ的アプローチは、問題解決のための観察・仮説形成・検証というアプローチと、概ね同じプロセス・思考法であるという切り口は、圧巻でした。
また、ベイズ統計が批判されている部分である、事前確率に主観性が入ることについても、大まかですが人間が思考して行動する以上は主観性は避けられず、またベイズ統計の、日々変化している世の中の事実に対応出来る柔軟性があれば、問題を最小限に抑えることができるという論には、なるほどと感じました。
いままで自分は、多変量解析など頻度論での統計解析を経験してきましたが、解析対象と実際の頻度理論が乖離しており、解析後に再解釈するという場面が多く、馴染みにくいというのが現実です。それ故、なかなか統計学が世の中に浸透しない一因かと思います。
一方、ベイズ統計の場合、自分の思考そのものをベイズ的に変えることができれば、解析対象そのものの思考がベイズ的思考で考えるので、合理的であると思います。
ぜひ自分の身の回りに適用していきたい考え方だなと、あらためて感じ入りました。
ちなみに、他の予測に関するエピソードとして、ポーカー勝負、地球温暖化、テロ防止のための国家インテリジェンスなど、多様です。
この様な予測に関する学習ができる本を探していた自分としては、大ラッキーでした。

[kitakuni1976さんの感想 · 2017年2月28日]

途中で挫折

[bwinoさんの感想 · 2017年2月21日]

著者はマネーボールや、大統領選ブログ発信サイト５３８の運営もしている。
ストーリーが背景も含めて細かく書かれているため、ページ数は膨大。著者オリジナルのメッセージに絞ればコンパクトになる（チェスのルールとか、ポーカーのルールがメインのコンテンツではない）。

[hiddieさんの感想 · 2017年1月26日]

予測の難しさ、過去に基づく予測がいかに誤りであるかがよくわかる。個人的にはUSの民間天気予報サービスの降水確率の発表手法を取り上げた章はニュースの受け手を考えた工夫があり、興味深かった。