シグナル&ノイズ 天才データアナリストの「予測学」 [Kindle]

  • 42人登録
  • 3.57評価
    • (2)
    • (6)
    • (5)
    • (0)
    • (1)
  • 7レビュー
制作 : 川添 節子  西内 啓 
  • 日経BP社 (2013年12月2日発売)
  • Amazon.co.jp ・電子書籍 (564ページ)

シグナル&ノイズ 天才データアナリストの「予測学」の感想・レビュー・書評

  • データを用いた予測のついて、政治や野球やポーカー、リーマンショックや地震、天気など身近な事例で分かりやすく解説した本である。
    ビッグデータとかディープラーニングなど難しい言葉をよく見かけるが、本質は「過去の似たデータを探す」 ということである。なので過去のデータの範囲で探す場合は精度が良いが、範囲外になると精度が悪くなる。言われてみればそうなのだが、そういう説明になかなか出会わない。
    またデータが増えるとシグナルも増えるが、ノイズも増える。そのため都合の良いデータ (因果関係は無いのに、たまたま相関がある) が見つかりやすくなるという指摘も、なるほどなと思った。都合の良い相関に騙されないためには、判断する人間が謙虚になることと、因果関係 (メカニズム) を見つける努力が必要である。科学は進化しても、その進化を享受できるか否かは、それを使う人間次第だということだ。

  • シグナルを見つけるのは比較的やさしい、ように見える。しかしそれがノイズだとしたら見分けられるのか。2012年にアメリカ大統領選の結果を完璧に当てて有名になったネイト・シルバーはpecotaと言う野球の分析ソフトの開発者でもある。

    野球は比較的統計データーを活かしやすい分野だ。マネーボールでは統計データーを使ったセイバーメトリクス対伝統的なスカウトが対立軸として使われているが実際はどうか。pecotaは2006年の有望株の4番目にレッドソックスの名二塁手ダスティン・ペドロイアを挙げたがスカウト達の評価は低かった。「身体的に恵まれていない」と。4月.158だった打率は5月には3割を超え7月にオールスター、この年の優勝に貢献して新人賞、そして翌年MVPに選ばれた。

    マネーボールのヒット以来ハーバードやエールで統計学とコンピューターを学び、普通だったら投資銀行で年収40万$で働く若者が、その1/10の年収でタンパやクリーブランドまでやって来て24時間喜んで働いてくれる。年収4万の若者はピークを超えた4000万のFA選手よりいい投資先になる。球団はFA市場で1勝当たり400万$を喜んで払う。とは言えソフトはスカウトより優秀だというような単純な話でもない。2011年シーズン、pecotaの予想したトップ選手100人はMLBで546勝を生み出した。対するベースボール・アメリカ誌の選んだ選手は630勝を生み出した。この差は86勝で3億4千万$に相当する。スカウトは統計データーも使い独自情報によるバイアスを修正することでより良い予測をすることができるのだ。

    統計学の世界でノイズをシグナルと間違えることを過剰適合と呼ぶ。福島原発はM8.4には耐えられるようにできていたがM9.1には耐えられなかった。(モデルケースとしては少し単純化しすぎだが)グーテンベルクとリヒターの法則では、地震のマグニチュードと頻度は対数をとるときれいに直線に乗る。つまりマグニチュードが1大きくなると頻度は1/10になる。しかし東北の統計ではマグニチュードどが7を超えたあたりで傾きが変わり頻度が減少するように見える。この統計は1964年間からなので大地震はそもそもデーターの絶対数が少なく大地震のリスクが少なく見積もられていた=過剰適合だったかもしれないというのが著者の見解だ。過剰適合ではなく何らかの理由で地震の頻度が減っていたとした特性適合とした場合、M9の地震は1万3千年に1回、リヒター則なら300年に1回だ。マグニチュードが1増えるとエネルギーは32倍になり地震のエネルギーと被害の大部分は数少ない大地震によるものだ。同時期の世界の統計では大地震も含めリヒター則の方が適合している。地震そのものは予測できないとしても確立はそれなりの確かさで計算できる。GPS地震予測の村井教授に対しては本職の地震学者から批判があるが、新たなシグナルを手に入れられることは間違いない。

    では具体的にどうやって予測するのかというのが後半のテーマでここでは主にベイズ確率を用いている。通常の統計ではデーターが少ないとシグナルとノイズの見分けが難しくあまり役に立たないが、ベイズ確率の考え方では事前確立(たとえヤマカンレベルでも)新たなデーターが得られるたびに修正していく。事件が起きてからシグナルを見つけるのは簡単だ。真珠湾攻撃や911を示すシグナルはたくさんあった。飛行機を使ったテロ計画はすでにあり、アルカイダの危険性やワールドトレードセンターが過去にテロの標的になったこと、そして極め付けは1ヶ月前に747機のシュミレーターを希望したイスラム原理主義者ムサウイが飛行機訓練学校の教官の通報で逮捕されている。テロの場合も地震と同様に極めて少ない大規模のテロが被害者の多くを占めている。もし911がM8級... 続きを読む

  • 数々の予測を的中させてきた天才データ・サイエンティスト ネイト・シルバーが、ビッグ・データ解析の秘訣を明かす…とか何とかいう類の本かと思ったら、全然違った。

    理論的な因果関係の究明なくして、純粋にデータだけからモデルを帰納する態度を「単なる過剰適応(オーバー・フィッティング)」と徹底的に否定し、モデルの背後には必ず因果を説明する理論がなくてはならないと説く。また同じ理由で、統計的有意性(p値がどうこういう奴)の意義にも疑問を呈する。ネイト・シルバー自身は近頃流行りのベイジアンで、常に確率を意識することと、自分の予測(事前確率)と事実(事象)から事後確率を計算することで、次の予測の精度を高めていくことを推奨している。

    野球(もちろん『マネー・ボール』)、天気予報、地震予知、金融、インフルエンザ、ポーカー、気候予測(地球温暖化に関する議論)、テロ予知など、確率と予測が重要な役割を果たす様々なテーマについて広範に語られていて、まあ、読みものとしては面白かった。

  • さまざまなデータをもとに分析するとき、未来予測につながるデータ(シグナル)とその他の雑多なデータ(ノイズ)を見極めないといけません、という話。
    とはいえ、バイアスなどがあると見極めるのは至難の業。予測/検証を繰り返してようやく到達するかどうか、という、予測の難しさも述べている。

  • シグナルとノイズの区別は難しいという事がわかった。

  • 情報量が増えるほどノイズが増え、そのノイズの中にパターンを見いだしているような気になり、真実であるシグナルが見えにくくなる。そのような時代。
    その中で予測を行うに当たっては確率論的に考えること、さらに、常にいくつもの情報に気を配りながら、予測をアップデートしていくことが重要だと説く。
    この考え方はすなわち、ベイズの定理に沿ったものであり、後半はベイズの定理の説明やギャンブルなどの事例について述べている。
    予測に興味を持っている人、ベイズの定理に興味を持っている人にとって楽しく学べる一冊であろう。ただ、ちょっと長いね。

  • 経済学、気象学からギャンブルまであらゆる分野での「予測」の功績と失敗について、非常に真摯にまとめられた本です。
    とーっても長いですが、とても読みやすいです。
    例が豊富で、予測にまつわる人間の成功と失敗がよくわかります。

    ちなみに、これまでの予測に関する例を読み終えた時点で『親鸞(上)』相当ですが、第二部の開始となる35%付近で突然「パンティ」を例にした文章が出てきて何故かご褒美気分になります(笑)それまで一貫してマジメな文体だったので衝撃。と同時にその構成力に脱帽です。

全7件中 1 - 7件を表示

シグナル&ノイズ 天才データアナリストの「予測学」に関連するまとめ

外部サイトの商品情報・レビュー

シグナル&ノイズ 天才データアナリストの「予測学」を本棚に「いま読んでる」で登録しているひと

シグナル&ノイズ 天才データアナリストの「予測学」を本棚に「読み終わった」で登録しているひと

シグナル&ノイズ 天才データアナリストの「予測学」はこんな電子書籍です

シグナル&ノイズ 天才データアナリストの「予測学」の単行本

ツイートする