シグナル&ノイズ 天才データアナリストの「予測学」

  • 561人登録
  • 3.81評価
    • (30)
    • (40)
    • (34)
    • (7)
    • (1)
  • 46レビュー
制作 : 西内啓  川添節子 
  • 日経BP社 (2013年11月28日発売)
  • Amazon.co.jp ・本 (594ページ)
  • / ISBN・EAN: 9784822249809

この本を読んでいる人は、こんな本も本棚に登録しています。

有効な左矢印 無効な左矢印
エリック・ブリニ...
ベン・ホロウィッ...
カイザー・ファン...
ジェームス W....
シーナ・アイエン...
ジャレド・ダイア...
ブラッド・ストー...
クリス・アンダー...
有効な右矢印 無効な右矢印

シグナル&ノイズ 天才データアナリストの「予測学」の感想・レビュー・書評

  • 自分が興味ある分野だけに、500ページのボリュームでしたが、かなり興味深く読みました。
    リーマンショックや巨大地震、インフルエンザなどの予測に関する失敗のエピソードは、参考になりました。
    著者は、最近のビックデータ分析で用いられているベイズ統計の重要性と推奨をしてます。
    ある事象を分析する上で、その事象が起こる前の事前確率を見積もり、現実の事実を組み合わせて、確率的に予測する理論です。
    ベイズ的アプローチは、問題解決のための観察・仮説形成・検証というアプローチと、概ね同じプロセス・思考法であるという切り口は、圧巻でした。
    また、ベイズ統計が批判されている部分である、事前確率に主観性が入ることについても、大まかですが人間が思考して行動する以上は主観性は避けられず、またベイズ統計の、日々変化している世の中の事実に対応出来る柔軟性があれば、問題を最小限に抑えることができるという論には、なるほどと感じました。
    いままで自分は、多変量解析など頻度論での統計解析を経験してきましたが、解析対象と実際の頻度理論が乖離しており、解析後に再解釈するという場面が多く、馴染みにくいというのが現実です。それ故、なかなか統計学が世の中に浸透しない一因かと思います。
    一方、ベイズ統計の場合、自分の思考そのものをベイズ的に変えることができれば、解析対象そのものの思考がベイズ的思考で考えるので、合理的であると思います。
    ぜひ自分の身の回りに適用していきたい考え方だなと、あらためて感じ入りました。
    ちなみに、他の予測に関するエピソードとして、ポーカー勝負、地球温暖化、テロ防止のための国家インテリジェンスなど、多様です。
    この様な予測に関する学習ができる本を探していた自分としては、大ラッキーでした。

  • 著者はマネーボールや、大統領選ブログ発信サイト538の運営もしている。
    ストーリーが背景も含めて細かく書かれているため、ページ数は膨大。著者オリジナルのメッセージに絞ればコンパクトになる(チェスのルールとか、ポーカーのルールがメインのコンテンツではない)。

  • 予測の難しさ、過去に基づく予測がいかに誤りであるかがよくわかる。個人的にはUSの民間天気予報サービスの降水確率の発表手法を取り上げた章はニュースの受け手を考えた工夫があり、興味深かった。

  • 予測の難しさや注意点を記述した著。人間が陥りやすい予測の罠を豊富な事例と供に記載している。かなりボリュームが多いが読みごたえがある。

  • カオス理論の基本的な考えは、小さな変化が大きく逸脱した予想外の結果を生む可能性があるというもの。

    ビックデータのシグナルとノイズをどう見分けるのか?

    確率的に考える
    新しい情報を得たら予測を見直す
    コンセンサスにも気を配る

    ベイズ的思考法を勧めている

    ベイズ統計が扱うのは主観確率。
    漠然と想定していた主観が情報を得られる毎に更新され確信が高まって行く様子を確率で追跡した。

  • 地震予知、地球温暖化予測で用いられるデータの信憑性に関して、もやもやとしたものがあったが、本書を読んで見方が多少分かってきた。因果関係と相関関係、データ中に含まれるノイズ、そのデータを使う人の目的などを知り、安易に騙されないよう心掛けたい。特に自分に都合の良い意見を持っている人のよりどころとしているデータに関しては客観的に見直したり、反対意見の人の考えも排除しすぎないよう注意しよう。

  • シンプルに理解するべき本

  • 統計というシロモノは門外漢からすると、たいていいかがわしく見える。

    それは、本質的には確率論でしか語りえない予測が、あたかもそれが絶対的なことように提示されるからだ。統計に100%がないことは、素人でも皮膚感覚で十分にわかる。

    著名な統計家である著者ネイト・シルバーの会いに行く「優れた統計家」たちは、いずれも予測があくまで確率論であることを真摯に語り、フィードバックを用いしてモデルを修正し精度を高めることにこそ心血を注いでいる。

    著者自身も自信を「ベイジアンである」と語り、人間を完全に合理的なホモ・エコノミクスとして想定するフィッシャー学派と対置させ、不確実性の存在を隠そうとせず、むしろ積極的に語っている。

    「事前確立」をモデルに組み込むというベイズ統計学は、経済学における行動経済学の台頭と軌を一にしており、両者は同じ思想に根を張った兄弟分といえると感じた。

    これからもテクノロジーは高度化していくだろうけれど、数字だけをブラックボックスの中でこねくり回して、それらしい理屈で大衆を扇動しようとする統計家は、もはや信用を得ることはできない。“正しい”インプットと、修正を恐れない真摯な態度。統計と向き合うににあたって失ってはならない金科玉条(皮肉ではなく)。

    ビジネスにおける統計の活用においては、どうしてもハッタリの要素も交じってくる。競争原理のなかで、切り捨てなければならない正直さもあるだろう。正確性を欠いたとしても押し切らねばならない場面があるのであれば、やはり一番大切なのはクリエイティブ/アウトプットの突破力ではないか……?そんな気がしている。

  • 前から読みたかったのだがなかなか手が出せずにいた。また大作なので読み終わるまで思いのほか時間がかかってしまった。
    ビッグデータに関連してモヤモヤしていたことのすべてという訳にはいかないが、半分くらいはすっきりした気がする。
    どう消化するかはまだまだ課題であるが。
    ちょうど私的には目先の課題として第12章 地球温暖化をめぐる「懐疑心」からいろいろと大きなヒントが得られそうである。

  • 様々なケーススタディを使って統計的手法による予測の難しさを述べた本。理論の良しあしは個人の考えに寄ると思うので、正誤の判断はしないが、統計学・予測学に多少なりとも興味があれば面白いのではないか。結論さえ知ることができれば良いのだ、と言う人にとっては、ダラダラと屁理屈を述べているような印象をうけてしまうかも。統計・予測学の本の割には数式が少ないという印象。行動経済学をかじった人は、知っているようなことが多いと思うような内容。

  • 大リーグの弱小チーム オークランド・アスレティックスを低予算でも統計を駆使することで割安なプレイヤーを集めることでプレーオフの常連にした『マネーボール』で有名になった野球データを分析したセイバーメトリクスPECOTAを開発。大統領予選について統計的に予測をしてWebサイトに発表した結果がほぼ的中したことでも有名。

    著者は一時期、オンラインポーカーゲームにもかなり熱中していたらしい。第10章に詳しいが、カモがいると勝てる理論は納得。自分の経験でも、フリー麻雀で点5の東南では余裕を持って勝っていたけど、点10の東風では勝てなかった。この結果は、おそらくはカモがいるかどうかに依存していたんだと思う。カモは時間を掛けて楽しむのが目的なので東南に行き、腕に覚えがあってスリルやお金を求めていくと東風になる。そうなると余程でない限り場代分は確実に沈んでいく感じだった。

    そのほかにも、選挙結果予測、天気予測、巨大地震予測、経済の統計的予測、プロスポーツ選手の成績予測、パンデミック発生予測、コンピュータによるチェス、ポーカーゲーム、金融市場予測、地球温暖化、テロ発生、についても統計や確立論をベースに分析していく。ノイズを取り除いて、シグナルを取り出していく。それは実に難しくて、時に人の直観に反していることもある。ベイズ理論についてもしっかりと理解しておくことが必要だし、アウトオブサンプルの影響にも意識を持つことが必要である。情報が多くなればばるほど予測の精度が上がるべきだが、実際には情報の扱いが正しくないことで、そうでないことも多い。予測の自己充足の効果だって甘く見ない方がよい。著者の論は、非常に理知的。最初の方に出てくるが、テレビに出てくるような人の予測は当たっていないことの方が多い、なぜならそれらの人は立場を持って発言をするからだと。だよね。

    長いけど、面白い。いろんな意味で著者の性格があらわれているんだと思う。統計学の本がたくさん出ているがその中でもおすすめできる部類の本だと思う。

  • 予測についてのデータサイエンティストの本。政治の選挙予測、経済から野球、テロの発生確率、天気予報、地震予知、オンラインポーカー、人工知能によるチェスのプログラム等、扱う範囲が広く、事例が多いので面白い。

    ◼︎予測には向いている分野とそうではない分野がある(現時点では)
    過去の観測から天気予報の精度は非常に向上しているといえるが、未だに天気予報士は予報が外れた時に怒りのメールを受け取る。
    地震は発生の間隔が天気の変化より長く(予測のためのデータが圧倒的に少ない)、かつ観察対象は地中で見えづらく、複雑なため予測することは非常に難しい。確率論で「何百年に何回、どれくらいの確率論でどれくらいの規模の地震が起きる」と予想はできても、「●月●日××で地震が起きる」という予測はできない

    ◼︎世界はそんなに単純ではない
    予測モデルを作るときに失敗しがちなのは、単一の現象など少ない指標で複雑な世界をシンプルにあわらそうとすることである。すべての事象が単純なモデルで説明できるわけではないという前提にまず立つ。

    ◼︎シグナルとノイズを見分ける
    シグナルは、予測したい事象が発信する兆し、ノイズはシグナルをシグナルであると分からなくしてしまう雑音。
    物事が起こった後に、シグナルをノイズから見分けるのはやさしいが、その前からシグナルをシグナルとして見ることは至難の技である

    ◼︎予測することが未来に良くも悪くも影響する
    選挙戦など、候補者の支持率などが公表されることで、有権者の行動が変わることもある。カーナビシで、渋滞を抜ける最適な道路選択に従った途端、同様の指示を受けた車が集結して渋滞するなど。

  • 【選書フェア】
    資料ID:98141064
    請求記号:417||S
    配置場所:工枚選書フェア

  • 『マネーボール』で有名になった野球データを分析し、選手の優秀さを予測するシステムを開発した著者。
    2008年の大統領選の結果も予測したらしい。それがどれほどすごいことなのか実感はないが。

    ①ノイズとシグナルを見極め、より最適な判断ができるようになるためには?
    ②ベイズの定理について


    知識としてノイズのパターンを知り、見分けられるようにする


    ベイズの定理で使うデータは、すべて事実に基づいた数字ではなく、推測や人の主観が入る。そこにこそ、優位性を見出している、のかな?
    ベースボールのスカウトはいなくならないし、データや計算だけに頼るのではなく、人の経験や判断、直感などがコンピューターに勝ることは少なくない。
    ただし、より適切な判断を常に行うことを人は苦手とするため、データを用いることも忘れてはならない。

  • 映画「マネーボール」で一躍有名になってた著者による、よろす統計本。扱うテーマは、金融危機、政治、野球、天気、地震、インフルエンザ、ギャンブル、ポーカー、地球温暖化、テロ。統計データを読み取る人間のバイアスが判断を誤らせるという話には嘆息。著者自身がKPMGに勤務していた頃にオンラインポーカーに全ての余暇をつぎ込んでいた話も面白い。気温観測地点が都市部に偏在しているバイアスを排除したデータを使ってIPCCの調査結果を再検証したUCバークレーのチームが「温暖化は確認できる」と結論づけた話も面白かった。

    同僚Mさんから拝借した。

  • 前半は、リーマンショック、米国大統領選挙、天気予報、地震などの予測のダメ出しで、リーマンショックなどの分析は成る程と思いつつも後出しじゃんけんな感が否めない。後半はギャンブル、金融市場、地球温暖化、テロリズムについて考察し、ベイズの定理あるいはベイズ的思考が再三登場する。ビッグデータは因果関係より相関関係で語られることが多いですが、本書では因果関係を重要視している。バイアスを取り除き、多くの変数を探し当て適切な指標で判断する。500ページを越える冗長な長文が辛かった割にはあまりインパクトを感じられなかった。

  • 私たちは今、増え続ける情報に理解が追いつかないという事態に陥っている

  • 予測と誤りについて書いた本。
    電子書籍版もあるのだが、本屋でめくってみたところ図が多そうだったので
    パラパラめくれる紙版のほうがいいんじゃないかと思い、紙の方を購入。

    はっきり言えば分厚い本の割に、内容的にはそれほど深くはない。
    むしろ横断的に膨大な事例を収集してあることに価値のある本なのかなと。
    用語など内容的に必ずしも正しくはないがロジカルには正しいので特に気にならない。

  • 600ページに渡る分厚い本です。
    電車の中で読むには大変な本でした(^_^;

    近年のビッグデータブームに対して、データを集めるだけでは意味が無い、ベイズ統計等を駆使して、ノイズに騙されないようデータを活かして活用しよう、という本です。

    勉強をするきっかけを与えてくれる良い本です。
    また集計する際に気をつけるポイントも何となくこれで掴めるのではないかと思います。

  • ビッグデータはどの程度のノイズを含んでいるのか、シグナルがあるのか。。。
    成毛さん推し。

  • 現在、膨大な量のデータが手に入るけど予測精度が上がったものとそうでもないものがある。野球、天気、巨大地震、経済などの予測をネタにして、シグナルとノイズ、不確実性をもたらすもの、間違った予測に流れてしまうバイアスを説明している。データ分析と行動経済学を混ぜ合わせた感じの本。面白かった。
    世の中を二分論で見るのではなく確率的に見る、という考え方を意識的に身につけたい。

  • 2012年の大統領選において全米各州の結果をあてて日本でも話題になった538(five-thirty-eight)の主催者であるネイト・シルバーが語る「データを用いた予測」の方法論。

    こう書くと、なにやらすごい定理や発見が書いてあるのか、と思いきや本書はそういった類の本ではなく、考え方やそもそもどういったルートを経て今のような考え方にいたったのかということを丁寧に記している(きっかけはもはや古典になってしまったセイバーメトリクスなわけだが)。なので、最初に本書を開いた僕のように「アカデミックな」アプローチがこれでもか・・・と書いてあることを期待した層にはちょっと期待外れかもしれない。

    では、僕が本書を楽しめなかったというとそんなことはなくて、凡百の「ビッグデータ本」なんかなくても、これ一冊があれば十分なんじゃないか・・と思うぐらいこの本は気にいった。結局この本が言っているのはデータの中で「ノイズ」と「シグナル」を正しく選別し、そのストーリーを考えましょう、ということにほかならない。結局これが出来ずに本書で言うところの「特性適合」に陥ってしまっている例と言うのはかなり多い。

    ノイズとシグナルをどう読み分けるかという、その根っこのところはあまり深く書いてないし(そこがまさしく著者の競争力の源泉だから仕方ない。もしかしたら言語化できないかもしれないし)、この一冊を読んだからと言ってベイズ統計学が出来るようになるわけではないのだが、少なくともこういう内容が広まれば予測するとはどういうことか・・・というのがもっと落ち着いて議論できるようになるのではないだろうか。

  • 何らかの形で予測を仕事にする人は読んだ方がいいと思いました。
    予測がなぜ当たるのか、そしてなぜ当たらないのか、について、様々な分野での事例を引きながら深く考察した本。
    よい予測者になるための心構えを学びました。

全46件中 1 - 25件を表示

シグナル&ノイズ 天才データアナリストの「予測学」を本棚に「いま読んでる」で登録しているひと

シグナル&ノイズ 天才データアナリストの「予測学」の作品紹介

「私たちはシグナルを探そうとしてノイズを集めている」米大統領選で「オバマの勝利」を完璧に予測し、世界を騒然とさせた希代のデータアナリストが、情報の洪水のなかから真実(シグナル)を見つけ出す統計分析理論と予測技法を初公開!

シグナル&ノイズ 天才データアナリストの「予測学」のKindle版

ツイートする