本棚登録 : 
感想 : 
- Amazon.co.jp ・電子書籍 (900ページ)
感想・レビュー・書評
-
コメント0件をすべて表示
-
ジョブズ理論で紹介されていたので購入してみた。
予測を間違わずにするには、昔からの自分の主観に頼るのではなく、データに基づいて客観的にするべきだという話をずっとしている。
その時、ノイズが予測を狂わせるので注意というのが話の軸だ。
具体例を用いて解説してくれているのだけれど、長々と書いてあって、あまり頭に入ってこないので、途中で断念した。
また読みたいと思ったら、開いてみようと思う。
0
-
カオスの存在とフィードバックループの困難さから、多くの物事は予測が困難である。そこで本書はベイズ的思考で徐々に正確性（妥当性）を増加させるアプローチを推奨する。天気、気候、ギャンブル、地震、経済、選挙等様々な分野での失敗と成功を分析し、どこに予測の困難さが発現するのかを解説する。
フィードバックループの少なさに関しては行動経済学の「ファスト・アンド・スロー」でも触れられているように、データを適合させることができない（ノイズを取り除けない・過適合する）ことに起因する。しかし、本書で例示されているようにすでにほとんど成功の見込みがないことが実証されている分野で、なぜ未だにそれが世間で受け入れられるのか、というメタ志向な心理学的アプローチがどこかにないだろうか。
0
-
「予測」についての本。
地震予測、インフルエンザ流行、温暖化などの議論は面白かった。ただ、結局様々なトピックについて具体的に紹介・解説するにとどまり、筆者なりの「シグナルとノイズをどう見分けるか」といった話がなかったのが残念。しかしそれこそが「ハリネズミ的」態度なのかもしれない（世界の隠された法則、全部をひっくるめた説明を求める態度）。
なので、どちらかというと「ベイズ推定」で「不確実なもの」に予測で近付こうとする方法についての本。しかし、科学は予測だけでなく制御も大事な目的である。制御のためには、間違っていたりノイズを含んでいるとしてもモデル化しなければいけない。大事なのはその結果が期待を満たしているかどうかを常に評価することだろう。
0
-
一般の読者が読む価値は大きく２つあります。一つは、統計的な考え方という、ふだんは馴染みのない思考方法に慣れることで主観を削ぎ落とすプロセスを学ぶことができる点です。
...
0
-
現代の社会には情報があふれすぎていて、「増え続ける情報に理解が追い付かない」（序章）。情報には「シグナル」という真実だけでなく、「ノイズ」も含まれている。データからパターンを読み取ることは簡単でも、それがノイズなのかシグナルなのかを区別することは難しい。本書全体を通じて著者が強調する点はこれに尽きる（まさに本のタイトルがこのことを示している）。ノイズが予測を難しくするのである。
第4章では予測の成功例として「天気予報」をテーマに選んでいる。これはとても面白い。なぜなら、たいていの人は「天気予報なんか当てにならない」というイメージを抱いているだろうからだ。天気予報について書かれた多くの本と同じように、天気予報の難しさは天気が基本的に「カオス」であることが本書でも説明されている。それでも、コンピュータの処理能力が上がったおかげで天気予報の精度は著しく高まった。ただし、コンピュータの予測に「人間の判断」が組み合わさって良い天気予報になることを著者は強調している。文脈を無視した単純なモデルはあまり役に立たないようだ（「オッカムの剃刀」をやみくもに信奉してはならない）。
気象学者と対照的に「予測を外す」のがエコノミストらしい（6章）。彼らの経済予測は当てずっぽうよりも精度が悪い。経済学者は「正しい予測をすることにインセンティブを持っていない」という著者の皮肉（？）は、ひょっとしたら正しいかもしれない。成功する予測者は「疑う余地のない理論、寸分の狂いのない測定といった観点から将来を考えない。これらは愚か者の幻想であり、自信過剰警報となる」（8章）。そして、「多くのエコノミストは、予測の精度を高めるために必要不可欠であるこの努力を怠り、自信過剰のバイアスを修正してこなかった」となかなか手厳しい。
情報を知識に変えながら、物事を上手に予測するためにはどうすればよいのか？まず著者が強調するのは、現実に存在している不確実性を受け入れて、確率論的に考えることが大切だということだ。人は不確実性を嫌うので、これは口で言うほど簡単ではない。けれども、確実に将来を予測することはできない。そのような予測は自信過剰であるか、あるいは過剰適合に過ぎない。良い予測とは幅を持って示されるものである。また、「見たい物を見る」という人間の習性も予測の妨げになる。個人のバイアスを超えて物事を見ることが必要だ。そのためには、予測を常に検証して、その結果から予測を更新するというトライアル・アンド・エラーの姿勢が必要となる。これは「ベイズの定理」を使って物事を見るということだ。検証・更新を繰り返すほど、予測は正しくなっていく。
「絶対確実」ではないからといって、予測が役に立たないというわけでは決してない。また、気象予測のように、昔と比べて精度が格段に向上してきた分野もある。他方で、社会には怪しげな――けれども自信たっぷりな「予測」にあふれている。予測そのものがノイズということである。そんな状況の中で、本書は情報を知識に変えるための有益な視点を提供してくれている。大部で少し怯むかもしれないけれど、ぜひ多くの人に読んでもらいたい一冊だ。
0
-
マネーボールで有名になった著者が、予測について書いた本。天気予報から、インフルエンザはたまたギャンブル、テロまで様々な観点で、ノイズとシグナルの観点で予測がどうなるかを解き明かしてくれる。
0
-
なぜ経済予測が機能しないか、テロの発生規模を見誤るか、頻度主義がうまく現実世界を説明できないか、AIと人間の関係…様々な洞察を深める良書。
0
-
データを用いた予測のついて、政治や野球やポーカー、リーマンショックや地震、天気など身近な事例で分かりやすく解説した本である。
ビッグデータとかディープラーニングなど難しい言葉をよく見かけるが、本質は「過去の似たデータを探す」 ということである。なので過去のデータの範囲で探す場合は精度が良いが、範囲外になると精度が悪くなる。言われてみればそうなのだが、そういう説明になかなか出会わない。
またデータが増えるとシグナルも増えるが、ノイズも増える。そのため都合の良いデータ (因果関係は無いのに、たまたま相関がある) が見つかりやすくなるという指摘も、なるほどなと思った。都合の良い相関に騙されないためには、判断する人間が謙虚になることと、因果関係 (メカニズム) を見つける努力が必要である。科学は進化しても、その進化を享受できるか否かは、それを使う人間次第だということだ。
0
-
シグナルを見つけるのは比較的やさしい、ように見える。しかしそれがノイズだとしたら見分けられるのか。2012年にアメリカ大統領選の結果を完璧に当てて有名になったネイト・シルバーはpecotaと言う野球の分析ソフトの開発者でもある。
野球は比較的統計データーを活かしやすい分野だ。マネーボールでは統計データーを使ったセイバーメトリクス対伝統的なスカウトが対立軸として使われているが実際はどうか。pecotaは2006年の有望株の4番目にレッドソックスの名二塁手ダスティン・ペドロイアを挙げたがスカウト達の評価は低かった。「身体的に恵まれていない」と。4月.158だった打率は5月には3割を超え7月にオールスター、この年の優勝に貢献して新人賞、そして翌年MVPに選ばれた。
マネーボールのヒット以来ハーバードやエールで統計学とコンピューターを学び、普通だったら投資銀行で年収40万$で働く若者が、その1/10の年収でタンパやクリーブランドまでやって来て24時間喜んで働いてくれる。年収4万の若者はピークを超えた4000万のFA選手よりいい投資先になる。球団はFA市場で1勝当たり400万$を喜んで払う。とは言えソフトはスカウトより優秀だというような単純な話でもない。2011年シーズン、pecotaの予想したトップ選手100人はMLBで546勝を生み出した。対するベースボール・アメリカ誌の選んだ選手は630勝を生み出した。この差は86勝で3億4千万$に相当する。スカウトは統計データーも使い独自情報によるバイアスを修正することでより良い予測をすることができるのだ。
統計学の世界でノイズをシグナルと間違えることを過剰適合と呼ぶ。福島原発はM8.4には耐えられるようにできていたがM9.1には耐えられなかった。(モデルケースとしては少し単純化しすぎだが)グーテンベルクとリヒターの法則では、地震のマグニチュードと頻度は対数をとるときれいに直線に乗る。つまりマグニチュードが1大きくなると頻度は1/10になる。しかし東北の統計ではマグニチュードどが7を超えたあたりで傾きが変わり頻度が減少するように見える。この統計は1964年間からなので大地震はそもそもデーターの絶対数が少なく大地震のリスクが少なく見積もられていた=過剰適合だったかもしれないというのが著者の見解だ。過剰適合ではなく何らかの理由で地震の頻度が減っていたとした特性適合とした場合、M9の地震は1万3千年に1回、リヒター則なら300年に1回だ。マグニチュードが1増えるとエネルギーは32倍になり地震のエネルギーと被害の大部分は数少ない大地震によるものだ。同時期の世界の統計では大地震も含めリヒター則の方が適合している。地震そのものは予測できないとしても確立はそれなりの確かさで計算できる。GPS地震予測の村井教授に対しては本職の地震学者から批判があるが、新たなシグナルを手に入れられることは間違いない。
では具体的にどうやって予測するのかというのが後半のテーマでここでは主にベイズ確率を用いている。通常の統計ではデーターが少ないとシグナルとノイズの見分けが難しくあまり役に立たないが、ベイズ確率の考え方では事前確立(たとえヤマカンレベルでも)新たなデーターが得られるたびに修正していく。事件が起きてからシグナルを見つけるのは簡単だ。真珠湾攻撃や911を示すシグナルはたくさんあった。飛行機を使ったテロ計画はすでにあり、アルカイダの危険性やワールドトレードセンターが過去にテロの標的になったこと、そして極め付けは1ヶ月前に747機のシュミレーターを希望したイスラム原理主義者ムサウイが飛行機訓練学校の教官の通報で逮捕されている。テロの場合も地震と同様に極めて少ない大規模のテロが被害者の多くを占めている。もし911がM8級のテロだとすればM9級のテロの可能性はどう見積もるのか。1979年から20年間に起こったテロにべき乗則を当てはめると、今後10年間にNATO諸国で死者1万人を超えるテロが起こる可能性は10%、10万人なら3%、100万人なら0.6%となる。
地震もテロも計算の元となるデータを少し変えると大きく確立が変わる。しかし、被害が大きいのはそのごく少数のM8級以上の出来事なのだ。100万人が犠牲になるテロは1600年に1回だとしても年平均にすると625人が被害に会うことになる。ブラックスワンを無視すべきではない。もしムサウイの逮捕をベイズ確率の事前確立に織り込んでいれば被害を減少させることができたかもしれない。
0
-
数々の予測を的中させてきた天才データ・サイエンティスト ネイト・シルバーが、ビッグ・データ解析の秘訣を明かす…とか何とかいう類の本かと思ったら、全然違った。
理論的な因果関係の究明なくして、純粋にデータだけからモデルを帰納する態度を「単なる過剰適応(オーバー・フィッティング)」と徹底的に否定し、モデルの背後には必ず因果を説明する理論がなくてはならないと説く。また同じ理由で、統計的有意性(p値がどうこういう奴)の意義にも疑問を呈する。ネイト・シルバー自身は近頃流行りのベイジアンで、常に確率を意識することと、自分の予測(事前確率)と事実(事象)から事後確率を計算することで、次の予測の精度を高めていくことを推奨している。
野球(もちろん『マネー・ボール』)、天気予報、地震予知、金融、インフルエンザ、ポーカー、気候予測(地球温暖化に関する議論)、テロ予知など、確率と予測が重要な役割を果たす様々なテーマについて広範に語られていて、まあ、読みものとしては面白かった。
0
-
さまざまなデータをもとに分析するとき、未来予測につながるデータ（シグナル）とその他の雑多なデータ（ノイズ）を見極めないといけません、という話。
とはいえ、バイアスなどがあると見極めるのは至難の業。予測／検証を繰り返してようやく到達するかどうか、という、予測の難しさも述べている。
0
-
情報量が増えるほどノイズが増え、そのノイズの中にパターンを見いだしているような気になり、真実であるシグナルが見えにくくなる。そのような時代。
その中で予測を行うに当たっては確率論的に考えること、さらに、常にいくつもの情報に気を配りながら、予測をアップデートしていくことが重要だと説く。
この考え方はすなわち、ベイズの定理に沿ったものであり、後半はベイズの定理の説明やギャンブルなどの事例について述べている。
予測に興味を持っている人、ベイズの定理に興味を持っている人にとって楽しく学べる一冊であろう。ただ、ちょっと長いね。
0
