瀕死の統計学を救え! ―有意性検定から「仮説が正しい確率」へ―

著者 : 豊田秀樹

• 朝倉書店 (2020年3月15日発売)

作品紹介・あらすじ

米国統計学会をはじめ科学界で有意性検定の放棄が謳われるいま，統計的結論はいかに語られるべきか？初学者歓迎の軽妙な議論を通じて有意性検定の考え方とp値の問題点を解説，「仮説が正しい確率」に基づく明快な結論の示し方を提示。

感想・レビュー・書評

[黄昏さんの感想 · 2020年4月26日]

科学読み物と学術書の中間くらいの柔らかさで、（主に文系の研究者や学生に対して）仮説検定の問題点をわかりやすく説明している。

p値を使った仮説検定については、一応分かったつもりで業務上使用してきたが、使いにくい・分かりにくい・誤解を生むとは実感していたので、本書のようにその問題点を整理し、なおかつその代替案を提示してくれていることは、データを用いた分析を行わざるを得ない立場としては助かる（具体的な計算方法は本書には記述されていないが、それは既に著者の「基礎からの統計学」及び「はじめての統計データ分析」を読んで知っていたので特に気にはならなかった）。

本書を読んだきっかけは、ソーバーの「科学と証拠」である。そちらはより理論的、哲学的に深く、データを用いた科学的な分析を掘り下げているが、こちらは理論的な話ではなく、実務者を具体的に支援するという観点で書かれている（と思う）。

両書を読むと、単純に実験等でデータをとって、何かの結論を得るという、科学を行う上での一丁目一番地、基本の基が、21世紀の現在においてもまだちゃんと確立されていないのかということに驚かされるとともに、著者が主張するように、p値に変わるような、よりわかりやすく、追試がしやすい科学的な主張方法について、せめて大学以上の高等教育や学術界において早急に確立してほしいと感じる。

[yoshi679さんの感想 · 2020年5月20日]

有意性検定（p値を用いた解釈）の問題点を指摘しつつ、現状、有意性検定が用いられているような課題に対して、ベイズを用いた分析が適用できることを示している。

ベイズの説明が非常にわかりやすい。おすすめの参考書も示されており、引き続き勉強を続けて、フレキシブルに分析ができるようになりたい。

実務の現場では盲目的に有意性検定が使われているが（有意かそうでないかにばかり着目し、その差がビジネス的に意味のあるものなのかどうか見落とされがち）、どのようにその文化を変えていけるか。やはり高校〜大学の教育課程から変えていくのがベストなのだろうか

[浜松医科大学 附属図書館さんの感想 · 2024年3月13日]

【蔵書検索詳細へのリンク】＊所在・請求記号はこちらから確認できます
　https://opac.hama-med.ac.jp/opac/volume/481142

[mirian.87さんの感想 · 2022年3月18日]

有意性検定の納得出来ない点や、大丈夫なのかと訝しむ点について、現場の専門家が数値例などを示して、解説してくれる良書。

[日本工業大学LCセンター図書館さんの感想 · 2021年10月23日]

（特集:「先生と先輩がすすめる本」）
ミステリー小説風な展開で、統計的検定における『ｐ値』の濫用に対して警鐘を鳴らし、数値例で詳しく説明もなされた、やや急進的な内容の本である。「はじめに」を読めばわかるが、通例の謝辞は、名前を挙げられた人が困る可能性を憂慮し、書かれていない。実験結果等の妥当性をｐ値＜０．０５で機械的に判断する学術論文の査読では、経済学で言われる「神の見えざる手」が働き、再現性のない論文が量産される事を危惧している。処方箋は尤度原理で、ベイズ推定の方がｐ値よりも分かり易く適切だと主張しており、私も前からそう思っている。
（電気電子通信工学科・教員推薦）

↓利用状況はこちらから↓
https://mlib3.nit.ac.jp/webopac/BB00559787

[信州大学中央図書館さんの感想 · 2021年3月15日]

◎信州大学附属図書館OPACのリンクはこちら：
https://www-lib.shinshu-u.ac.jp/opc/recordID/catalog.bib/BB29838760

[pandra14さんの感想 · 2021年1月17日]

統計的に有意（Statistical significance）は統計学を学んだ人なら必ず使用する言葉である。

母集団から標本を抽出し、帰無仮説と対立仮説を設定し、帰無仮説が正しいとして、正規分布（標本の数が多ければ中心極限定理から正規分布に従うだろう）から帰無仮説が「どの程度」離れているかを評価する。
よく95％信頼性が使われるが、これより確率的に起こりにくい場合（ｐ値）に、95％の信頼性で帰無仮説が棄却される。
一般的にはこのようなステップを踏み統計検定を実施する。

科学論文でも同じような検定を行い、実験の信頼性を評価する。

筆者はこの検定方法に真っ向から反対する。

１）帰無仮説の設定方法が甘い
例えば、ダイエット方法の効果を検証する場合を考える。
このとき、例えば30人のモニタリング対象者を選定し、ダイエット方法前の体重とダイエット方法を1か月実施した場合の体重の変化量を比較する。ダイエット前後の平均値をAとBとすると、帰無仮説をA＝B（つまりダイエット方法前後で体重が変わらなかった＝効果がない）、対立仮説はA≠Bである。

そこから、検定をして有意性を示す。
しかし、この方法では問題点が2つある。
一つは、体重は基本的には連続量である（体重はとびとびの値ではなく、連続的な値であるということ）ので、平均A=Bはほんとうに起こりにくい。
（サイコロのように１から６までとびとびの値がでるわけではなく、１から６までの実数で適当に2つを選んでも一致することはない、ということ。A=BはA≠BにAlmost everywhereで被覆される。）
これで検定をかけても、A=Bは起こりにくい。

２）どれくらい効果があるかわからない
A=Bから検定を実施する場合に、どの程度ダイエット効果があるか統計的有意であることとはまったく関係がない。
やるのであれば、帰無仮説はA-B<X（Xがダイエット方法で達成したい効果量。例えば、ダイエット前後で2kg減量したい場合にはX＝2kgである）と設定したほうが良い。
実務的には、Xをいろいろ値を設定して、各々に対してｐ値を算出したほうが良い。
X=1kgではｐ値が95%、X=2kgでは60%など。
とはいいつつ、必要性と十分性は気を付けるべきである。

３）Ｎ値の恣意性
上記１と２については記載した通りある程度解決策はある。
しかし、もっとも致命的な問題なＮ値である。
先ほどの例では被験者をＮ＝30としたが、この値については何か科学的な理由があるのだろうか？
統計と聞くとＮが大きければ大きいほど良いと思うかもしれない。少なくとも私はそう思っていた。
というのも、統計量の評価で
Ｚ＝μ/√S^2 x √n　（μ：平均、Ｓ：不偏分散）
で与えれ、μ∝1/√nとなり、つまり、μ>ＺxS/√nを示せれば統計的に有意である。
ｎを大きくすれば、どんどんこの式を成立させるμは小さくでき、統計的に有意であることが簡単に示せてしまうのだ。
（この場合、ダイエット前後で体重の平均値が小さくなっていくということを与える。つまり、たった100gしか変わらないのに統計的に有意であることが言える）

ということで、適切なｎがあるはずである。
でもなんか変だ。いっぱいサンプリング数を増やせばいろいろな人の変化がわかるのに、この理論でいくと多すぎではいけないと言っているのだ。


という問題点を踏まえて筆者あベイズ推論による検定を提案する。
ベイズ推論は、上記の性質とは異なった性質、

１）研究仮説をもっと直接的な表現で説明できる。
検定では帰無仮説を棄却することによって、対立仮説が間接的に表現できる。
が、帰無仮説を棄却＝対立仮説が正しいということではないことに注意が必要である。（必要性のみを示している）

２）ｎが大きければ大きいほど正確な評価ができる。


本書には詳しい方法論も記載されており、参考文献の紹介もあるので一読の価値は十分あり。
これを読んで統計検定をしないぜ、ということにはならないかもしれないが、使用する場合の注意点の気づきはできる。

[gakudaiprofさんの感想 · 2020年12月11日]

日本でやっとp値についての問題を指摘した読みやすい本が出てきた。
　次は、ベイズ統計学を用いた論文の記述方法についての本が出版されることを望む。

[旭川医科大学図書館(公式)さんの感想 · 2020年11月26日]

【OPACへのリンク先】【講座選定：看護学講座(形態機能学)】https://lib.asahikawa-med.ac.jp/opac/opac_details/?lang=0&amode=11&bibid=2000114974

[aokikenichiさんの感想 · 2020年11月1日]

一読して「なるほど」と思ってしまったのだが
https://twitter.com/genkuroki/status/1220130764148236289
という意見もあり……
SNSの戯言なら無視ですが黒木先生ではねぇ
著作多数の先生同士で意見が異なっている場合独学者はどうしたものか

著者プロフィール

早大

「2022年 『統計学入門 II』 で使われていた紹介文から引用しています。」