統計の扱い方に「サギ」が横行している件。『瀕死の統計学を救え!』を読んでみて。

『瀕死の統計学を救え!』を読んでいると、
大学院でよく出てくる「統計的に有意」という概念や
p値(ピーち)の問題点を指摘し、

【もう使うのを辞めませんか?】

という提案が掲載されています。

 

著者いわく「ミステリー小説」風な本となっており、
統計学の本として意外と読みやすくなっています。

大学院での統計学教育の問題点も見えてくる本なので
おすすめですよ!

今回はそういうお話です。

『瀕死の統計学を救え!』はおもしろい!

いま
『瀕死の統計学を救え!』を
読んでいます。


この本、すごく面白いです。


大学や大学院の研究で使われている
「統計データ処理」の仕方が、
実は根本的なところで間違っているのではないか、
と指摘している点が興味深いのです。

(ただし、統計学を一回も学んだことがない人だと
 面白さがイマイチ伝わってこないと思います。
 以下、統計学の専門に関するお話ですので
 興味のない方はそっと閉じてみてください…。


p値と有意性検定の問題点。



本書が指摘するのは統計における
「有意性検定」の問題点です。


有意性検定とは統計データを計算して出てくる
「p値(ピーち)」という数字をみた上で、

「p値が0.05よりも小さいから
 統計的に優位だ」

と判断するようなタイプの検定方法です。

(これ、あえて「間違った」理解で書いていますので、
 p値が0.05より小さくても
 必ずしも統計的に立証されたわけではないということを
 ご注意ください

このp値、おそらく大学院に入って
統計に関する授業を受けたり
ゼミに出たりするとイヤでも耳にするはずです。

論文でも頻発しますし。




でも。


『瀕死の統計学を救え!』では

「p値などを使って統計的に有意かをみるのは
 もうやめませんか?」

というのを研究者に訴えかけています。


もっといえば、
論文にp値だけを使うのは
ある意味「サギ」に近い、

とまで言っているのです。

統計学を研究する最大手の団体である
ASA(アメリカ統計学会)も、
また権威ある学術誌のネイチャー(Nature)も、
「統計的に有意」という言葉の使用を
禁止するよう呼びかけています。

これを著者は自動車のリコール(回収)を例に
次のように説明します。

「例えるならば、
 統計学メーカーの最大手企業(ASA)が、
 自社主力製品のリコールを宣言し、

 統計学ユーザーの最大消費者団体(Nature)が
 不買運動宣言をしたことに相当します。

 それでもあなたはp値を使い続けるのでしょうか?
 まだ有意性検定を教え続けるのでしょうか?

 (ⅱ頁)

…散々な言いようです。



それくらい、
p値を使って「統計的に有意か」を判断することには
問題があるわけです。

にもかかわらず、
日本の論文ではまだまだp値を使っていますし、
「統計的に有意」という言い方をふつうにしています。

このあたり、認識を改める必要がありますね…。

今回のポイント


p値への注目と「統計的に有意」という言い方、
やめませんか?
統計データの正しい使い方を専門書で学んでいこう!

統計の世界はウソが横行する…!


…読んでいて思うのは、
この本で言っている内容と
現実の大学院での指導内容のギャップです。

大学院によっては
「p値は低ければいい」
という軽い説明だけがなされることがあります。

「p値が低いから統計学的に有意、
 だからこのデータは正しい!」

そういう言い方をよくします。

(そもそもですが、 
 p値が低いことは「統計的に有意」なだけで
 データが正しいこととは無関係です

だからこそ、
正しい統計学の使い方と
大学院で教えられるベルの内容とに
乖離が生じているといえます。

たった24gやせるだけで「ダイエット効果あり」?


そもそもですが、
p値ってそんなに厳密な数値ではありません。

現状の統計学の講義でも
「p値は調査対象の数(N)が大きければ
 p値が勝手に小さくなるので
 統計的に有意になってしまう」
事が指摘されているからです。

(にもかかわらず、
 論文を書くときには
 意図的にこの事実が忘れ去られています…)

どういうことでしょうか?

例として
新たなサプリメントを
あなたが考案したとします。

このサプリメントに
ダイエット効果があることを
統計的に証明するケースを考えてみましょう。

そのために被験者を集め、
サプリメントを飲む前の体重と
飲んだ後の体重の変化を記録していきます。

そして、この平均の差を求め
p値を測定します。


サプリメントを飲む前・飲んだ後で
1人平均どれくらい体重が減少したら
このサプリメントにダイエット効果があった、
といえるのでしょうか?


細かな計算式は端折りますが、
被験者が20人の場合、
サプリメントを飲む前・飲んだ後で
1,670g以上の減少差があれば
「統計的に有意」となります。

p値が0.05より小さくなるので
こういえるわけです。

ひとり平均約1.6kgの減少というと
たしかに「効果があった」と言えそうです。

しかしながら
被験者を100人に増やすとどうでしょうか?

この場合、
体重の減少が
747g以上であれば
「統計的に有意」となります。


747gというと
さっきよりだいぶ減りましたね…。



もっと被験者を増やすとどうなるでしょうか?


被験者が10万人いる場合、
なんとたった【24g】の差があるだけで
「このダイエット法は統計的に有意」だと
言えてしまうのです…!

(この内容は『瀕死の統計学を救え!』
 25頁に載っています)

ちなみにですが、
24gってしいたけ1個・
アスパラガス1本程度だそうです

https://7dogs.net/8488.html

10円玉1枚が5gなので
コインが5枚ほど被験者のポケットに
入っているだけで
24gになってしまいます…。

数が増えると、勝手にp値は下がる…。

さあ、ここまで
p値をもとに統計を見る問題点を
解説してきました。

p値は
「調査数が増えれば勝手に小さくなる」
という特徴があるので
そもそも統計的指標で使っていいのか、
と議論されています。

にもかかわらず、
大学院では「ふつうに」使っているケースが
まだまだ多いですね…。

(統計学を専門とする大学院ならともかく、
 看護学でも経営学でも
 p値の扱いがけっこうズサンなところは
 多いようです…)



統計って難しいですが、
だからこそ正しく理解していかないと
研究が偏った結果となってしまいます。

ときには専門書などで
学び直したいですね・・・!


うちの塾、
ときおり社会人の方に
大学院における統計の扱いについて
アドバイスも差し上げていますので
なにかありましたらお問い合わせください。

ではまた!

 
☆以前もこの記事の中で
 統計におけるp値の問題点を
 書いています。

ご興味のある方はこちらもどうぞ↓

 


☆メルマガ登録後1通目が届かない場合はこちらをご確認ください。
メールが届かない場合

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください