★手計算とRで学ぶ統計学: 「有意である」ってどういうこと？

0. Home

1. データ分析初歩の初歩

1.1 実例でわかる！統計学の重要性

1.2 どのようにデータを取れば良いか

1.3 統計量の基本

1.4 頻出用語の定義確認

2. 統計的仮説検定の仕組み

3. 実験前のサンプルサイズ設計

4. \(t\)検定

4.1 1標本\(t\)検定

4.2 2標本\(t\)検定 (対応なし)

4.3 2標本\(t\)検定 (対応あり)

5. 相関分析

6. 分散分析

6.1一元配置分散分析 (対応なし)

6.2 一元配置分散分析 (対応あり)

7. 線形モデリング (回帰分析)

7.1 単回帰分析 (単回帰モデル)

7.2 重回帰分析 (重回帰モデル)

8. ノンパラメトリック検定

7.1 適合度の検定

7.2 独立性の検定

7.3 マン・ホイットニーのU検定

9. 実践！データ分析

9.1 Rを使った分析その前に

9.2 \(t\)検定

9.3 分散分析

9.4 線形モデリング (回帰分析)

9.5 ノンパラメトリック検定

10.「有意である」ってどういうこと？

11. おわりに

12. 参考文献

13. 付録

卒業論文のシーズンになると，「やったー！\(p < .05\)だ！有意だ！ (よろこびのまい」や「あ…有意差ない…卒論死んだ…」などの叫びが現実世界からもSNSからも聞こえてきます。
実際に，学術界でも有意でない結果は出版されにくい，という出版バイアスも存在しています。このように，\(p\)値の大小は卒業論文から学術雑誌の論文までを広く支配しているように思えます。

しかし，はたして\(p\)値はその研究結果に本当に意味があることを保証する値なのでしょうか？

"Publish or Perish (出版か死か)" と表現されるような研究者のおかれた厳しい状況や，\(p < .05\)の「統計的に有意な」結果を出した研究がより出版されやすいという出版バイアスなどの影響で，長年多くの研究者によってなんとか\(p < .05\)にするための色々な策が講じられてきました。しかし，これらはQRPs  (Questionable Research Practices 日: 問題ある研究実践) として研究の信頼性，再現性を損なうなどの悪影響が近年問題視されています。

2016年には，アメリカ統計学会 (ASA) が「\(p\)値以外のアプローチを用いた結果の解釈をすべき」という声明を発出しました。それでも統計学の授業や書籍では\(p\)値について取り扱っていますし，論文でも\(p\)値についての記述があるものがほとんどです。

この章では，\(p\)値をもっと理解するために，そして\(p\)値に惑わされないために「\(p\)値とは一体何なのか」を紹介します。

そもそも\(p\)値は，帰無仮説が真である，つまり帰無仮説の分布と得られたデータの母集団の分布が同一であるときに手元のデータから得られた検定統計量よりも極端な値をとる確率のことです。データから得られた検定統計量と正，または負の無限大の範囲内で積分したときの値として表されます。
言葉で表現するよりも，実際に図を見ながら紹介した方が早いので図を示しながら説明します。

○有意である場合
対応のない片側2標本\(t\) 検定を実施して\(t = 5.007, p < 0.001\) という結果が得られたとき，\(t = 5.007\) となる確率が\(0.001\times 100 = 0.1\%\)未満である，つまり，帰無仮説が真であるときに\(t = 5.007\)という値が得られるのは非常に考えにくいことを示しています。

また，\(p\) 値は \(5.007 < t < \infty \) の範囲で自由度18の\(t\)分布を積分した値です。この場合は面積が0.001未満であるため，図で示しきれません。

一方，対応のある両側2標本\(t\) 検定を実施して\(t= 0.937, p =0.187\) という結果が得られたとき，\(t= 0.937 \)となる確率が\(0.187 \times 100 = 18.7 \% \)である，つまり，帰無仮説が真であるときに\(t = 0.937\)という値が得られると考えるのが容易であることを示しています。

また，\(p\) 値は \(-\infty < t < -0.937 /, 0.937 < t < \infty  \) の範囲で自由度9の\(t\)分布を積分した値です。

過去の研究史で，なんとか\(p < .05\) にすべく研究者たちが講じてきたQRPsの一部を紹介します。この中には，かつて書籍でも推奨されていた研究実践もあります。

・検定の結果を見ながらデータ収集の継続/終了を決める
「自分たちの仮説を支持する結果が出るまでサンプルサイズを大きくした」とアブストラクトに記載された論文も過去には存在したそうです。また，データを取るたびに検定をかけ，ちょうど有意になったところでデータ収集をやめるという手法もあります。

・仮説を定めずに様々な検定を行い，有意になったものだけ報告
「下手な鉄砲数打ちゃ当たる」方式で進めると，統計的仮説検定を採用している検定手法の前提が崩れてしまいます。
近年は様々な方法で分析を行い，有意かどうかにかかわらず全ての結果を報告するマルチバース分析も行われています。

・データを図示して，「ノイズになりそうな」値を基準なく勝手に除外
確実にノイズになる値 (機器の不調，実験者のミス，明らかに設問を読んでいないことがわかる適当な回答…) を基準を設けた上で除外することには問題がありません。しかし，データをプロットした散布図などを見た上で「この値はノイズになりそうだ」と除外すると，有意な値が得られやすくなります。

・仮説を支持する検定結果のみを論文に掲載する (cherry picking)
手元のデータに対してさまざまな処理 (外れ値になりそうな値を除外するなど) や検定を行い，その中でも有意だったものだけを論文に掲載すると，見た目としては「仮説を支持する美しい検定結果」が得られます。
しかし，チェリーピッキングされた論文をもとに行われる後続研究への影響は非常に大きいです。

・仮説の後付け (HARKing)
HARKingは結果を知った後に仮説を作りなおし，データを取る前からその結果を予測していたかのように見せかける行為です。実験前の仮説のもとに統計的仮説検定を行なってはいますが，後出しした仮説については検証が行われません。そのため，後出しされた仮説について実験を行うと再現されないことが多々あります。
2007年に出版された統計学の本をたまたま手に取ったことがあるのですが，HARKingが当たり前のように推奨されていて思わず目を疑いました。

これらの研究実践は，捏造，改ざん，盗用のように研究不正として認定されておらず，論文中で報告しない限りはとても「美しい」データとして論文を執筆することができます。しかし，QRPsは科学の根幹をなす研究の再現可能性を損ないます。「巨人の肩の上に立つ」という言葉で表現されるはずの科学の営みが，実際にはガタガタなジェンガの上に立っているような状況に陥ってしまうのです。
「心理学の権威ある学術雑誌に掲載された実験のデータを主観的に再現できた割合は33%」という衝撃的な結果を紹介した論文がScience誌に掲載されたことや「いやいや，心理学以外の分野でも70%の研究者が他者の実験の再現に失敗したらしいぞ」という調査結果が発表されたことをご存知の方もいるかもしれません。

\(p\)値に惑わされないために心がけておくべきことをいくつか紹介します。

・\(p\)値の定義をきちんと理解し，誤用しないよう慎重に分析や結果の解釈を行う
\(p\)値の理解を確実にするだけで，\(p\)値の誤った解釈や\(p\)値の神格化はだいたい防げます。

・\(p\)値だけでなく効果量，信頼区間も必ず検討する
仮に\(p\)値が事前に定めた有意水準を下回ったとしても，「その結果は本当に意味のあるものか」「平均値にはどの程度幅があるのか」についてもあわせて検討しましょう。
最近では効果量や信頼区間の記載を必須とする学術雑誌も増えています。

・先行研究での記述をあてにしすぎない
先行研究で「有意傾向であった」などの記述があったら，「こう書いていいんだ」と考えてしまいがちです。確かにある程度は参考になりますが，「統計学的に適切か？」とテキストに立ち返ることも必要です。

統計的仮説検定でこれらの問題が生じていることに着目し，「いっそのこと\(p\)値を捨てればいいじゃない」とベイズ統計学を取り入れる研究者も国内外に多数います。
しかし，ベイズ統計学は実際のデータ解析で使えるようになるまでの知識を得るためにある程度の根気が必要です。そのため，ネイマン=ピアソン流での適切なデータ分析方法とあわせて少しずつ学ぶのがよいでしょう。