科学論文を読んだことがある人ならば、ほぼ間違いなくp値に出会ったことがあるだろう。そしてもしそれを理解しにくいと感じたのであれば、それは決して自分だけではない。現役の科学者の多くもp値を誤解しているのである。
p値とは実験の「統計的有意性」を測る数値であり、その実験が本当に何かを発見したのか、それとも発見しなかったのかを判定するものとして扱われることが多い。ある薬が効果を示したかどうか、あるグループが別のグループと異なっていたかどうかを決定づけるのもp値である。
研究者のキャリアも、論文の発表も、そして私たちの世界に対する理解も、p値に左右されている。だからこそ、このp値が実際に何を意味するのかを理解しておく価値がある。なぜなら、それは多くの人が思っているものとは違うからだ。
p値は何を意味するのか
ある国の成人が別の国の成人よりも平均身長が高いかどうかを知りたいとしよう。全員を測定することはできないため、それぞれの国から成人50人ずつを標本として抽出する。
最初の標本の平均は1.80メートル、2番目の標本の平均は1.77メートルであった。この3センチメートルの差は、それ単体ではほとんど何も語らない。なぜなら、どのような2つの標本も、たまたま選ばれた人によって、ある程度は異なるものだからである。
では、この差は全体の人口における平均身長の実際の違いを示す十分な証拠と言えるのだろうか。それとも、単に標本抽出の巡り合わせによって生じ得る程度のものなのだろうか。
これを確かめるために、科学者は統計的検定を実施し、p値を算出する。仮にその結果がp = 0.06だったとしよう。
これが意味するのは次のようなことである。もし両国の間に実際には差がまったく存在しないのであれば、これほど大きな差が標本抽出の巡り合わせだけで生じる確率はおよそ6%であるということだ。
ここで、これが意味しないことにも注目してほしい。この結果がまぐれであった確率が6%だとか、両国に実際に差がある確率が94%だという意味ではない。
p値が示しているのは、実際には何も起きていない場合にこれほど大きな差が生じる確率であって、何も起きていない確率そのものではない。人々はこの2つを常に取り違えており、それを知っていてもなお混同してしまいがちなのである。
なぜ0.05なのか
慣例により、p値が0.05を下回ると「統計的に有意」と呼ばれる。先ほどの身長の研究は、p値が0.06であったため、有意差なしとして報告されることになる。
では、この0.05という閾値はどこから来たのだろうか。特にどこからというわけではない。
英国の統計学者ロナルド・フィッシャーが1920年代に経験則としてこれを提示し、その便宜的な数値がそのまま定着してしまったのである。
0.05を「有意性」の基準とすることには、一つ有用な点がある。もし実際には効果がまったく存在しないとしても、閾値を0.05に設定すれば、単なる偶然によって「有意」な結果が20回に1回程度は出てしまうということだ。
これは、私たちが許容することに合意した誤検出の割合である。発表された研究結果のうちどれだけが誤りであるかについての主張ではない。
恣意的なのは、100分の1でも10分の1でもなく20分の1という数値そのものであり、それによって奇妙とも言える結果が生まれる。p = 0.049であれば発見として報告され、p = 0.051であれば何も起きなかったかのように扱われるのである。
「有意でない」は「差がない」を意味しない
先ほどの身長の実験に話を戻すと、p = 0.06という結果を、両国の人々の身長が等しいことの証明だと考えたくなるかもしれない。しかしそれはまったくの誤りである。
有意でない結果が意味するのは、単にその差が閾値を超えるほど珍しいものではなかったということだけだ。実際の差は大きい可能性もある。この研究が単に小さすぎたか、ノイズが大きすぎたために、その差を検出できなかっただけかもしれない。ここでのノイズとは個人間のばらつきを指す。各国内で個人ごとの身長のばらつきが大きいほど、同じ3センチメートルの差に対するp値は大きくなる。
逆の混同も同じくらいよく見られる。日常の英語では、significant(有意)は「大きい」「重要である」を意味するが、統計学では単に閾値を超えたことを意味するにすぎない。
4万人を対象とした研究で、ある薬がIQを0.5ポイント上昇させ、p < 0.001であったとしよう。これは「統計的有意性」の閾値を容易にクリアするが、それでもIQ0.5ポイントの差はまったく重要ではない差である。
一方、より小規模な研究でIQが平均5ポイント上昇し、p = 0.06であった場合、その効果が実際に存在するとすればはるかに意味のあるものであるにもかかわらず、「有意でない」とされてしまう。
だからこそ、p値は効果量とあわせて読む必要がある。効果量は、通常最も重要となる問い、すなわち「その差はどれほど大きかったのか」に答えるものである。
p-hackingの誘惑
0.05を下回るかどうかに多くがかかっているため、この閾値は誘惑を生み出す。あるサプリメントを検証している研究者が50人を集め、p = 0.08という結果を得たとしよう。もどかしいほど惜しい結果である。
そこで彼らはさらに10人を加えて再検定する。p = 0.06。さらに近づいた。もう10人加えると、ついに0.05を下回り、その時点で検定を打ち切り、あたかも標本サイズが最初から固定されていたかのように論文化する。
データを覗き見ながら、閾値を下回った瞬間に検定を打ち切るというやり方は、実際には何も起きていない場合でも「有意」な結果が出る確率を押し上げてしまう。研究者が多くのアウトカムやサブグループを試し、うまくいったものだけを報告する場合も同様のことが起きる。十分な数の検定を行えば、偶然だけで0.05を下回るものが出てくるのである。
これはp-hackingと呼ばれ、研究者が実際にかなりの頻度でこれを行っているという証拠がある。
p値は廃止すべきか
そう考える人々もいる。2019年には800人を超える科学者が、統計的有意性という言葉を廃止するよう求める呼びかけに署名した。少なくとも一つの学術誌はp値そのものを禁止している。
その他の論者は、効果量と信頼区間により重きを置くべきだと主張する。これらは効果がどれほど大きい可能性があるか、そしてどれほど精密に推定されたかを示すものである。
効果量と信頼区間を重視することは賢明であるように思われる。しかし、p値を完全に廃止することは行き過ぎかもしれない。
p値は有用な情報を教えてくれる。それは、もし実際には効果が存在しないとした場合に、私たちが得たものと同程度以上に極端な結果がどれくらいの頻度で現れるかということである。問題なのは、それを仮説が真実であるかどうか、あるいはその発見に意味があるかどうかについての裁定として扱ってしまうことなのである。
