妥当性（Validity）と信頼性（Reliability）

今回は妥当性と信頼性のお話をします。このトピックに関しては心理学が最も関わりが深いため、クックとキャンベルの教科書を土台にしてご説明します（信頼性に関してはほとんど記載がないため色々な資料から引っ張ってきています）。妥当性とは“平均すると正しい値を取る”かどうかの基準です。妥当性が高いということと、バイアスがないということは同じ意味合いです。つまりある測定を100万回して、その平均値を取った場合、その値が真の値に近い場合、妥当性が高いと評価します。ちなみに統計学においては、推定値の期待値（平均値）と推定したいものの真の値の差のことを「バイアス（Bias）」と呼びます。サンプルサイズがどんなに大きくなっても小さくならないことが「バイアス」の定義の一つです。真の値をθ、測定したいものの期待値をE[θ]としますと、定義上、”バイアス＝E[θ]－θ”となります。サンプルサイズが大きくなると測定誤差（ノイズ）はゼロに近づきますが、バイアスの大きさはサンプルサイズに依存しません。βがゼロに等しいことを「バイアスがない（Unbiased）」と表現し、妥当性が高いとはすなわちバイアスの大きさがゼロに近いことを意味します。信頼性とは、一貫性のある結果が得られるかどうかの指標です。信頼性が高いということと、ノイズが少ないということは同義になります。

イメージ図で表現します。的の中心が「真の値」です。そして、黒い点が測定で得られた一つ一つのデータです。一番左の図では、黒い点は固まった場所を示しているので信頼性が高いものの、その平均値は的の中心を指していないので妥当性は低いと考えられます。左から2番目の図では黒い点はバラバラと固まっておらず信頼性は低いものの、それらの点の中心は的の中心に近いので妥当性は高いとされます。左から3番目の図では、信頼性は低く（黒い点がバラバラであるため）、妥当性も低い（黒い点の平均値は的の中心からずれている）と考えられます。一番右の図では、黒い点は一か所に固まっているので信頼性は高く、それらの平均値は的の中心を指しているため妥当性も高いと評価されます。

• 妥当性（Validity）

クックとキャンベルは4つの妥当性を挙げました。

（１）内的妥当性（Internal validity）＝因果推論

内的妥当性とは、「観察された共変する2つの事象に因果関係があるかどうか」ということに関する妥当性です。つまり内的妥当性とは因果推論そのものです。XとYが共変することは分かっていたとします。この2つは「原因」と「結果」であると言うことができれば内的妥当性は高いと表現されます。一方で、交絡因子・内生性の問題があり、見かけ上はXとYに関係性があるものの、それが因果関係になければ内的妥当性は低いと考えられます。

（２）外的妥当性（External validity）＝一般化可能性（Generalizability）

外的妥当性は、認められた因果関係が、研究対象となったサンプルとは異なった人口集団、状況、治療（介入）、時代などなどにおいても同様に認められるかどうかという評価軸です。外的妥当性が高い因果関係というのは人口集団や時代が変わっても同じような関係が認められます。一方で、外的妥当性が低い因果関係は、観察されたデータでは認められるものの、人や研究の環境が変わると異なった関係が得られてしまいます。

（３）統計学的妥当性（Statistical conclusion validity）

統計学的妥当性とは、因果関係を証明するために正しい統計解析方法を用いたかどうか、ということです。

（４）概念的妥当性（Construct validity）

あらゆるデータはある「コンセプト」を定量化したものです。知的能力を測定したくても、それそのものを数値化することはできません。そこでテストの点数やIQをもって、そのコンセプトを数字に“落とし込み”ます。数値化されたデータ（IQ）がきちんと本来測定したいと思っていたコンセプト（知的能力）を表しているかどうか、というのが概念的妥当性です。概念的妥当性の高い研究は、研究者が測定したいと思っているコンセプトをきちんと数値化して測定しているもののことを指します。

•  信頼性（Reliability）

心理統計学（Psychometrics）の世界では、信頼性とは測定の一貫性のことを指します。同じ条件で測定を続けた場合、同じ結果が得られると、信頼性が高いと評価されます。信頼性のタイプは複数あってここでは紹介しきれませんが、基本的な4つおよびその定量化（数値化）の方法の例を下の表にまとめました。