fprの皆様 南風原です。 [fpr 2785] Re: 項目反応理論[理論編] で，村上さんが，以下のように 書いていました。 > 私は基準関連妥当性以外の妥当性を信じていません。まあ、もう > 歳なので、1940年代の概念で止まっていても不思議ではありませんが。 ゼミの学生に紹介されて読んだ論文（関係が逆転していますね，授業料払わねば・・・） Borsboom, D., Mellenbergh, G. J., & Van Heerden, J. (2004). The concept of validity. Psychological Review, 111, 1061-1071. には，1940年代どころか，1920年代のKelleyの妥当性定義「テストは，それが 測ろうとしているものを測っていれば妥当なテストである。」に立ち返ろう と書かれています。 そこでは，50年前のCronbach & Meehlによる構成概念妥当性の提唱から Messickに引き継がれた流れが，テスト得点の解釈や利用の社会的・倫理 的な帰結までも妥当性概念に取り込もうとして，妥当性概念をいたずら に複雑化させ，一般の研究者の認識や妥当性検証の現実から乖離したも のにしたということを指摘しています。 しかし，基準関連妥当性の考え方については，厳しく批判しており， “criterion validity was truly one of the most serious mistakes ever made in the theory of psychological measurement”とまで書い ています（p.1065）。その理由は， [fpr 2697] Re: 短縮尺度を作る で書いた > ある尺度がある外的基準とたとえば0.5の相関がある > とすると，その尺度のベクトルはその外的基準のベクトルと60度の角度を > もっていることになります。しかし，外的基準のベクトルと60度の角度を > もっているベクトルは無数にありますから（外的基準ベクトルを芯にして60 > 度の角度を保ってぐるっと回転できます），それだけでは，その尺度が何を > 測っているのかということはほとんど分からないと言わざるを得ないでしょ > う。 ということと同様で，基準との相関をみるだけでは，何が測定されて いるのか特定することはできないから，ということのようです。（特 定の基準変数を予測することが目的であれば，予測力さえ高ければ有 用ではあります。ただ，それはテストが何を測っているかという意味 での妥当性を示すものではないということです。） 私が上記引用部分に続いて書いた > 理想的には，複数の外的基準との間に，その尺度で測 > りたい構成概念の定義内容からして，ある特定の相関パタンがあることが予 > 測され，その予測が実際のデータで確認される，ということになればいいの > でしょうが。 というのは，Cronbach以来の流れとも整合した，いわば現代的な見方であり， 「妥当性の収束的証拠，弁別的証拠」そして「多特性多方法行列」によって 相関のパタンを多角的に見ていくというものです。私も，Messickらの妥当性規 定は，いろいろなものを取り込みすぎて，ちょっとついていけないと感じてい ますが，上記の多角的な見方は意味があると思っています。 しかし，上記論文では，基準関連妥当性だけでなく，こうした外部変数との相 関を見ていくアプローチ全体が，妥当性について周辺的な証拠を与えるにすぎ ないものとして批判し，“any correlational conception of validiy is hopeless”と書いています（p. 1067）。 彼らの主張は，「測ろうとしている属性における差異が，測定結果の差異を因果 的に引き起こすことを示すことが妥当性検証だ」というものです。「相関では なく因果」というところがポイントです。具体例としてはピアジェの課題が あげられおり，そこでは，発達段階から課題への回答へという因果の流れが 明確であり，別立てで妥当性検証を行う必要性もほとんどないことが述べられ ています。物理的な測定もそういうものであり，そのために，物理的測定では 妥当性などというものが問題にならないということです。 以上，ゼミの準備を兼ねて書いてみました。長文となり，失礼しました。 ---- 南風原朝和 haebara (at) p.u-tokyo.ac.jp
ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。