Tomokazu HAEBARA <haebara (at) p.u-tokyo.ac.jp> 様
自分なりの妥当性概念のまとめです。「心理尺度の作り方」(仮題、北大路書房出版予定)
より。
------------------------
妥当性(構成概念妥当性)の要件を以下に列挙しておこう。
予測力 ．．． 基準関連妥当性の一つで、心理テストと外的基準との相関係数や回帰
係数で報告される。
他のテストとの相関 ．．． 基準関連妥当性の一つで、同じ構成概念を測定する既存
の尺度との相関係数で報告される。
妥当性の一般化 ．．． 尺度作成に用いた集団とは異なった被検者集団での妥当性研
究である。一般的に被検者集団が異なると、基準関連妥当性が低下する傾向がある。技術
的に難しい点はないが、研究例は少ない。
内容適切性 ．．． 複数の専門家による内容適切性の評定の相関係数などで報告され
る。ただし、研究者による主観的判断が多く、数値による報告例は少ない。
内的整合性 ．．． 尺度項目間の類似度の指標で、内容適切性の一つの証拠。ただし、
内的整合性の指標$\alpha$係数は信頼性係数の一種でもある。
因子分析 ．．． 因子負荷量は因子と項目との関係を表すので、項目を一つの尺度に
構成する一つの根拠となる。内容適切性の一つである。ただし、因子負荷量の大きさの判
断は研究者の主観にゆだねられる場合が多い。
弁別力 ．．．新規の心理テストは所定の構成概念に関係する変量とのみ相関を持つ
べきである(Campbell, 1960)。例えば、ストレス尺度はストレス状態の測度とは相関すべ
きであるが、他の精神状態や病理的変化の測度とは相関があってはならない。ただ、複数
の構成概念を対象に、複数の手段で同時に測定し相関を調べる必要があり、研究例はほと
んどない。
実験的介入．．．ある構成概念が実験的介入の前後で変化する予測が成り立つ場合、
その構成概念を測定する尺度がその変化を反映するなら、妥当性の一つの根拠となる。例
えば、ストレス尺度の場合であれば、実験的介入によってストレス状態を変化させれば、
尺度はその変化を反映しなければならない。
モデルとの適合性 ．．．回帰分析、パス解析、共分散構造分析等によって、構成概
念を用いたモデルの適合度を調べることができる。モデルとの適合度が高ければ、所定の
構成概念を測定する尺度の妥当性の根拠となる。ただし、各尺度の信頼性や基準関連妥当
性の研究も行わずに共分散構造分析を適用している研究が多い。適合度の指標も多く、解
釈も曖昧であるので、注意が必要である。
---------------------------------------
歴史的に異なった理論家の妥当性概念が入り乱れて使われているのが日本の現状です。
私の価値観では最初に列挙したものが妥当性のより基本的な証拠で、テストは最初に何ら
かの予測力を持つべきで、その次に、さまざまな証拠を積みあげるべきと考えます。だか
ら基準関連的証拠が一つもない心理尺度は信用しません。
大部分の心理尺度が予測力を持たないのは、因子分析的方法のみによって作成されるから
です。個別の項目に一定の予測力がないならば、それらを束ねた尺度には予測力はないは
ずです。
どうして誰もこんな簡単なことに気づかないのでしょうか。あるいは、気づいていても語
らないのでしょうか。
今回の本の最終目的は、予測力を持つ項目を集めて尺度を作りましょうという提案です。
ただこれだけの話です。書くのは難しくて、執筆完了まで数ヶ月です。
> fprの皆様
>
> 南風原です。
>
> [fpr 2785] Re: 項目反応理論[理論編] で，村上さんが，以下のように
> 書いていました。
>
> > 私は基準関連妥当性以外の妥当性を信じていません。まあ、もう
> > 歳なので、1940年代の概念で止まっていても不思議ではありませんが。
>
> ゼミの学生に紹介されて読んだ論文（関係が逆転していますね，授業料払わねば・・・）
> Borsboom, D., Mellenbergh, G. J., & Van Heerden, J. (2004).
> The concept of validity. Psychological Review, 111, 1061-1071.
> には，1940年代どころか，1920年代のKelleyの妥当性定義「テストは，それが
> 測ろうとしているものを測っていれば妥当なテストである。」に立ち返ろう
> と書かれています。
>
> そこでは，50年前のCronbach & Meehlによる構成概念妥当性の提唱から
> Messickに引き継がれた流れが，テスト得点の解釈や利用の社会的・倫理
> 的な帰結までも妥当性概念に取り込もうとして，妥当性概念をいたずら
> に複雑化させ，一般の研究者の認識や妥当性検証の現実から乖離したも
> のにしたということを指摘しています。
>
> しかし，基準関連妥当性の考え方については，厳しく批判しており，
> “criterion validity was truly one of the most serious mistakes
> ever made in the theory of psychological measurement”とまで書い
> ています（p.1065）。その理由は， [fpr 2697] Re: 短縮尺度を作る
> で書いた
>
> > ある尺度がある外的基準とたとえば0.5の相関がある
> > とすると，その尺度のベクトルはその外的基準のベクトルと60度の角度を
> > もっていることになります。しかし，外的基準のベクトルと60度の角度を
> > もっているベクトルは無数にありますから（外的基準ベクトルを芯にして60
> > 度の角度を保ってぐるっと回転できます），それだけでは，その尺度が何を
> > 測っているのかということはほとんど分からないと言わざるを得ないでしょ
> > う。
>
> ということと同様で，基準との相関をみるだけでは，何が測定されて
> いるのか特定することはできないから，ということのようです。（特
> 定の基準変数を予測することが目的であれば，予測力さえ高ければ有
> 用ではあります。ただ，それはテストが何を測っているかという意味
> での妥当性を示すものではないということです。）
>
> 私が上記引用部分に続いて書いた
>
> > 理想的には，複数の外的基準との間に，その尺度で測
> > りたい構成概念の定義内容からして，ある特定の相関パタンがあることが予
> > 測され，その予測が実際のデータで確認される，ということになればいいの
> > でしょうが。
>
> というのは，Cronbach以来の流れとも整合した，いわば現代的な見方であり，
> 「妥当性の収束的証拠，弁別的証拠」そして「多特性多方法行列」によって
> 相関のパタンを多角的に見ていくというものです。私も，Messickらの妥当性規
> 定は，いろいろなものを取り込みすぎて，ちょっとついていけないと感じてい
> ますが，上記の多角的な見方は意味があると思っています。
>
> しかし，上記論文では，基準関連妥当性だけでなく，こうした外部変数との相
> 関を見ていくアプローチ全体が，妥当性について周辺的な証拠を与えるにすぎ
> ないものとして批判し，“any correlational conception of validiy is
> hopeless”と書いています（p. 1067）。
>
> 彼らの主張は，「測ろうとしている属性における差異が，測定結果の差異を因果
> 的に引き起こすことを示すことが妥当性検証だ」というものです。「相関では
> なく因果」というところがポイントです。具体例としてはピアジェの課題が
> あげられおり，そこでは，発達段階から課題への回答へという因果の流れが
> 明確であり，別立てで妥当性検証を行う必要性もほとんどないことが述べられ
> ています。物理的な測定もそういうものであり，そのために，物理的測定では
> 妥当性などというものが問題にならないということです。
>
> 以上，ゼミの準備を兼ねて書いてみました。長文となり，失礼しました。
>
>
> ----
> 南風原朝和 haebara (at) p.u-tokyo.ac.jp
>
>
>
--------------------------------------
村上宣寛
〒930-8555 富山市五福3190
富山大学人間発達科学部
TEL/FAX 076-445-6367
(2005年度まで)
E-mail: murakami (at) edu.toyama-u.ac.jp
HP:http://psycho01.edu.toyama-u.ac.jp/
(2006年度より)
E-mail: murakami (at) edu.u-toyama.ac.jp
HP:http://psycho01.edu.u-toyama.ac.jp/
--------------------------------------
ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。