堀＠香川大学経済学部です。
Re: [fpr 1918] Kappa value
亀レスです。
以前に指摘した
[fpr 1928] 統計処理，実験法 Q&A 特集号
Journal of Consumer Psychology
Volume 10 Number 1/2 January 2001
では，Kappa にかわる方法として，
Perreault and Leigh (1989)の方法やその一般化としてのRust and Cooilの方法が紹介
されています。例としてでているのは評定者が２人なので Perreault and Leigh (1989)
の方法でよいことになります。
式は次のようになります。
Ir=sqrt((pa-1/c)*(c/(c-1))
when pa>=(1/c)
if pa<(1/c), Ir is set to zero.
cは分割数，pa (percentage of agreement) は 大西さんのpo と同じ
Hirotaka Onishi wrote on Fri, 09 Feb 2001 20:26:58 +0000
> 誤診(1)判定者Ａ 誤診(2)判定者Ａ 誤診(3)判定者Ａ
> + - + - + -
> 判定 + 1 1 判定 + 14 1 判定 + 25 0
> 者Ｂ - 1 24 者Ｂ - 1 11 者Ｂ - 2 0
>
> 観察される一致率をPoとすると，
>
> 誤診(1) 誤診(2) 誤診(3)
> Po Kappa Po Kappa Po Kappa
> 0.93 0.46 0.93 0.85 0.93 0.00
>
> という結果が得られます．
この場合，分割数は同じでpa が同じですから３つとも同じ値になります。
pa=0.9259259259
c=2
Ir=0.922958207
推定標準誤差 sI=sqrt(Ir*(1-Ir)/n++)
sI=sqrt(0.922958207*(1-0.922958207)/27)=0.05131830773
Ir ± (1.96)sI.
Rust and Cooil では３者以上の判定も扱うことができます。
Rust によるとこの値はCronbach のαと同じに解釈できるとのことです。
Kappa を批判して作られた，そのほかの指標もInterrater Reliabilityの章に扱われて
います。
Perreault, William D., Jr., & Leigh, Laurence E. (1989). Reliability of nominal
data based on qualitative judgments. Journal of Marketing Research,
26, 135-148.
Rust, Roland T., &Cooil, Bruce. (1994). Reliability measures for qualitative
data: Theory and implications. Journal of Marketing Research, 31, 1-14.
----
堀 啓造（香川大学経済学部）e-mail: hori (at) ec.kagawa-u.ac.jp
home page http://www.ec.kagawa-u.ac.jp/~hori/
電話番号 087-832-1894(直通） fax 087-832-1820（事務室）
〒760-8523(これで香川大学経済学部)
香川県高松市幸町２−１ 香川大学経済学部
ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。