[fpr 1933] Kappa value

堀啓造

堀@香川大学経済学部です。

Re: [fpr 1918] Kappa value
亀レスです。

以前に指摘した
[fpr 1928] 統計処理,実験法 Q&A 特集号
Journal of Consumer Psychology
 Volume 10 Number 1/2 January 2001 
では,Kappa にかわる方法として,
Perreault and Leigh (1989)の方法やその一般化としてのRust and Cooilの方法が紹介
されています。例としてでているのは評定者が2人なので Perreault and Leigh (1989)
の方法でよいことになります。

式は次のようになります。
Ir=sqrt((pa-1/c)*(c/(c-1))
  when pa>=(1/c)
  if pa<(1/c), Ir is set to zero.  
cは分割数,pa (percentage of agreement) は 大西さんのpo と同じ


Hirotaka Onishi wrote on Fri, 09 Feb 2001 20:26:58 +0000

> 誤診(1)判定者A  誤診(2)判定者A  誤診(3)判定者A
>     +   -               +   -              +   -
> 判定 +  1   1    判定 +  14  1   判定 +  25   0
> 者B -  1  24    者B -  1 11   者B -   2   0
> 
> 観察される一致率をPoとすると,
> 
> 誤診(1)      誤診(2)      誤診(3)
> Po    Kappa      Po    Kappa      Po    Kappa
> 0.93   0.46      0.93   0.85      0.93   0.00
> 
> という結果が得られます.

この場合,分割数は同じでpa が同じですから3つとも同じ値になります。
pa=0.9259259259
c=2
Ir=0.922958207

推定標準誤差 sI=sqrt(Ir*(1-Ir)/n++)
sI=sqrt(0.922958207*(1-0.922958207)/27)=0.05131830773

Ir ± (1.96)sI.

Rust and Cooil では3者以上の判定も扱うことができます。

Rust によるとこの値はCronbach のαと同じに解釈できるとのことです。

Kappa を批判して作られた,そのほかの指標もInterrater Reliabilityの章に扱われて
います。


Perreault, William D., Jr., & Leigh, Laurence E. (1989). Reliability of nominal
data based on qualitative judgments. Journal of Marketing Research,
26, 135-148.

Rust, Roland T., &Cooil, Bruce. (1994). Reliability measures for qualitative
data: Theory and implications. Journal of Marketing Research, 31, 1-14.

----
堀 啓造(香川大学経済学部)e-mail:  hori (at) ec.kagawa-u.ac.jp
home page http://www.ec.kagawa-u.ac.jp/~hori/
電話番号 087-832-1894(直通) fax 087-832-1820(事務室)
〒760-8523(これで香川大学経済学部)
    香川県高松市幸町2−1 香川大学経済学部

スレッド表示 著者別表示 日付順表示 トップページ

ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。