南風原＠東大教育心理です。
＊＊＊ ＪＸＥ誌「検定」特集号論文の紹介（８） ＊＊＊
Statistical Significance Testing From Three Perspectives. (by Joel R.
Levin, Journal of Experimental Education, 1993, 61, 378-382.)
Journal of Educational Psychology 誌の Editor の Levin による，先の６論
文に対する討論（主として反論）です。題目に“From Three Perspectives”と
あるのは，統計学者，心理学者，そして雑誌編集者という３つの立場から考察
するということです。
自身が多重比較などの検定法の研究に関与していることもあり，検定に関して
はポジティブな立場をとっています。それもかなりのタカ派で，検定の利用に
関連して Journal Editor に批判の矛先が向けられる中で，“this particular
editor is certainly not a shrinking violet（自分はそういったことでやり
込められるようなヤワじゃない）”という表現で最後を締めくくっています。
基本的には，これまで検定批判の文脈で提案されてきた「効果の大きさの利用」
や「追試の重視」などは検定と二律背反ではなく，したがって，検定をやめて
しまう理由は何もない，という考えです。そして，「効果の大きさ」に関する
議論をするにしても，その前に必ず統計的有意性を確認することを主張してい
ます。統計的に有意でない効果について，その大きさを問題にするのは意味が
ないということです。また，誤用が多いから検定をやめようというのは，
“throw out the baby with the bath water”だと言っています。
Levin は APA の Publication Manual の1994年改訂版（第４版）の「結果の記
述」の項を準備した APA Council of Editors Task Force on Statistics の責
任者でもありますので，彼の統計解析についての考え方は，その Publication
Manual にもよく反映されており，結果的に大きな影響力をもつものとなってい
ます。
これまで見てきたように，６編の論文の中では，Shaver (JXE-3) が最も広範で
批判的な議論を展開したわけですが，それを承けて，Shaver に対する発言が最
も多くなっています。
その他，「有意という表現の前に必ず‘統計的’という限定語を」と提案した
Carver (JXE-2) に対しては，「言葉遣いに目を光らせる警察は要らない」と軽
く切り捨て，もし言葉遣いを工夫するとしたら“statistically significant”
より“nonchance difference”とするほうが単純でベターだと言っています。
「母平均の差など主眼となる検定の検定力を高めるために標本を大きくしたら，
母分散の均一性など前提条件の検定の検定力も高くなってしまって前提条件が
否定され，主眼となる検定ができなくなってしまう」というジレンマを指摘し
た Thompson (JXE-7) に対しては，「Editor としての経験から，同じ大きさの
標本でも，主眼となる検定に対する検定力は十分高く，前提条件の検定に対す
る検定力は十分低いことが多い」と言い張っています。
信頼区間に関する方法論的議論を展開した Serlin (JXE-6) は Levin の共同研
究者でもありますが，その論文については，とくに何のコメントもしていませ
ん。(上述の Publication Manual でも索引で見る限り，信頼区間についての記
述はないようです。）「効果の大きさ」の指標に関してレビューした Snyder
& Lawson (JXE-5) については，「大変有用な情報であった」と労をねぎらって
いるだけで，また，歴史的な話題を提供した Huberty (JXE-4) についてもほと
んど言及していません。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
南風原朝和 (はえばら ともかず)
tomokazu (at) tansei.cc.u-tokyo.ac.jp
〒113 文京区本郷7-3-1 東京大学教育学部
TEL: 03-5802-3350 FAX 03-3813-8807
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。