南風原です。今週からやっと夏休みです。 ＊＊＊ ＪＸＥ誌「検定」特集号論文の紹介（３） ＊＊＊ What Statistical Significance Testing Is, and What It Is Not. (by James P. Shaver, Journal of Experimental Education, 1993, 61, 293-316.) この論文の特徴の１つは，過去に発表された検定批判論文や検定利 用の改善を訴えた論文に対しても，批判の矛先が向けられているこ とです。 まず，検定が多少とも意味をもちうるためにどうしても必要な条件 として「無作為性（無作為抽出または無作為配置）」を挙げていま すが，これに関して，「無作為性」と「標本の代表性」の概念の混 同が多いことを指摘しています。そして，そうした混同を犯してい る例として引用されているのが，この特集号の guest editor の Thompson が過去に発表した論文であるところが皮肉です。 また，Cohen が懸命にプロモートしてきた検定力分析については， meaningless exercise であり，intellectual game に過ぎないと， あっさり切り捨てています。統計的に有意であるということが，特 に有用な情報をもたらさないとしたら，有意となる確率をコントロ ールするための努力である検定力分析も，同様に意味がないという 訳です。そんなことよりも，効果の大きさがどれほどか，そしてそ れが追試によって再確認できるような信頼性のあるものかどうかを 調べることが重要であるとしています。要するに， studies should be published without tests of statistical significance, but not with effect sizes ということです。 あと，追試との関連で取り上げられているメタ分析では，個々の研 究における統計的有意性よりも，効果の大きさに注目し，それを統 合するアプローチが用いられており，その点では問題ないのですが， そこで推定値の標準誤差とか母数の信頼区間といった推測統計的な 議論が出てくるのが，また Shaver には気にいらないようです。た だ，その気にいらない理由が「レビューした研究は全研究からの無 作為標本でないから」となっており，これは Shaver のほうの誤解 だと思います。個々の研究において推測統計的な議論が可能ならば， そうした研究の集合においても推測統計的な議論が可能なはずで， その集合が無作為標本である必要はないからです。 こうした「勇み足」もありますが，全体として歯切れが良く，しか も広範なテーマを取り上げてあり，文献リストも充実していて，教 育的価値の高い論文だと思います。 -------------------------------------------- 南風原朝和 tomokazu (at) tansei.cc.u-tokyo.ac.jp 〒113 文京区本郷7-3-1 東京大学教育学部 TEL 03-5802-3350 FAX 03-3813-8807 --------------------------------------------
ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。