南風原＠東大教育心理です。 Toyoda Hideki さんが以下のように書いています： > kazmori (at) gipwc.shinshu-u.ac.jp (守 一雄) さんは書きました： > http://zenkoji.shinshu-u.ac.jp/mori/kr/kr0403.html#contents > >も不十分に見える。たとえば、実習後の効力感の増加は確かに５％水準で有意 > >になっている。しかし、Cohenの検定力分析をやってみると、142名の被験者に > >ついて対応のあるt検定をすれば、検出しようとする差がかなり小さな場合(d=.2) > >でも検定力はPower=.38とかなり高い。「実習後の効力感の増加」は当然予測 > >されることなのであるから、d=.5かそれ以上を考えるべきで、そうすると検定 > >力は.99を越えてしまう。この条件で検定を行えば有意になって当然なのである。 > >むしろ、有意水準１％の場合でも検定力が.96もあるにもかかわらず、有意水準 > >１％には達しなかったことから逆に考えると、「実習後にも目立った効力感の > >変化はない」という結論か「新しく作成された尺度の妥当性は低い」という結 > >論の方が正しいと考えるべきである。 > > まず，結論からいうと，下から３行目「逆に考えると」までの検定力分析に関す > る守さんのロジックは完全に正しいです． 私には，なぜここで検定力分析が出てきたのかが，よくわかりません。母集団効 果量をいろいろに変え，さらに５％水準では有意だが１％水準では有意でないと いった議論によって，結局は「・・・から逆に考えると「実習後にも目立った効 力感の変化はない」」というように，データで得られた効果の大きさを評価して います。それなら，直接的に事前事後の平均値差を事前または事後または平均的 な標準偏差で割って，効果量を計算すれば良いのではないでしょうか。ちなみに， どの標準偏差で割っても 標本効果量＝約0.2 となり，守さんの指摘通り，効力感 の「平均的な」変化は小さいことが簡単に分かります。（豊田さんの指摘のよう に，１５点〜７５点の尺度で平均値差が 1.12点に過ぎないことでも分かります。） あと，上で計算されている検定力の値は，検定が「対応のある」ｔ検定であるこ とが考慮されていないんじゃないですか？ 原理的に言って，２度の測定値間の相 関の情報が必要になりますよね。 それから「「実習後の効力感の増加」は当然予測される」とありますが，そうで しょうか。教育実習に行って落ち込んで帰ってきた学生を過去にたくさん見てき たのですが・・・。下に変化量の標準偏差を示しましたが，それがかなり大きく， また実際「増加した人数は８１名に対し，減少した者は５３名」とありますので， この論文のひとつの結論は，実習の効果に顕著な個人差が見られたということで しょう。その個人差の程度などが，ここで開発された尺度を利用することによっ て明らかになったとしたら，それは意味のあることだと思います。 Toyoda Hideki さんが以下のように書いています： > 検定力が使われない，使いづらい最大の原因がこれだと思います． 上記の結論に至る議論は，ちょっと理解できませんでした。（検定力が使われて いない，使いづらいのは事実だと思いますが。） > ですから推定尺度値の信頼区間の幅は > 4.27*2=8.53 > です．いっぽう実習を済ませて帰ってきた学生の平均的な効力感の上昇は > 32.32-31.20=1.12 > です．これは（ちょっと大袈裟に）たとえるならウィルスの研究をするのに > 虫眼鏡しか作れなかったということです．1くらいの差を見るのに,そもそも > 推定尺度値の信頼区間が8以上あるのでは，どうしようもない． ここでは，個人のスコアに関する議論と，集団平均に関する議論がごっちゃにな っているのではないでしょうか。たとえば実習後の値を使って，個人のスコアの 測定の標準誤差（S.E.M.）を推定すると 5.30*(1-.85)^.5 = 2.05 となり，２度 の測定が個人ごとに独立だとすると，個人の変化量の測定の標準誤差は (2.05^2 * 2)^.5 = 2.90 となります。これに対し，実際の変化量の（集団におけ る）標準偏差は (5.62^2 + 5.30^2 - 2*.48*5.62*5.30)^.5 = 5.57 ですから，個 人ごとには結構大きな変化を示した者がかなりいることが分かります。（このこ とは論文中の散布図からも分かります。） --- 南風原朝和 haebara (at) educhan.p.u-tokyo.ac.jp 〒113-0033 東京大学 大学院教育学研究科 TEL:03-5802-3350 FAX:03-3813-8807
ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。