皆様のお意見を伺いたくMLに投稿します。 医学における「証拠に基づく医療(Evidence based medicine: EBM)に数十年遅れで、教育でも「証拠に基づく教育(Evidence based education: EBE)」が重要視されるようになってきました。そのEBMやEBEで最も重要な「証拠」とされるのが、「ランダム化比較試験(Randomized Control Trials: RCT)」です。 RCTは「実験のサンプルをランダムに実験条件に振り分ける」ということですから、実験心理学者にとっては、通常の実験の作法そのものです。 と、少なくとも私は解釈しています。これが、今回皆様にご意見を伺いたいことです。 今、自己効力感を人為的な成功体験で向上させ、自己効力感を高めることが学業成績の向上にまでつながることを心理学実験で検証した研究をアメリカの教育学関係のジャーナルに投稿中です。この研究では、日本の中学校の1年生全６クラスを丸々被験者にして、クラスごとにアナグラム課題を解かせて一部の生徒に良い成績を取らせ、アナグラム課題前後で自己効力感の変化を調べました。ここで、単にアナグラム課題の遂行成績で群分けをするのでは、生徒の元々の能力が切り離せません。そこで、提示トリックを使って、一部の生徒だけに「易しいアナグラム」を提示しました。アナグラムは解答は同じものとなります。（例えば、「もらかのた」と「ものたから」の解答はどちらも「たからもの」ですが、後者の方がずっと簡単に解答できます。） 実験は、各クラスの26−75パーセンタイルの成績の生徒から4−6名をランダムに選び、易しい課題で良い成績を取らせるという手続きをとりました。これを６クラス分集め、それでも検定力に必要なサンプルサイズに足りないので、同じ中学校で3年間同じ実験を繰り返して84名の実験群生徒を集めました。各クラスの26−75パーセンタイルの成績の生徒のうち、実験群に選ばれなかった生徒が「統制群」となります。統制群は239名になりました。（実験参加者総数は656名、そのうち半数の26−75パーセンタイルの成績の生徒は323名で、この323名がランダムに84名の実験群と239名の統制群に分けられたわけです。） 実験は、アナグラム課題実施後に自己効力感と学業成績がどう変化するかを1年後まで調べましたので、複数回のアセスメントがなされたことになります。そこで自己効力感の評定や試験に欠席した生徒はデータから取り除き、すべてのデータが揃っている生徒だけを分析対象とし、最終的に実験群72名、統制群195名について分析をしました。その結果、実験群はアナグラム課題で有意に好成績をとったこと、その結果、自己効力感が有意に上昇したことが確認されました。さらに、男子生徒では学業成績も有意に向上したことがわかりました。ただし、女子の実験群生徒は学業成績の向上にはつながりませんでした。（実験の生データはOSFサイトに公開しています。https://osf.io/cp8uh/） 以上のように、通常の心理学実験の手続きをとったものですので、投稿論文にはこの研究がEBEの証拠となるRCTであると主張しました。 これに対し、査読者の1人が「この研究はRCTではない」と主張してきました。その理由は、 １）ランダムサンプルの収集がクラスごとに3年間かけてなされており、「clustered samples」であること 2)事後に欠損値を含むデータを削除していること （コメントの原文は以下の通りです。 Please remove the statement that this study is a randomized controlled trial. This is not. Participants are clustered and excluded after the random assignment.） すみません、長くなりましたが、皆さんのご意見を伺いたいのは 「この実験研究はRCTといえないのだろうか？」 ということです。 あまりにも自明で議論するまでもなくRCTだと私は考えていたのですが、査読者をどう説得したらいいか困っています。 なお、よく知っている海外の研究者数名に問い合わせたところ、そのすべてから「RCTであることにこだわらず、素直に査読者の言う通りにするべきだ」という返事でした。 そこで、もしかしたら私のRCTの解釈が間違っているのではと不安になり、皆様のご意見を頂戴したいと考えた次第です。 どうぞよろしくお願いします。
ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。