RCTを目論んだ教育介入研究、興味深く拝見しました。 私自身は医学研究よりは教育研究に携わっておりますが、 医学研究を解釈する機会は多いためコメントさせて いただきます。 事後に欠損値を含むデータを削除するという対応は、 intention-to-treatを原則としている現在のRCTの考え方 とは合致しないということが最も問題にされているかな と感じました。 また、26〜75パーセンタイルの生徒を選んだというのは、 それまでの成績で選んだのか、何らかの一発試験で選んだ のかも気になりましたが、一部参加者のみを選ぶという プロセスが平均への回帰にどのように影響するのかも気に なりました。どのような介入をしても、介入後分散が増える 方向にデータが動きそうです。 「RCTであることにこだわらず、素直に査読者の言う通りに するべきだ」ということに従ってその雑誌で押し通すか、 別の雑誌にRCTとして改めて投稿するかは、そこに価値を どのように置くか次第かと感じました。 大西弘高 On 2018/09/04 19:34, kaz-mori wrote: > FPRの皆さま：守＠松本大学です。 > > 皆様のお意見を伺いたくMLに投稿します。 > > 医学における「証拠に基づく医療(Evidence based medicine: EBM)に数十年遅れで、教育でも「証拠に基づく教育(Evidence based education: EBE)」が重要視されるようになってきました。そのEBMやEBEで最も重要な「証拠」とされるのが、「ランダム化比較試験(Randomized Control Trials: RCT)」です。 RCTは「実験のサンプルをランダムに実験条件に振り分ける」ということですから、実験心理学者にとっては、通常の実験の作法そのものです。 > > と、少なくとも私は解釈しています。これが、今回皆様にご意見を伺いたいことです。 > > 今、自己効力感を人為的な成功体験で向上させ、自己効力感を高めることが学業成績の向上にまでつながることを心理学実験で検証した研究をアメリカの教育学関係のジャーナルに投稿中です。この研究では、日本の中学校の1年生全６クラスを丸々被験者にして、クラスごとにアナグラム課題を解かせて一部の生徒に良い成績を取らせ、アナグラム課題前後で自己効力感の変化を調べました。ここで、単にアナグラム課題の遂行成績で群分けをするのでは、生徒の元々の能力が切り離せません。そこで、提示トリックを使って、一部の生徒だけに「易しいアナグラム」を提示しました。アナグラムは解答は同じものとなります。（例えば、「もらかのた」と「ものたから」の解答はどちらも「たからもの」ですが、後者の方がずっと簡単に解答できます。） > > 実験は、各クラスの26−75パーセンタイルの成績の生徒から4−6名をランダムに選び、易しい課題で良い成績を取らせるという手続きをとりました。これを６クラス分集め、それでも検定力に必要なサンプルサイズに足りないので、同じ中学校で3年間同じ実験を繰り返して84名の実験群生徒を集めました。各クラスの26−75パーセンタイルの成績の生徒のうち、実験群に選ばれなかった生徒が「統制群」となります。統制群は239名になりました。（実験参加者総数は656名、そのうち半数の26−75パーセンタイルの成績の生徒は323名で、この323名がランダムに84名の実験群と239名の統制群に分けられたわけです。） > > 実験は、アナグラム課題実施後に自己効力感と学業成績がどう変化するかを1年後まで調べましたので、複数回のアセスメントがなされたことになります。そこで自己効力感の評定や試験に欠席した生徒はデータから取り除き、すべてのデータが揃っている生徒だけを分析対象とし、最終的に実験群72名、統制群195名について分析をしました。その結果、実験群はアナグラム課題で有意に好成績をとったこと、その結果、自己効力感が有意に上昇したことが確認されました。さらに、男子生徒では学業成績も有意に向上したことがわかりました。ただし、女子の実験群生徒は学業成績の向上にはつながりませんでした。（実験の生データはOSFサイトに公開しています。https://osf.io/cp8uh/） > > 以上のように、通常の心理学実験の手続きをとったものですので、投稿論文にはこの研究がEBEの証拠となるRCTであると主張しました。 > > これに対し、査読者の1人が「この研究はRCTではない」と主張してきました。その理由は、 > １）ランダムサンプルの収集がクラスごとに3年間かけてなされており、「clustered samples」であること > 2)事後に欠損値を含むデータを削除していること > （コメントの原文は以下の通りです。 > Please remove the statement that this study is a randomized controlled trial. This is not. Participants are clustered and excluded after the random assignment.） > > すみません、長くなりましたが、皆さんのご意見を伺いたいのは > 「この実験研究はRCTといえないのだろうか？」 > ということです。 > > あまりにも自明で議論するまでもなくRCTだと私は考えていたのですが、査読者をどう説得したらいいか困っています。 > なお、よく知っている海外の研究者数名に問い合わせたところ、そのすべてから「RCTであることにこだわらず、素直に査読者の言う通りにするべきだ」という返事でした。 > そこで、もしかしたら私のRCTの解釈が間違っているのではと不安になり、皆様のご意見を頂戴したいと考えた次第です。 > どうぞよろしくお願いします。 > > > > > -- 大西弘高 東京大学医学系研究科医学教育国際研究センター 医学教育国際協力学部門 〒113-0033 東京都文京区本郷7-3-1 医学部総合中央館2F 03-5841-3534, 080-1479-7191 onishi-hirotaka (at) umin.ac.jp Hirotaka Onishi MD, MHPE, PhD Head and Lecturer Department of Medical Education for International Cooperation, International Research Center for Medical Education, Graduate School of Medicine, The University of Tokyo 2F Igakubu-Sogochuokan, 7-3-1 Hongo, Bunkyo-ku, Tokyo Japan 113-0033 Mail: onishi-hirotaka (at) umin.ac.jp, Tel: +81-3-5841-3534
ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。