蛇足になるかもしれませんが、いくつか補足します。 1)欠損データの処理 「都合の悪いデータを欠損値扱いにして」という作為が入らないように以下の手続きを採用しています。 まず、学力測定は当該中学校の定期テストをそのまま用いていますので、定期テストを欠席した生徒はそれなりの正当な理由があるものです。 研究開始前に、欠損値があるデータはケース単位で丸ごと排除することに決めています。 これは教育研究では推奨される方法です。 ２）パーセンタイルでの群分け これも基本的に「中位の生徒を対象にする」という当初の計画にしたがったものです。 「中位の成績」の定義が曖昧にならないよう、学力偏差値でパーセンタイルの中位半分を選びました。 学校での実験研究では、一部の生徒だけに実験をするというのは残りの生徒の取り扱いに困るので、 あらかじめ対象は定めた上で、全員に実験に参加してもらいます。 （もっともこの点に関しては査読者から特に問題視されていません。） ３）クラスター化されたサンプリングについて 査読者が問題視したもう１点は、サンプリングがクラス単位でなされていたことです。(clustered samples) 社会調査などでは、2段階抽出法は普通に使われていて、特に問題ないと思っていたのですが、これが問題とされたことも納得がいきません。 医学の研究でも、サンプルサイズを大きくするために、いくつかの病院からサンプルを集めることがあるかと思うのですが、 実験条件と統制条件を４０人ずつ集めるのに、５の病院から６−１０例ずつ集めるようなことはRCTとして認められないでしょうか？ これに関して、別の査読者はIntre-cluster correlationsを計算するよう求めてきています。 > 2018/09/05 0:50、Hirotaka Onishi <onishi-hirotaka (at) umin.ac.jp>のメール: > > 守先生 > > ご返事ありがとうございます。分析に含めようのないデータが存在 > する点については了解しました。そこは、捕捉率が低いということを > 謳えば問題はないと思いました。その際、あまりに捕捉率が低い場合 > には、研究手順の問題自体を云々される可能性はあるとは思います。 > > 医学的な臨床試験において、データ採り入れの基準を設けることは > ありますが、パーセンタイルで患者群を分けるという手順はあまり > 見ません。ただ、中位群の生徒の中からランダム抽出したという > 手順自体は特に問題ないのだろうなとは感じました。 > > ということは、これらの点を改めて主張して査読者に意見を出し、 > それでも拒まれれば、リジェクトを受けた後に、他誌にRCTとして > 投稿し直すという手順がよいのだろうなという気がしました。 > > 大西弘高 > > On 2018/09/04 23:38, kaz-mori wrote: >> 大西先生：守です。 >> >> 早速のご教示ありがとうございました。 >> >> 欠損値を含むデータの扱いは難しい問題です。 >> ただ、私のこの研究の場合、 >> 自己効力感の測定と学力試験はどちらも結果を評価するための従属変数ですので、 >> それが採取できないデータは使いようがないわけです。 >> 試験を受けなかった生徒の成績が上がったのか下がったのかはわかりませんので、分析に含めようがないのです。 >> また、先行研究に従って、欠損値を分析から排除することはあらかじめ決められている手順です。 >> >> 26−75パーセンタイルの生徒とは、「成績中位の生徒」ということです。 >> 直近の定期試験の成績に基づいています。 >> 中位なので、平均への回帰は問題にならないはずです。 >> また、この「中位の生徒」から実験群と統制群をランダムに抽出（というか実験群をランダム抽出）しています。 >> 実験開始時点での実験群と統制群の偏差値の平均値は５０程度となり差がありませんでした。 >> >> ちなみに「中位の生徒」を実験の対象とした理由は >> a)成績上位の生徒は「提示トリックで易しい課題」にしなくても実力で解答ができてしまう >> b)成績下位の生徒は「提示トリックで易しい課題」を見せても解答できない >> という可能性を考慮したためです。 >> 医学の臨床試験でも、特定の病気の患者のうち、軽度と重度の患者を除いて、 >> 中程度だけを対象に、それをランダムに２群に分けるようなことをすると思うのですが、いかがでしょうか？ >> >> RCTであることにこだわりたいのは、自己効力感に関わる従来の研究はそのほとんどが相関研究だからです。 >> 自己効力感と学力との因果関係を調べようとしても、もともと学力の高い子どもは自己効力感も高いことは当然で、なかなか両者を分離することができません。 >> 私たちの研究は、「提示トリック」を使うことで、元々の学力が同じくらいの生徒の一部（ランダムサンプル）に良い成績を取らせ、それがその後の自己効力感や学業成績にどう影響するかを調べたものです。 >> 「実験条件と統制条件にランダムに被験者を配置した実験研究」というだけでも十分なのですが、 >> 「実験条件と統制条件にランダムに被験者を配置した実験研究」はRCTと言っていいのではないかと考えるので、この研究はRCTであると言いたいわけです。 >> >> >> >>> 2018/09/04 22:59、Hirotaka Onishi <onishi-hirotaka (at) umin.ac.jp>のメール: >>> >>> 守先生 >>> >>> RCTを目論んだ教育介入研究、興味深く拝見しました。 >>> 私自身は医学研究よりは教育研究に携わっておりますが、 >>> 医学研究を解釈する機会は多いためコメントさせて >>> いただきます。 >>> >>> 事後に欠損値を含むデータを削除するという対応は、 >>> intention-to-treatを原則としている現在のRCTの考え方 >>> とは合致しないということが最も問題にされているかな >>> と感じました。 >>> >>> また、26〜75パーセンタイルの生徒を選んだというのは、 >>> それまでの成績で選んだのか、何らかの一発試験で選んだ >>> のかも気になりましたが、一部参加者のみを選ぶという >>> プロセスが平均への回帰にどのように影響するのかも気に >>> なりました。どのような介入をしても、介入後分散が増える >>> 方向にデータが動きそうです。 >>> >>> 「RCTであることにこだわらず、素直に査読者の言う通りに >>> するべきだ」ということに従ってその雑誌で押し通すか、 >>> 別の雑誌にRCTとして改めて投稿するかは、そこに価値を >>> どのように置くか次第かと感じました。 >>> >>> 大西弘高 >>> >>> >>> On 2018/09/04 19:34, kaz-mori wrote: >>>> FPRの皆さま：守＠松本大学です。 >>>> >>>> 皆様のお意見を伺いたくMLに投稿します。 >>>> >>>> 医学における「証拠に基づく医療(Evidence based medicine: EBM)に数十年遅れで、教育でも「証拠に基づく教育(Evidence based education: EBE)」が重要視されるようになってきました。そのEBMやEBEで最も重要な「証拠」とされるのが、「ランダム化比較試験(Randomized Control Trials: RCT)」です。 RCTは「実験のサンプルをランダムに実験条件に振り分ける」ということですから、実験心理学者にとっては、通常の実験の作法そのものです。 >>>> >>>> と、少なくとも私は解釈しています。これが、今回皆様にご意見を伺いたいことです。 >>>> >>>> 今、自己効力感を人為的な成功体験で向上させ、自己効力感を高めることが学業成績の向上にまでつながることを心理学実験で検証した研究をアメリカの教育学関係のジャーナルに投稿中です。この研究では、日本の中学校の1年生全６クラスを丸々被験者にして、クラスごとにアナグラム課題を解かせて一部の生徒に良い成績を取らせ、アナグラム課題前後で自己効力感の変化を調べました。ここで、単にアナグラム課題の遂行成績で群分けをするのでは、生徒の元々の能力が切り離せません。そこで、提示トリックを使って、一部の生徒だけに「易しいアナグラム」を提示しました。アナグラムは解答は同じものとなります。（例えば、「もらかのた」と「ものたから」の解答はどちらも「たからもの」ですが、後者の方がずっと簡単に解答できます。 >> >>>> 実験は、各クラスの26−75パーセンタイルの成績の生徒から4−6名をランダムに選び、易しい課題で良い成績を取らせるという手続きをとりました。これを６クラス分集め、それでも検定力に必要なサンプルサイズに足りないので、同じ中学校で3年間同じ実験を繰り返して84名の実験群生徒を集めました。各クラスの26−75パーセンタイルの成績の生徒のうち、実験群に選ばれなかった生徒が「統制群」となります。統制群は239名になりました。（実験参加者総数は656名、そのうち半数の26−75パーセンタイルの成績の生徒は323名で、この323名がランダムに84名の実験群と239名の統制群に分けられたわけです。） >>>> >>>> 実験は、アナグラム課題実施後に自己効力感と学業成績がどう変化するかを1年後まで調べましたので、複数回のアセスメントがなされたことになります。そこで自己効力感の評定や試験に欠席した生徒はデータから取り除き、すべてのデータが揃っている生徒だけを分析対象とし、最終的に実験群72名、統制群195名について分析をしました。その結果、実験群はアナグラム課題で有意に好成績をとったこと、その結果、自己効力感が有意に上昇したことが確認されました。さらに、男子生徒では学業成績も有意に向上したことがわかりました。ただし、女子の実験群生徒は学業成績の向上にはつながりませんでした。（実験の生データはOSFサイトに公開しています。https://osf.io/cp8uh/） >>>> >>>> 以上のように、通常の心理学実験の手続きをとったものですので、投稿論文にはこの研究がEBEの証拠となるRCTであると主張しました。 >>>> >>>> これに対し、査読者の1人が「この研究はRCTではない」と主張してきました。その理由は、 >>>> １）ランダムサンプルの収集がクラスごとに3年間かけてなされており、「clustered samples」であること >>>> 2)事後に欠損値を含むデータを削除していること >>>> （コメントの原文は以下の通りです。 >>>> Please remove the statement that this study is a randomized controlled trial. This is not. Participants are clustered and excluded after the random assignment.） >>>> >>>> すみません、長くなりましたが、皆さんのご意見を伺いたいのは >>>> 「この実験研究はRCTといえないのだろうか？」 >>>> ということです。 >>>> >>>> あまりにも自明で議論するまでもなくRCTだと私は考えていたのですが、査読者をどう説得したらいいか困っています。 >>>> なお、よく知っている海外の研究者数名に問い合わせたところ、そのすべてから「RCTであることにこだわらず、素直に査読者の言う通りにするべきだ」という返事でした。 >>>> そこで、もしかしたら私のRCTの解釈が間違っているのではと不安になり、皆様のご意見を頂戴したいと考えた次第です。 >>>> どうぞよろしくお願いします。 >>>> >>>> >>>> >>>> >>>> >>> -- >>> 大西弘高 >>> 東京大学医学系研究科医学教育国際研究センター >>> 医学教育国際協力学部門 >>> 〒113-0033 東京都文京区本郷7-3-1 医学部総合中央館2F >>> 03-5841-3534, 080-1479-7191 >>> onishi-hirotaka (at) umin.ac.jp >>> >>> Hirotaka Onishi MD, MHPE, PhD >>> Head and Lecturer >>> Department of Medical Education for International Cooperation, >>> International Research Center for Medical Education, >>> Graduate School of Medicine, The University of Tokyo >>> 2F Igakubu-Sogochuokan, 7-3-1 Hongo, Bunkyo-ku, Tokyo >>> Japan 113-0033 >>> Mail: onishi-hirotaka (at) umin.ac.jp, Tel: +81-3-5841-3534 >>> >> >> > > -- > 大西弘高 > 東京大学医学系研究科医学教育国際研究センター > 医学教育国際協力学部門 > 〒113-0033 東京都文京区本郷7-3-1 医学部総合中央館2F > 03-5841-3534, 080-1479-7191 > onishi-hirotaka (at) umin.ac.jp > > Hirotaka Onishi MD, MHPE, PhD > Head and Lecturer > Department of Medical Education for International Cooperation, > International Research Center for Medical Education, > Graduate School of Medicine, The University of Tokyo > 2F Igakubu-Sogochuokan, 7-3-1 Hongo, Bunkyo-ku, Tokyo > Japan 113-0033 > Mail: onishi-hirotaka (at) umin.ac.jp, Tel: +81-3-5841-3534 >
ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。