豊田＠立教社会です 過日，小生がお送りいたしました拙論文に，岡山大学の中田隆行さんがメールを下 さいました．内容が興味深かったので，御本人の了解をとり，転載いたします． 中田さんありがとうございました． tnakata (at) ccews2.cc.okayama-u.ac.jp (Takayuki Nakata) さんは書きました： >豊田先生， > >日本心理学会では大変貴重なコメント・アドバイスをいただき誠にありがとうござい >ました。もっと早くお礼の手紙をさしあげたかったのですが学会から帰って執筆・新 >しい実験の準備などで非常に忙しく頭にいつも残っていながら実行に移すことができ >ませんでした。 > >さて，私も fpr のメールリストにのせていただいていまして豊田先生の心理学の研 >究方法に関する論文に関する論文をとても興味深く読ませていただきました。的が外 >れているコメントかもしれませんが Cohen のおもしろい論文がありましたのでそれ >にもとづいてコメントさせていただきます。 > >>「多くの要因が特性値に影響を与える状況で一部の要因のみを採用して実験を計 >>画する意味」を考察してから実験を実施しているケースは少ない．むしろ「要因 >>数は少ない方がすっきりしていて良い実験なのだから，要因数は無条件に積極的 >>に制約して構わない」と誤解されている場合さえある． > >私も実験計画の中で重要な要因を考慮しないのは大きな過ちであると思います。特に >実験が探索的段階にある場合は特性値に影響を与えると考えられる要因をもらさず含 >むことは不可欠であると同感いたします。 > >しかしながら，探索的段階を経て実験が検証の段階に入ったときには「実験を実施す >るための物理的制約」に加え，検定力と inflation of type I error が問題になる >ために少数の変数で実験を行わなければならない状況が生じるのではないかと思い >ます。 > >探索的実験の段階では Type I error の起こる確率などは重要であろうと考えられる >要因間の関係を見いだせる利益に比べればそれほど重要な問題でもないでしょう。 > >Jocob Cohen の 1990 年に American Psychologist で発表された "Things I Have L >earned (So Far)" では次のように書いています。 > >"In any given investigation that isn't explicityly exploratory, we should >be studying few independent variables and even fewer dependent variables, >for a variety of reasons. > If all of the dependent variables are to be related to all of the >independent variables by simple bivariate analyses or multiple regression, >the number of hypothesis tests that will be performed willy-nilly is at >least the product of the sizes of the two sets. Using the .05 level for >many tests escalates the experiment wise Type I error rate--or in plain >English, greatly increases the chances of discovering things that aren't >so. If, for example, you study 6 dependent and 10 independent variables >and should find that your harvest yields 6 asterisks, you know full well >that if there were no real associations in any of the 60 tests, the chance >of getting one or more "significant" results is quite high ... and that >you would expect three spuriouslysignificant results on the average. ... > In short, the results of this humongous study are a muddle. There is >no solution to your problem. You wouldn't of course, write up the study >for publication as if the unproductive three quarters of your variables >never existed ... > The irony is that people who studies like this often start off with >some useful central idea that, if pursued modestly by means of a few highly >targeted variables and hypotheses, would likely produce significant >results. These could, if propriety of the consequences of early toilet >training deemed it necessary, successfully withstand the challenge of a >Bonferroni or other experimentwise-adjusted alpha procedure. > A special case of the too-many-variables problem arises in multiple >regression-correlation analysis with large numbers of independent >variables. As the number of independent variables increases, the chances >are that their redundancy in regard to criterion relevance also increases. >Because redundancy increases the standard errors of partial regression and >correlation coefficients and thus reduces their statistical significance, >the results are likely to be zilch. > >多くの変数を使った場合に起こりうるこれらの問題点を補うためには効果の大きさに >ついて考慮することも大切なのではないでしょうか。また効果の大きさについて述べ >ることにより多くの変数を使うことによって特性値に影響を与えると考えられる要因 >の選択が探索的段階でより確実になるのではないかと考えます。 > >また Cohen (1990) の論文から引用させていただきます。 > > ... A salutary effect of power analysis is that it draws one forcibly >to consider the magnitude of effects. In psychology, and especially in >soft psychology, under the sway of the Fisherian scheme, there has been >little consciousness of how big things are. The very popular ANOVA designs >yield F ratios, and it is these whose size is of concern. First off is the >question of whether they made the sanctifying .05 cut-off and are thus >significant, and then how far they fell below this cut-off: Were they >perhaps highly significant (p less than .01) or very highly significant >(less than .001)? Because science is inevitably about magnitudes, it is >not surprising how frequently p values are treated as surrogates for effect >sizes. > ... I am happy to say that the long neglect of attention to effect >size seems to be coming to a close. The clumsy and fundamentally invalid >box-score method of literature review based on p values is being replaced >by effect-size-based meta-analysis as formulated by Gene Glass (1977). The >effect size measure most often used is the standardized mean difference d >of power analysis. Several book-length treatments of meta-analysis have >been published, and applications to various fields of psychology are >appearing in substantial numbers in the Psychological Bulletin and other >prestigious publications. > >引用文献 > >Cohen, J. (1990). Things I have learned (so far). American Psychologist, >Vol. 45 (No. 12), 1304-1312. ---------------------------------------------------------------------- Hideki TOYODA Ph.D., Associate Professor, Department of Sociology TEL +81-3-3985-2321 FAX +81-3-3985-2833, Rikkyo (St.Paul's) University toyoda (at) rikkyo.ac.jp 3-34-1 Nishi-Ikebukuro Toshima-ku Tokyo 171 Japan ----------------------------------------------------------------------
ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。