豊田＠立教社会 Keizo Hori <hori (at) ec.kagawa-u.ac.jp> さんは書きました： >堀＠香川大学経済学部です。 >超亀レスです。 「超亀レス」って何だろうと思って元記事に戻って考えてみました．しばらく 考えてもわからなかったのですが，ずいぶんたってから，ようやく「元記事が 1995年のものだ」という意味であることが，解りました．せっかく時間を 費やしたのだから，このとき考えたことを以下に述べることにします． Tomokazu <tomokazu (at) tansei.cc.u-tokyo.ac.jp> さんは書きました： >南風原＠東大教育心理です。 >この中の Power については，Observed Power at the .0500 Level という説明 >がついていますが，このような Power を算出することにどういう意義があるの >かが，よく分かりません。 > >検定力は分析モデル，サンプルサイズ，有意水準，そして両側検定か片側検定 >かが決まれば，あとは母数（母集団における効果の大きさ）の関数となります >が，上記の検定力が Observed Power であるということからすれば，標本デー >タによる母数の推定値で検定力関数を評価したものということでしょう。 表を見て私もそうだと思いました． >だとすると，ｐ値（上の表では Sig of F）と Observed Power の間にかなり明 >白な関係が生じ，ｐ値に加えて Observed Power を算出・報告することの意義 >が感じられないのです。 > >たとえば，簡単のためにｔ検定を例にとって，有意水準 .05 の両側検定で >ｐ＝.05 となるときの Observed Power を計算してみると，下に示す表のよう >にほぼ .50 という値になります。つまり，ぎりぎり有意になるようなデータで >は，Observed Power という指標は常に，ほぼ 1/2 になるということです。 > >同様に，ｐ＜.05 で有意になるときは，Observed Power＞.50 となり， >ｐ＞.05 で有意にならないときは，ほとんどの場合，Observed Power＜.50 と >なります。（上の表でも，ｐ＝.000 で Observed Power＝1.000，ｐ＝.131 で >Observed Power＝.321 となっています。） ｐ＜.05 で有意になるときは，確かに Observed Power＞.50という性質は変わりませんが．標本数が多いときは Sig of Fがpを少し下回っただけでも，Observed Powerはぐっと大きくなります． 逆に標本数が少ないときは，Sig of Fがpを同じだけ下回っても，Observed Power はあまり大きくならないでしょう．このように変化の程度の性質に対する定性的な 直感は働きますが，具体的な数値までは直感は及ばないので数理的には冗長でも 出力してくれると有り難いのではないでしょうか． >このため，「検定力は十分に高いにもかかわらず有意差が得られなかった。し >たがって，差は十分に小さいと言える」というような，検定力分析がよく引き >合いに出される状況などでは，この Observed Power は使えないことになりま >す。 この目的には使えません． >それでは，ｐ値と上記のような単純な関係にある Observed Power にどのよう >な利用価値があるのだろうか，というのが私の疑問です。 Observed Powerの利用価値は，やはり，「当該現象に対する同様の実験の検定力の 点推定値」ではないでしょうか．ついでに検定力の区間推定値（標本数が大きくな ればせばまる）も出力されれば，この実験では検定力がたりないので，次は標本を 多くとろうとか，十分高いから次は危険率を0.1にしても検定力の高い状態で考察 できるだろうとか，使い道はたくさんあります．Observed Powerは数理的には冗長な 情報だから，他の指標から得られる情報を組み合わせれば間に合うかもしれません． しかし，検定力はｐと異なり，実験前には未知だから，自分が行った実験の検定の 検定力が，実はどの程度であったかの推定値は，実験後に知りたいし，研究対象の 理解を促します． 守さんのＫＲのページの下で，南風原さんのお書きになった，検定力分析 の必要性を説いたすごい記述を見つけました． http://zenkoji.shinshu-u.ac.jp/mori/kr/haebara.html ----------------------------------------------------------------ここから 検定は相変わらず大流行ですが，私は （１）検定をするなら，その計画を立てる段階で検定力分析をしておくほうがよい （２）検定結果を解釈するにも，検定力分析をしたほうがよい と考えています。もちろん （３）データ収集の方法が検定（のような確率論的推論）をすることを正当化する 場合のみ，検定は意味をもちえ，検定力分析の結果も意味をもちうる （４）検定は結局は帰無仮説の棄却・採択という１−０的判断をするものであり， 確率論的根拠があって検定力分析の結果もあるとしても，検定が与えうる情 報はかなり限定されたものである ということは抑えておく必要がありますが・・・。 検定力を知らずに検定をするということは，検定という「確率論的決定方式」の「仕掛 け」（オッズ？）を知らずに，つまりどの程度の効果があるときにどの程度の確率で帰 無仮説が棄却されるかを知らずに，その「方式」がもたらす結果に研究の結論の重要な 部分をゆだねるということであり，またそういう無知の状態のままデータの収集や分析 に時間とエネルギーを投入するということです。これでは具合が悪かろうということで （１）（２）の見解が出てきます。 ただし，この検定力分析を支持する考えは，（３）に書いたように，検定のような確率 論的推論をすることが正当化できる場合のみ，という限定付きの，そして（１）に書い たように「検定をするなら」という仮定の上での話です。確率論を適用する根拠がない ときに，「帰無仮説が棄却される確率は８０％」とか言っても，８０％がどういう意味 での確率なのか分かりませんから。 ----------------------------------------------------------------ここまで 圧倒的な説得力で，ただただ「なるほど」と思うばかりです． ただし，このあとに 「だから検定力分析の結果を論文に記述すべきだ」とはおっしゃっていません． 検定力分析の結果を論文に載せると審査が非常に難しくなります． 「実験はしたけど，有意ではなかった．このままでは審査を通らない．それは困る． それなら最初から検定力を重視して，それほど厳しい危険率を科すつもりのない実験 であったことにして論文を書こう．あるいは，効果量は，最初からこんなにいらな かったことにしよう．」と意識的にあるいは無意識のうちに考えて，論文を書く投稿 者が多くなるでしょうから，審査委員は審査が大変になります． 前に1度，そういう研究も進んでいるということも教えて頂いたことがあるのですが 「検定力分析の結果を論文に記述すべき」なのでしょうか？ 自分のために(1)(2)を実行して机の中にしまっておくことは，それをしないのと 歴然とした差があることは明白ですが． また，得られた実験結果を入力すると，審査委員の印象が一番よくなる「有意水準， 両側検定か片側検定か，検定力，目標効果量」を出力してくれるエキスパートシステム の研究というのも面白い（半分本気？）かもしれません． p.s. 寂しいので私のオリジナル発信にもだれかコメントつけてくださいね． ---------------------------------------------------------------------- Hideki TOYODA Ph.D., Associate Professor, Department of Sociology TEL +81-3-3985-2321 FAX +81-3-3985-2833, Rikkyo (St.Paul's) University toyoda (at) rikkyo.ac.jp 3-34-1 Nishi-Ikebukuro Toshima-ku Tokyo 171 Japan ----------------------------------------------------------------------
ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。