日本心理学会第58回大会(日本大学, 1994年10月) ワークショップ 心理学研究の自己評価(1): 基礎的統計解析の誤用と対策 要旨 心理学研究においてしばしば起こりやすい基礎的な統計解析における誤用を分 類し，その原因や対策を考察することを目的とする．統計の誤用は，心理学の 論文ではかなりの比率で認められると言われている．統計の誤用は，結論やそ の後の研究の方向に致命的な影響を及ぼす．心理学の研究を正しく発展させる ためには，心理学者自らが日常的に自己評価・自己点検をしていく必要がある だろう． 今回の企画では，誤用問題をいちはやく指摘された橘敏明会員に基調講演をお 願いし，さらに誤用の実態について資料提供や指定討論を行なう．90分という 短い時間のなかでは具体的な対策まで打ち出すことは無理かもしれないが，本 企画がきっかけとなって，こんご建設的な方向での誤用問題の議論が高まるこ とを期待するものである． 企画者・司会者 長谷川 芳典（岡山大学文学部） 話題提供者 橘 敏明 （愛知県身障者コロニー） 発言要旨 指定討論者 桑田 繁 （作陽音楽大学） (橘発言の要旨) (A) 統計的検定の誤解・誤用の原因 統計誤用といっても，いろいろある。そのうちの統計的検定の誤用をとりあげ る。とくに根本的な誤解からくる誤用をとりあげる。 あたりまえのことであるが，(通常の)統計的検定をするということは母集団を 推定することである。これを自覚せずに検定をするから根本的な誤解・誤用が 生じるのではないか。 たとえば，分散分析を実施する。当然，母平均の差の推定をしているのである から，自分の問題にしている母集団が何であるかがわかっていなければならな い。自覚しているとはこういうことである。ところでたいていの場合，その母 集団が何であるかを明確にできないであろう。 さらに，母数の推定をするためには，母集団から標本の無作為抽出が必要であ る。ところがそれを実施していない。それでもこんな検定が可能なのかという 疑問にぶつかる。 通常の検定をするということは母集団を推定することである，という自覚が生 じると，さまざまの疑問が生じてきて，以下のことが見えてくる。 まず，観察型研究にみられる誤用がある。これはあきらかに誤っているので， これ以上の説明は不要である。 そこで実験型研究の場合を考える。実験型とは被験体をランダムに群に割りつ ける手続きをする研究である。 入門書で検定をどう説明しているか。 t-検定ではランダムな標本抽出から説明をしている。ところが，例題をみると， ランダムな標本抽出の例題の後に，何の説明もなく実験型研究の例題が出てく る。読者はその扱いににとまどう。 分散分析ではどう説明しているか。2種類ある。 1つはランダムな標本抽出から説明をしている。 もう1つは，ランダムな割りつけの例を用いて，誤差を群内誤差と群間誤差に 振り分けて説明をしている。このあと実験型研究の例題がだされる。これなら 問題ないか。 誤差の振り分けからの説明はたしかにすっとついていくことができる。しかし 群内誤差とか群間誤差というのは誤差の母分散を推定しているのである。そこ でこの際に問題にしている母集団とは一体何かと考えると，やはり先の疑問に ぶつかる。 このように見てくると，入門書は母数の推定を当然のこととして，あまりに軽 く扱っているのではないか。 検定誤用の責任は読者にだけあるとはいえない。むしろ入門書に責任がある。 (実験型研究のデータを通常の検定を行っても，p値についてはそれほど大きな 間違いではない。だから通常の検定を近似法として使える。ただし，近似法で 母数の推定はできない。こういうことは入門書には書いていない。) (B) 確率化テストの採用 母数の推定はほんとうに可能か。われわれの研究では母集団を推定するなどし ていないのではないのか。これが現実的ではないか。この現実をごまかさずに 理解し，そこから出発する。そうすれば誤用は減るのではないか。 母集団の推定などという「すごいこと」はしないという検定が確率化テスト (randomization test)である。 確率化テストの特徴 (1)母集団を考えないので，正規性とか等分散，無作為な標本の抽出といった 前提が不要である。必要な前提は被験体のランダムな群への割りつけである。 (2)推論は用いたデータに対してのみおこなう。たとえば用いた被験体では処 理効果が見られたといえそうであるというふうに。結果の一般化は統計学に頼 らずにおこなう。 (3)今までにない検定も可能になる。たとえば，3群の重みづけをした平均の差 で検定したいとする。通常の検定ではできないが，確率化テストではできる。 実験型研究のデータを通常の検定を行ってた場合のp値に妥当性があるかどう かを保証するのは確率化テストである。つまり通常の検定は確率化テストの近 似法である。 確率化テストは入門書では2群の比較といった簡単な例でしか説明されていな いが，多様な実験デザインに対応できる。3-way design にもrandomized block designにも適用できる。つまり充分に実用になる。 (C) 結論 実験型研究のデータに対して，通常の検定を近似法として用いても間違いでは ない。しかし確率化テストを意識的に用いることで統計的検定の根本的なとこ ろでの誤解・誤用がかなり防げるのではないか。