前略。
統計ではないのですが、広く調査及び論文執筆について質問があ
りますので、メールしました。あまり具体的には書けない事情があ
りますので、やや抽象的な書き方になってしまうことをどうかお許
し下さい。
ある未発表の論文についての質問です。心理学ではなく、医学方
面の論文です。内容は、日本国内のある学会誌（Ａ誌とします。国
内のものですから、投稿者もすべて日本人で、全員、医学方面の人
です）の過去の論文を対象として、どのような検定法が使用されて
いるかを調査したものです。結果は、ｔ検定が何パーセント、分散
分析が何パーセント、、、、といったように表示されております。
論文には検定名不明のものもあり、それらは論文の内容から推定で、
例えば「ｔ検定と思われるもの」として分類されています。その結
果をもとに考察がなされています。
著者は、非常に統計に詳しい人で、その学会において、統計・実
験計画・調査に関する啓蒙・指導のリーダー的役割を担っています。
この投稿論文に先立て、やはりＡ誌の過去の論文のうち、統計法を
誤用している論文を調べ、論文として発表しました。検定だけでな
く、実験計画の不備や結論の飛躍なども誤用と見なして、調査した
ものでした。その結果、ほとんどすべての論文に誤用が見られ、考
察ではその現状を強く批判しています。改めて調査するとこの結果
が出ただけで、著者は以前よりその学会のレベルの低さを認識して、
折につけてよく口にしてきました。また、別のある雑誌（日本国内
のもの。学会誌ではない）では、ある特定の研究者の論文を取り上
げ、例えばＢ氏、といったようなアルファベットでその研究者を特
定した上で、統計解析の誤用を細かく指摘し、強く批判しています。
著者は啓蒙・指導的行動を取らず、誤用の指摘だけに終始している
印象があるため、一連の行動には反発もあります。また、誤用の指
摘を恐れて、Ａ誌では検定を用いた論文が減少する傾向にあります。
そこで、質問なのですが、最初にあげた未発表論文では、用いた
検定の種類について調査されています。これは、まったく著者１人
だけによる分類・判断の作業です。このような調査データの場合、
そこに分類・判断ミスや一種のバイアスが存在する可能性があると
思うのですが、いかがでしょうか？ 特に、著者の場合、その学会
のレベルを低く見る傾向があり、これがバイアスとして判断に影響
する可能性が考えられます。
その対応策として、本論文を学会誌に掲載するに際しては、その
信頼性の検討が必要だと思うのですが、いかがでしょうか。例えば、
Journal of Applied Behavior Analysis（通称、ＪＡＢＡ）という
雑誌があります。これは、スキナーの行動分析のうち応用行動分析
に関する専門雑誌で、オペラント条件づけの応用的研究の論文を掲
載、ヒト主に障害児の治療訓練を目的とした論文を掲載、実験計画
法としてシングルケース・デザインを用いた論文を掲載、等などの
特徴があります。この雑誌では、被験者のある特定の行動を標的行
動（例えば、チック行動）として操作的に定義し、その定義にもと
づいて行動が生じたかどうかを、実験者が観察記録します。しかし、
同時に、もう１人実験とは関係しない人にも定義にもとづいて観察
記録をさせ、この２者の間で観察記録の同意率（％）を計算するこ
とを義務づけています。例えば、８０％とか９０％といった数値が
出され、これを論文に書かなくてはいけません。完全に一致すれば
１００％となります。
当未発表論文を学会誌に載せるためには、上記の著者がこれと同
様の作業を行うことが必要だと思うのですが、いかがでしょうか。
または、次善の策として、この作業をしたいと思う読者がそうでき
るようにするために、著者がデータを一覧表のような形で有してお
き、希望する読者に渡すことができるようにしておく準備が必要だ
と思うのですが、いかがでしょうか。
当該の論文云々から離れて、私が日頃から思っている疑問なので
すが、心理学において、機械を用いて実験した場合（ミス・バイア
スがおそらくはかからないであろう場合。もちろん、機械のトラブ
ルもあるので絶対ではありませんが）を除いて、特定の定義のもと
に調査なり実験をした場合、分類ミスやバイアスをチェックするこ
とが必要なのではないでしょうか。パソコンへのデータの打ち込み
のミスといった単純ミスも考えられます（本人としては十分、注意
しているつもりでも）。著者１人の作業である限り、このようなミ
スやバイアスがないということの保証はどこにもありません。極論
のようですが、科学的研究においては、自分さえも信じてはいけな
い、と思うのです。自分にもバイアスがかかっている可能性がある
からです。そのため、例えば、上記のＪＡＢＡのように、少なくと
も、バイアスが低いと思われる自分以外の人間に同じ作業を行わせ、
両者の一致度を明らかにしてはじめて、そのデータが信頼に足るも
のとなり、それにもとづく考察が可能となると思うのですが、いか
がでしょうか？ 個人的には、この作業が行われていないデータは、
それが以下に有名な雑誌に載っており、有名な著者の論文であろう
とも、当面、１００％の信頼は置けない、と感じます。
もちろん、この作業はいつも可能とは限りません。きわめて大量
のデータで、不可能ということもあります。しかし、大変ではある
が、可能な範囲であるならば、それを行うことが必要ではないかと
思います。一般に、心理学では、調査データの信頼性や、今回の事
例に相当するような調査データの信頼性は、どのように考えられて
いるのでしょうか？ また、学会論文としての掲載という点からは、
信頼性に関するどのような作業が著者にとって必要なのでしょうか？
冒頭にも書きましたように、やや抽象的な書き方になってしまっ
たことをどうかお許し下さい。
以上の内容からもおわかりの通り、私は調査という分野にはまっ
たく無知です。素人にもわかる表現で、御教示いただければ幸いで
す。どうかよろしくお願いします。
作陽音楽大学音楽学部講師
桑田 繁
GGC01507 (at) niftyserve.or.jp
Tel & Fax : 0868-24-5857
ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。