[fpr 1945] データマイニングの本

豊田秀樹

豊田秀樹@早稲田大学心理学教室です

Hidemichi Yuasa さんは書きました:
>湯浅@名古屋市立城北病院歯科口腔外科です。
>豊田秀樹先生のブルーバックス新刊
>金鉱を掘り当てる統計学
>データマイニング入門
>を読みました。
>あいかわらずの、豊田先生の軽快で読みやすい文章で、一気に読んでしまいました。

言及していただきまして,ありがとう御座います.ここ2年間くらい,
マーケットデータの解析+勉強をしながら考えたことを,まとめました.

>内容は、読んで素晴らしさを実感していただくとして、些細な点が気になりました。
>2)プロローグで、大石さんに、浅野君が、安易に自分の会社のデータ-を見せてい
>る(最近、医療情報の個人情報保護の意識調査の論文を書いたので、気になりまし
>た)

これはおっしゃるとおりです.「マーケットデータの解析の相談をさせ
て下さい」といって研究室を訪ねてきた人が,データそのものどころが,
変数の意味さえ秘匿して質問だけ(ちゃっかり?)する,ということに
私は何度も遭遇しました.またマーケティング関係の学会の研究発表で
は,肝心なことは「クライエントとの関係で話せません」などと平気で
(しかもすこし自慢げに)言うのにも最初は戸惑いました.最近はそう
いう文化にもだいぶ慣れてきましたが,基礎研究ではあまり聞かないこ
とです.拙著の中では,差し支えない分析では積極的にブランドを示す
けれど,売り上げ予測のような分析では,スーパーマーケットの実名や,
牛乳の製品名は隠しています.ご指摘の,大石さんと浅野君の件ですが,
これはファンタジーでありまして,2人の堅い友情はデータを漏洩させ
ることはないという台本で,勘弁して下さい.

>3)サンプリング方法の問題(特に、ランダム抽出が行なわれていないデータ-にこ
>れらの統計学が可能か?)について記載がなかった(これは、問題かどうかも知らな
>いので、関係ないかもしれませんが)

「きゃーるが鳴くんで」の議論を再燃させてしまいそうですが,データ
マイニングは,無作為抽出・統制・無作為割り当てなどを,あえて無視
します.知ってて避けて通ることが多いのです.医学の分野では間違い
を侵すことは致命的ですが,マーケティングの分野では間違いを侵して
も,それ以上に成功すればよいからです.無作為抽出・統制・無作為割
り当てには,金がかかります.何百万円かかけて,厳密な因果関係を1
つか2つ導く事は全体としてペイしないことが多いのです.posデータ,wwwデータ
は,営業していれば自然に溜まります.すでに帳簿上は減価償却してし
まっている廃品利用です.実験や調査は失敗すると損失を招きますが,
データマイニングは,いってみれば,だめでもともと,少しでも知見が
得られれば,その分はもう丸儲けなのです.
コストは分析コストだけですから,その想像を絶するほどのデータから
疑似相関にまみれた,かつ歪んだサンプルから怪しげな「因果関係」を
1000個とか10000個とか導くわけです.伝統的なアプローチと比較して
効率がぜんぜん違います.あとは経営者の嗅覚で,役に立ちそうな「儲
かりそうな因果関係」を会議にのせます.無作為抽出・統制・無作為割
り当ての出番はなくても済む,そういう分析のスタイルをとるのが
データマイニングなのです.

>ともかく、この点は、本の素晴らしい内容には関係ありませんので(^^)。
>特に、「検定力」とサンプル数の問題の記載は、コレコレ!と楽しく読ませていただ
>きました

はい,数理統計学における検定論と分布論はこのままでは将来性が先細
りだと..確信しています.その一方で実験計画と標本抽出理論は安泰
だと感じます.検定論と分布論の代わりにデータの背後の構造の安定の
度合(逆にいうと変化の容易さの度合)を数理的に扱う分野が待たれて
いるように思います,
今現在,それが可能なのは,交差妥当化だけだということに心細さを感
じます.

--
--------------------------------------------------------------------------
 TOYODA Hideki Ph.D.,  Professor,                Department of Psychology
 TEL +81-3-5286-3567             School of Lieterature, Waseda University
 toyoda (at) mn.waseda.ac.jp  1-24-1 Toyama Shinjyuku-ku, Tokyo 162-8644 Japan
--------------------------------------------------------------------------

スレッド表示 著者別表示 日付順表示 トップページ

ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。