岡本＠金沢大学です。
"[fpr 1464] AIC の1,2程度の差"でAICが話題になりましたので、
AICの分布についてシミュレーションで調べてみました。
AICは、その導出においては、データ数が十分多いという仮定と
幾つかの近似式・漸近式が用いられています（鈴木義一郎「情報量
基準による統計解析入門」,1995；坂元慶行「カテゴリカルデータの
モデル分析」、1985；坂元・石黒・北川「情報量統計学」、1983）が、
その形は
AIC = -2*(最大対数尤度) + 2*(自由パラメータ数)
という簡単な式で与えられるものです。
上式をみると、モデルを固定したとき、最大対数尤度はデータの
関数なので確率変数です。すなわち、AICの値は、モデルを固定した
ときはｔ値やＦ値のような確率変数となっています。このAICという
確率変数の相対的な大小関係に基づいて最適モデルの選択を行うと
いうことです。確率変数に基づく決定ですからエラーもあります。
AICの分布とエラーについて、シミュレーションで調べてみました。
データはN個のデータを２つ、{Xi};i=1,...,N と {Yj};j=1,...,N、
独立にとります。いずれも、平均０、分散１の正規分布従う乱数で
生成します。このデータに対して４つのモデル
（A)等分散、等平均 :EqMVと略
（B)等分散（平均は異なってもよい）:EqVと略
（C)等平均（分散は異なってもよい）:EqMと略
（D)平均、分散とも異なってもよい :Freeと略
を設定してAICを求めます。
上のN個のデータを2組とって(A)〜（D)のモデルに対してAICを求める
ということを１００００回繰り返して分布やエラーの比率を調べました。
サンプル数Nは大きくない場合も調べました。
まず、N＝５の場合のAICの分布を最小値(Min)、第1四分位数(Q1)、
中央値(Med)、第3四分位数(Q3)、最大値(Max)によって表わすと次の
ようになります。
Free...
Mix = -13.2698883
Q1 = 9.65064385
Med = 13.5647411
Q3 = 16.9978785
Man = 29.066486
EqM...
Mix = -14.2131911
Q1 = 9.85320524
Med = 13.6467059
Q3 = 17.2900318
Man = 61.1999055
EqV...
Mix = -14.1703251
Q1 = 9.29384774
Med = 12.8960932
Q3 = 16.2215558
Man = 28.0054322
EqMV...
Mix = -15.7698665
Q1 = 8.74434656
Med = 12.2543754
Q3 = 15.2966734
Man = 26.0838942
個々のAICの値はかなりの範囲で変動しています。
AICでモデルの選択を行うときは、与えられたデータに対する
各モデルのAIC値の大小関係が問題になります。モデルEqM、
EqV、FreeとEqMVとのAIC値の差の分布を調べてみます。また、
モデルEqM、EqV、FreeのAICよりEqMVのAICの方が小さい値になった
場合の頻度を調べて％単位で表わしてみます。モデルの選択に
おいてはAICの値の小さい方が適切なモデルとして選択されます。
<EqM> - (EqMV)>
(VEqM > VEqMV) ==> 79.4
Mix = -16.0193653
Q1 = 0.368970682
Med = 1.53296217
Q3 = 1.94381736
Man = 51.3936376
<EqV> - (EqMV)>
(VEqV > VEqMV) ==> 78.0
Mix = -20.8327767
Q1 = 0.242387999
Med = 1.39375234
Q3 = 1.86576737
Man = 2
<Free> - (EqMV)>
(Free > VEqMV) ==> 76.3
Mix = -22.0911978
Q1 = 0.151189604
Med = 2.08564629
Q3 = 3.21655972
Man = 3.99987302
AICの差の分布は個々の値ほど大きくないことがわかります。
しかし、EqMVのAICの方が小さい値である比率は８０％弱です。
EqMVが正しいモデルであることを考えると、EqMVのAICの方が
小さくないということは第１種のエラーと考えられますので、
上のことはAIC基準で判断を行うと第1種のエラーの確率が２０％
以上であるということを示していることになります。
AICで検定を行うときは、上の（A)〜（D)の４つのモデルの
内から最小のAICであるものを選びます。EqMVのAICが４つの
モデルの中で最小であった場合の比率は59.8％でした。
(EqMV) is Best>
(EqMV:Best) ==> 59.8
第１種のエラーの確率は約４０％ということになります。
N＝２００の場合は、
Free...
Mix = 291.834267
Q1 = 384.600225
Med = 404.538566
Q3 = 423.292548
Man = 493.651225
EqM...
Mix = 290.131264
Q1 = 383.611217
Med = 403.347487
Q3 = 422.20114
Man = 492.652126
EqV...
Mix = 289.835342
Q1 = 383.467976
Med = 403.5553
Q3 = 422.250363
Man = 498.874555
EqMV...
Mix = 288.132339
Q1 = 382.645121
Med = 402.398896
Q3 = 421.133536
Man = 497.562759
個々のAICの値の分布の範囲はN＝5の場合よりも広く
なっています。
EqMVとの差の分布の範囲はN＝5の場合と同じく
それほど広くはありません。
<EqM> - (EqMV)>
(VEqM > VEqMV) ==> 84.3
Mix = -13.604824
Q1 = 0.69159102
Med = 1.54722851
Q3 = 1.90062551
Man = 1.9999999
<EqV> - (EqMV)>
(VEqV > VEqMV) ==> 84.5
Mix = -11.8685986
Q1 = 0.684974648
Med = 1.56107866
Q3 = 1.9077688
Man = 2
<Free> - (EqMV)>
(Free > VEqMV) ==> 86.6
Mix = -17.043952
Q1 = 1.25809992
Med = 2.62335166
Q3 = 3.4326055
Man = 3.99999186
第1種のエラーの確率は約３０％です。
(EqMV) is Best>
(EqMV:Best) ==> 71.4
上のシミュレーションでは４つのモデル（A)〜（D)はいずれも
真のモデルとは矛盾しません。パラメータが多すぎるというだけ
です。選択対象のモデル群に真のモデルと矛盾するものがある
場合の様子は上の場合と異なってくると思います。
上のシミュレーションで用いたプログラムは
http://www.users.kudpc.kyoto-u.ac.jp/~e50048/simuaic/
にあります。
金沢大学文学部
岡本安晴
ここは心理学研究の基礎メーリングリストに投稿された過去の記事を掲載しているページです。