「統計学関連なんでもあり」の過去ログ--- 045

No.16025　変数選択法の名称について　　【カキフライ】　2011/12/19(Mon) 18:44

変数選択法の名称について教えていただけますでしょうか。

重回帰分析の説明変数の選択法として，「1.変数増加法」，「2．変数減少法」，「3変数増減法」の3種類がありますが，ステップワイズ法とは，「3．変数増減法」のことだと思っていました。。

しかし，論文を読んでいると，ロジスティック回帰分析などで，「ステップワイズ変数増加法」や「ステップワイズ（変数減少法）」という表現を目にします。これらの表現は間違いなのでしょうか？

それとも，「ステップワイズ」には広義の意味があって，「ステップワイズ変数増加法」や「ステップワイズ（変数現減少法）」という表現も間違いではなく，狭義では変数増減法を指すという理解でよろしいのでしょうか？あるいは，重回帰分析とロジスティック回帰分析では，変数選択法の名称が違うのでしょうか？

ということで，混乱してしまっております。
どなたかご存じでしたら，教えていただけると大変幸いです。
お手数ですが，よろしくお願いいたしますm(_ _)m。

No.16026　Re: 変数選択法の名称について　　【青木繁伸】　2011/12/19(Mon) 19:47

stepwise とは，日常用語では「1 歩[1 段]ずつ; 段階的に」ということだけなので，あなたのいう 1 ～ 3 のどれかを指しているわけではありません（変数減増法というのもあります）。「どういうふうに1歩ずつやるか」の違いです。

統計ソフトによってはそれぞれを選べるものもありますが，デフォルトで適当な方法を設定していることもあります。

経験的にはどの方法を採っても同じモデル（同じ独立変数を含むモデル）に落ち着くことが多いと思います。

極端に言えば「総当たり法」も stepwise 法です。独立変数の数が少ないときには，総当たり法も考慮すれば済むことでしょう。

No.16030　Re: 変数選択法の名称について　　【カキフライ】　2011/12/19(Mon) 23:22

どうもありがとうございます！これですっきりしました。

stepwiseは広い意味だったのですね。
どの方法でも同じモデルに落ち着くと良いのですが，私のデータでは，変数増減法が最もAICが低くなることが多いです（RのstepAICの場合）。

これまでも，変数増減法が最も優れているような印象があるのですが，とくにそういうわけではないのですね。どの方法でも，多重共線性を回避するように変数選択が行われていると理解しておりますが，その解釈でよろしいでしょうか。

何度もすみませんが（これで質問は最後にします！），ご確認だけいただけたら大変幸いです。

No.16031　Re: 変数選択法の名称について　　【青木繁伸】　2011/12/19(Mon) 23:38

> どの方法でも，多重共線性を回避するように変数選択が行われていると理解しておりますが，その解釈でよろしいでしょうか。

まあ，ちゃんとしたソフトなら，そのようになっているはずです。

> 私のデータでは，変数増減法が最もAICが低くなることが多いです

さきのコメントでも書きましたが，独立変数の数が多くないなら，総当たり法でやるのが明快でしょう。

No.16033　Re: 変数選択法の名称について　　【カキフライ】　2011/12/20(Tue) 10:10

ありがとうございます。

あいにく，独立変数が13もあるので，総当たりはちょっと厳しい状況でして，いろいろ試してみようと考えています。

大変助かりました。

No.16034　Re: 変数選択法の名称について　　【青木繁伸】　2011/12/20(Tue) 10:54

> あいにく，独立変数が13もあるので

サンプルサイズ1000のテストデータで，70秒でした。

No.16042　Re: 変数選択法の名称について　　【カキフライ】　2011/12/21(Wed) 10:57

ありがとうございます！

お恥ずかしながら，手作業でやるものかと思っていました・・・
8191通りあるので，きついかと。

まだそこまでのプログラミング技術がないのですが（ゆくゆくは鍛えたいと思っています），ちょっと調べてみます。

大変参考になりました。
どうもありがとうございましたm(_ _)m.