「統計学関連なんでもあり」の過去ログ--- 045

No.15667　重回帰分析で使われる変数の条件　　【かず】　2011/11/15(Tue) 22:05

重回帰分析で使われる変数の条件についていくつかお尋ねさせてください。
おおきく3つあります。

質問1：重回帰分析における目的変数や説明変数にはどのような制約があるのでしょうか。
例えば，t検定のように扱う変数に
・正規性
・等分散性
は必要でしょうか？
（満たせていることにこしたことはないと思うのですが）

質問2：説明変数間は独立である仮定がなされているという記載を目にします。
この「独立」とは「無相関」と数学的に同義なのでしょうか？
違うようでしたら，「独立」について教えていただければと思います。
（無相関は2変数で直線的な関係がまるでない，ただし，無秩序ということだけではなく，y=x^2のような曲線的な関係も無相関になると理解しています。）

質問3：説明変数感の独立であるという仮定はどの程度厳密に捉えるべきでしょうか？
例えば，ステップワイズ法で選ばれた変数で，自由度調整済み決定係数の値も高く，現象の説明として腑に落ちる重回帰式が得られることもあります。
その際，説明変数に採用された変数それぞれが独立（ここでは質問2の回答をまたずに無相関と同義としておきます）かといえば決してそうではなく，単相関係数で0．4くらいを取りうるケースもありました。
（もしや，これはすでに多重共線性が起こっていると見るべきなのでしょうか？ちなみに単相関の符号と，偏回帰係数の符号は逆転していないです。）

このようなときに，この重回帰式は説明変数間の独立という仮定を満たしていないため，採用すべきではないということになるのでしょうか？
みなさんが重回帰分析を行なった際に説明変数に採用された変数間において，単相関係数が0に近くなることが一般的なのか，またそもそも独立か否かをどこまで確認しているのかという点もお聞きかせいただければ幸いです。

よろしくお願い致します。

No.15668　Re: 重回帰分析で使われる変数の条件　　【青木繁伸】　2011/11/15(Tue) 22:26

> 質問1：重回帰分析における目的変数や説明変数にはどのような制約があるのでしょうか。

ありません。

> 質問2：説明変数間は独立である仮定がなされているという記載を目にします。
この「独立」とは「無相関」と数学的に同義なのでしょうか？

定義の上では，同義です。
しかし，現実の場合において，独立変数相互が独立・無相関等と言うことはありません。程度の問題です。

> 無相関は2変数で直線的な関係がまるでない，ただし，無秩序ということだけではなく，y=x^2のような曲線的な関係も無相関になると理解しています。

余計なことですが。y=x^2 のような曲線関係なら無双間と言うことではありません。y と x^2 には相当な相関があります。

> 質問3：説明変数感の独立であるという仮定はどの程度厳密に捉えるべきでしょうか？
例えば，ステップワイズ法で選ばれた変数で，自由度調整済み決定係数の値も高く，現象の説明として腑に落ちる重回帰式が得られることもあります。

ステップワイズ変数選択では，多重共線性のあるような独立変数は，選択されません。排除されます

> 単相関係数で0．4くらいを取りうるケースもありました。
（もしや，これはすでに多重共線性が起こっていると見るべきなのでしょうか？ちなみに単相関の符号と，偏回帰係数の符号は逆転していないです。）

独立変数館の相関係数だけでどうこう言うべきではなく，トレランス（分散拡大要因）をちゃんと計算して論議すべきでしょう。

> 単相関係数が0に近くなることが一般的なのか，またそもそも独立か否かをどこまで確認しているのかという点もお聞きかせいただければ幸いです。

分野においては，多重共線性に全く無頓着（とにかく予測ができればよいという立場）から，理論的に考えておかしい独立変数は除くし・必要な独立変数は含めるというような場合まで，それぞれですね。事の本質を踏まえて解釈すれば，相反する解釈もそれぞれ妥当だと言うことにもなるのでしょう。

トレランス（分散拡大要因）をちゃんと計算してから議論しましょう。

No.15669　Re: 重回帰分析で使われる変数の条件　　【かず】　2011/11/16(Wed) 08:08

青木先生，早速の返信をありがとうございます。

> 質問1：重回帰分析における目的変数や説明変数にはどのような制約があるのでしょうか。

いただきました回答は「ありません」とのことですが，とくに「正規性」の条件について自分なりの整理が正しいのか知りたいと思いました。

母平均の差の検定の場合は，「平均値に焦点」であるため，平均値が分布の代表値として意味をなす正規性が必要であるが，重回帰分析では「目的変数を説明変数でどの程度説明できるかというところに焦点」があるため，「正規性」という条件が必ずしも必要ではなくなってくるというように捉えたのですが，いかがでしょうか？

> 質問2：説明変数間は独立である仮定がなされているという記載を目にします。
この「独立」とは「無相関」と数学的に同義なのでしょうか？

同義ということで回答いただき，ありがとうございました。

> 質問3：説明変数感の独立であるという仮定はどの程度厳密に捉えるべきでしょうか？

トレランスを確認すべきという点についてのご指摘をありがとうございました。
VIFは見ていたのですが，トレランスはこれまで気にしていなかったので，その定義も含めて今一度勉強しようと思います。

1点だけ，

＞y=x^2 のような曲線関係なら無双間と言うことではありません。y と x^2 には相当な相関があります。

とのことですが，例えば，
X1：-10，-9，・・・0・・・+9，+10（というような21個の整数値）
X2:100，81，・・・0・・・81，100（X1を2乗した変数）
としてX1-X2の21対のデータの相関係数をもとめますとゼロになると思います。

先生のおっしゃっている相当な相関があるとはどういうことでしょうか？
（定義域がプラス，または，マイナス部分だけを指した分布であれば理解できるのですが・・・）

よろしくお願いいたします。

No.15670　Re: 重回帰分析で使われる変数の条件　　【青木繁伸】　2011/11/16(Wed) 10:34

> 「正規性」という条件が必ずしも必要ではなくなってくるというように捉えたのですが

「必ずしも必要でない」のではなく，必要ない，あるいはそのような仮定を置くことができないこともある（例えば実験データで，独立変数は設定するものだから，正規性を保つことはできないし不要）ということです。

> VIFは見ていたのですが，トレランスはこれまで気にしていなかったので，その定義も含めて今一度勉強しようと思います。

既にお勉強済みだと思いますが，上のコメントでも「トレランス（分散拡大要因）」と書いたように，どちらを使っても同じです。

> としてX1-X2の21対のデータの相関係数をもとめますとゼロになると思います。

それはおっしゃるとおり。

> 定義域がプラス，または，マイナス部分だけを指した分布であれば理解できるのですが・

私は，普通のデータ（正の値を取る）を考えていたのでそう書きました。

No.15671　Re: 重回帰分析で使われる変数の条件　　【かず】　2011/11/16(Wed) 10:45

私のほうからさせていただいた質問については解決いたしました。
青木先生，もろもろありがとうございました。