「統計学関連なんでもあり」の過去ログ--- 045

No.17337　重回帰分析の結果の読み方　　【増井】　2012/08/22(Wed) 19:58

初心者です。エクセル統計で重回帰分析をしました。
解説本には，決定係数（寄与率）や自由度修正済み決定係数，重相関係数が回帰関数への当てはまり具合の良しあしを示す，とする一方で，分散分析表を示して，回帰関数への当てはまり具合をF値と指定した危険率の境界値とP値でも判断すると，書いています。
　今回，自分が行いました結果（約60のデータについて，1つの目的変数を6つの説明変数で変数減少法により解析し，1つの説明変数と定数項による回帰関数を得ました。）では，1に近いほど当てはまり具合が良いとされる決定係数は0.09であるのに，分散分析ではF>F（0.95）かつ p<0.05でした。すなわち，決定係数上はデータが算出された回帰関数にあまり当てはまっていませんが，F値やp値上は，その回帰関数は当てはまりが弱いながらも予測に役に立つ，とも言えそうです。このような場合の解釈の仕方を教えていただきたく存じます。

また，相関係数は0.2～0.4は弱い相関があると伺っていますが，重相関係数が0.3の場合も同様に考えてよいのでしょうか？

よろしくお願いいたします。

No.17338　Re: 重回帰分析の結果の読み方　　【青木繁伸】　2012/08/22(Wed) 21:02

> 決定係数は0.09であるのに，分散分析ではF>F（0.95）かつp<0.05

ちょっと検算してみましたが，そのような結果にはならないような気がします。
結果を読み違えているのではないでしょうか？
結果をコピペしてみてくれませんか？

> 相関係数は0.2～0.4は弱い相関があると伺っていますが，重相関係数が0.3の場合も同様に考えてよいのでしょうか？

この掲示版でも何回も何回も聞かれることですが，そのようなことは固有科学上の問題です。
統計学的には，重相関係数が 0.3 ということは，独立変数が従属変数の30％を説明するというだけです。30％説明する事が素晴らしいことなのか惨めなことなのかは，そのデータに依存します。

相関係数 r である場合に単回帰分析を行うと，重相関係数 R2 は r^2 に等しくなります。ですから重相関係数 0.3 というのは単相関係数でいえば r=0.5477226 に相当することになります。

No.17339　Re: 重回帰分析の結果の読み方　　【増井】　2012/08/22(Wed) 22:21

青木先生，ありがとうございます。
早速，エクセルデータを添付で送信しましたが，データが多すぎる，ということですので必要な個所をコピペいたします。p＜0.01でした。変数減少法の過程は省いています。
「4steps　エクセル統計（第3版）」柳井久江著　オーエムエス出版を用いております。
よろしくお願いいたします。

　"変数減少法による重回帰分析の結果，退出時間＝33.30-0.34×（体重）という回帰式を得た。弱い負の相関である。回帰関数のF値=7.12>F（0.95）境界値4.0，p=0.0097→回帰関数は予測に役立つ。"
※　ちなみに2群（説明変数「体重」と目的変数「退出時間」）のみでの相関は弱い　　　が有意でした。（r＝0.26，p＝0.000861

No.17342　Re: 重回帰分析の結果の読み方　　【青木繁伸】　2012/08/22(Wed) 23:07

6個の独立変数とか書いてあったので，そんな場合にこんなことにはならないように思いましたが，結局の所，残った変数は1個のみということですね。以下のような結果のようなので，至極当然ということです。
データ数		64
重相関係数R		0.320969836
決定係数R2		0.103021636 　
自由度修正済み決定係数	0.088554243
Y評価値の標準誤差	8.284304161 　　　
ダービン・ワトソン比	1.875030542

分散分析表
	
要因	偏差平方和	自由度	平均平方	F値		P値		F(0.95)
回帰	488.7088835	1	488.7088835	7.120953699	0.009710701	3.995887049
残差	4255.041117	62	68.62969543	
計	4743.75		63

	回帰係数	標準誤差	標準回帰係数	偏相関係数	F値
定数項	33.29554668	6.124520974			33.29554668	29.55480153
BW kg	-0.336460505	0.126085461	-0.320969836	-0.320969836	7.120953699
結局，直線回帰ということです。解説は，以下の通り。
独立変数が 1 個の場合，まず独立変数と従属変数の相関係数=標準回帰係数=-0.320969836
この場合，相関係数の検定も，分散分析の結果も，重相関係数の検定も回帰係数の検定も同じになります（分散分析のF値と，BWkg の回帰係数の検定のF値が同じ，などなど）。
相関係数 -0.320969836 は母相関 0 の帰無仮説を棄却します。
> pt(0.320969836*sqrt(62)/sqrt(1-0.320969836^2), 62, lower.tail=FALSE)*2
[1] 0.009710701
相関係数（回帰係数，分散分析，重相関係数）の検定結果が有意になったのは，サンプルサイズが大きいため（というか，サンプルサイズが 60 程度あれば，相関係数 0.3 は有意ということ）。しかし，相関係数が 0.3 ということは，決定係数は 0.3^2=0.09 に過ぎないので，独立変数は従属変数の 1 割も説明できていないということ。
つまり，統計学的な有意というのと，実際に意味があるというのは異なるということ。

先ほどは，この結果は固有科学によって考察が必要と書きましたが，このレベルだと，統計学も容赦なく解釈する事ができます。

統計学的には有意であるが，実質的に予測力はほとんどないといえる。

No.17343　Re: 重回帰分析の結果の読み方　　【ひろ】　2012/08/23(Thu) 09:07

いつも勉強させて頂いております。

青木先生の下記コメントについて，もう少し詳しく説明して頂けますか？
R2は決定係数と記憶していますが，重相関係数ともいうでしょうか？また重相関係数R=0.3は，どうしてr=sqrt(R)=0.5466226になりますか？

>相関係数 r である場合に単回帰分析を行うと，重相関係数 R2 は r^2 に等しくなります。ですから重相関係数 0.3 というのは単相関係数でいえば r=0.5477226 に相当することになります。

No.17344　Re: 重回帰分析の結果の読み方　　【青木繁伸】　2012/08/23(Thu) 09:56

以下は，独立変数が 1 個の場合について

> R2は決定係数と記憶していますが，重相関係数ともいうでしょうか？

>> 重相関係数 R2 は r^2 に等しくなります。ですから重相関係数 0.3 というのは単相関係数でいえば r=0.5477226 に相当することになります。

の部分ですね。

重相関係数 R の二乗（なので，R2と略されたりする）が決定係数です。
単相関係数（普通の相関係数）r と R の関係は R = abs(r)，R^2 = r^2 です。

> R=0.3は，どうしてr=sqrt(R)=0.5466226になりますか？

なりませんね。(^_^)　R= 0.3 ということは r = -0.3 または 0.3 ですね。

No.17345　Re: 重回帰分析の結果の読み方　　【増井】　2012/08/23(Thu) 10:51

青木先生，ひろさん，ありがとうございます。
青木先生のお話を踏まえての質問です。誤解していたらお許し願います。

Q1.　重回帰分析では，F値やp値より，重回帰係数Rや決定係数R^2を優先して考えたほうが良いのでしょうか？
Q2.　今回はエクセルの変数減少法を用いましたが，ほかの解説本では，変数減少法や増加法には欠点があるため（理由不明です），変数増減法や減増法がよい，との記載がありました。今回の結果では，手法を変えても結果は同じでしょうか？
Q3.　今回の結果（得られた回帰式では，実質的な予測力はない）の場合，単相関での話をしても良いのでしょうか？ちなみに単相関ではr＝0.26，p＝0.000861でした。（やはり，弱い相関ですが）
Q4.（ひろさんがお尋ねになったR^2の件ですが）R^2=r^2（すなわちR=r）となるのは，
得られた回帰式が単回帰だったからでしょうか？それとも重回帰式では一般的にR^2=r^2（すなわちR=r）なのでしょうか？
Q5.　（誠に根本的なことがわかっていないのですが，）重回帰の結果出される「分散分析表」は何を分散分析しているのでしょうか？

たくさんで恐縮ですが，よろしくお願いいたします。

No.17346　Re: 重回帰分析の結果の読み方　　【青木繁伸】　2012/08/23(Thu) 13:24

> Q1.　重回帰分析では，F値やp値より，重回帰係数Rや決定係数R^2を優先して考えたほうが良いのでしょうか？

重回帰分析に限りません。統計学的有意性より，実質的有意性が重要です。
相関係数が 0.01 であっても，データを 100000 組集めて検定すれば，統計学的には有意になります。しかし，相関係数が 0.01 であるということは，実質的にはなんの意味もありません。

> Q2.　今回はエクセルの変数減少法を用いましたが，ほかの解説本では，変数減少法や増加法には欠点があるため（理由不明です），変数増減法や減増法がよい，との記載がありました。今回の結果では，手法を変えても結果は同じでしょうか？

変数選択法によって，若干の違いは出ることがありますが，本質は変わりません。
疑いがあれば，遣ってみると良いでしょう。
また，独立変数が少ないなら，総当たり法でチェックすればよいでしょう。

> Q3.　今回の結果（得られた回帰式では，実質的な予測力はない）の場合，単相関での話をしても良いのでしょうか？ちなみに単相関ではr＝0.26，p＝0.000861でした。（やはり，弱い相関ですが）

Q1 の答に書いたとおりです。また，回帰式の解釈も，相関係数の解釈も全く同じ結果です。意味のない回帰式は意味のない相関です。

> Q4.（ひろさんがお尋ねになったR^2の件ですが）R^2=r^2（すなわちR=r）となるのは，
得られた回帰式が単回帰だったからでしょうか？それとも重回帰式では一般的にR^2=r^2（すなわちR=r）なのでしょうか？

繰り返し述べたように，「独立変数が 1 個のときの話」です。
また，独立変数が複数の場合に単一の r はないですよね。
テストデータを作って分析して，調べてみれば納得できるでしょう。

> Q5.　（誠に根本的なことがわかっていないのですが，）重回帰の結果出される「分散分析表」は何を分散分析しているのでしょうか？

分散分析表の左端にあるように，従属変数の全変動（偏差平方和）を回帰による（回帰により説明できる）変動（偏差平方和）と，残差（誤差）変動（偏差平方和）に分解し，それぞれ平均平方（不偏分散）を求め，誤差の平均平方より回帰により説明される平均平方が十分に大きければ，独立変数が従属変数を説明できるということをいうことですよ。

教科書の重回帰分析の項を読みましょう。

No.17348　Re: 重回帰分析の結果の読み方　　【増井】　2012/08/23(Thu) 18:48

青木先生，お忙しい中ご返答賜り感謝申し上げます。まだまだ勉強が足りませんので，学び続けたいと存じます。また，その節はご高配のほどよろしくお願い申し上げます。

No.17349　Re: 重回帰分析の結果の読み方　　【伊丹】　2012/08/23(Thu) 19:02

青木先生，いつも学ばせていただいております。私も重回帰分析の初手です。
一連のやり取りの中で，気になった点を伺います。
重回帰分析で予測可能な回帰式が得られない場合，説明変数を一つずつと目的変数とを1対1で相関関係を調べていく方法はダメでしょうか？

No.17350　Re: 重回帰分析の結果の読み方　　【青木繁伸】　2012/08/23(Thu) 20:40

> 重回帰分析で予測可能な回帰式が得られない場合，説明変数を一つずつと目的変数とを1対1で相関関係を調べていく方法はダメでしょうか？

貴方の言っているのは，独立変数が 1 個の場合でしょうか？
独立変数が 1 個の場合，どの独立変数を選ぶかは，「従属変数と最も相関の高い変数を選ぶ」ということです(一つ一つ確かめる必要はありません）。それは当たり前でしょう。相関の一番高い変数が，一番予測力がある。しかし，選ばれた変数が「十分な予測力があるかどうかは」別問題。選ばれたけど，実質的な予測力がないのでパーになるということもあるということ。相関係数が2番手以降の変数が，予測力が一番あるなどということは，あり得ません...でしょ？

独立変数が複数になる場合も，従属変数と相関の高い変数は，変数選択で選ばれる可能性は高いでしょう。

最悪の場合でも，全ての独立変数の組み合わせを探れば（総当たりすれば），もっともよい予測式が選ばれるでしょう（もし，そのようなものがあればですが。どの独立変数もたいした予測力がなければ，何にも選ばれないということもあります）。

No.17351　Re: 重回帰分析の結果の読み方　　【伊丹】　2012/08/23(Thu) 21:54

青木先生，ありがとうございます。
私は，増井さんの言われた予測力がある重回帰式を得られない場合に，独立変数が複数個あって，その一つ一つと従属変数との相関を調べることの意義をお聞きしたかったのです。予測力がある重回帰式が得られなければ，単相関を見てもやはり，予測力のある結果は得られないのでしょうか？あるいは，このようなアプローチの仕方自体がそもそもナンセンスなのでしょうか？
　独立変数が複数個ある場合は，常にその組み合わせ法（総当たり法）による重回帰分析こそが，意味のあるアプローチと考えて対処すべきでしょうか？それで予測力のある重回帰式が得られなければ，それまで，とすべきなんでしょうか？

No.17352　Re: 重回帰分析の結果の読み方　　【青木繁伸】　2012/08/24(Fri) 08:14

17350 に書いたとおりなんですけど。

> 予測力がある重回帰式を得られない場合に，独立変数が複数個あって，その一つ一つと従属変数との相関を調べることの意義

独立変数が1つの重回帰式を探索するのと複数の独立変数の一つ一つと従属変数の相関を調べることは，全く同じということです。独立変数が1つの場合は，相関係数の検討（検定），重回帰分析（単回帰分析)は全く同じことです。
「予測力がある重回帰式を得られない」状態なら「複数の独立変数の一つ一つと従属変数の相関を調べ」ても，実質的に意味のある相関は見いだせないでしょう。

> 独立変数が複数個ある場合は，常にその組み合わせ法（総当たり法）による重回帰分析こそが，意味のあるアプローチと考えて対処すべきでしょうか

変数選択の方法はいくつかあります。総当たり法は独立変数が数十個になると，コンピュータの計算能力を超える（全部の計算を終えるのに数年かかるとか）ようになります。そのような場合に，総当たりしないで次善のモデルを探索するのが，変数増減法などの変数選択法なのです。

> それで予測力のある重回帰式が得られなければ，それまで，とすべきなんでしょうか

そういうことでしょう。それ以外にどんな対処法があるでしょうか。（いや，ない）