「統計学関連なんでもあり」の過去ログ--- 045

No.16218　無相関と回帰係数の有意性について　　【K】　2012/01/14(Sat) 16:58

ある独立変数Xが別の独立変数Y，Zよりもある従属変数Wに大きな回帰係数を示すことを予測し，重回帰分析を行う時，相関分析の段階ですでに変数Yと変数Zの相関係数が統計的に有意でないことが示された場合，重回帰分析の際に変数Yを独立変数としてモデルに投入する意味はあるのでしょうか？

結局その変数を入れてみても，ステップワイズ法ではその変数は除外されますし，AMOSでパス図を作図した場合でも，回帰係数は有意ではありませんでした。

相関係数と回帰係数の数式上の関係を考えてみても，上記のつながりは明らかのようにも思えるのですが，どうなのでしょうか？

関連して，例えば無相関検定では有意でないが，回帰係数では有意になるといった状況は存在するのでしょうか？

No.16219　Re: 無相関と回帰係数の有意性について　　【青木繁伸】　2012/01/14(Sat) 17:58

> 例えば無相関検定では有意でないが，回帰係数では有意になるといった状況は存在するのでしょうか？

そんな例は，幾つでも作れます。

データフレーム
      W    X    Y    Z
1  39.3 52.2 54.3 48.1
2  56.9 54.8 55.4 44.5
3  71.2 72.1 56.2 45.9
4  56.8 64.3 49.1 48.7
5  35.3 47.4 42.1 50.0
6  44.4 49.1 50.3 44.9
7  46.4 46.3 53.4 64.5
8  53.6 67.7 36.8 57.9
9  48.1 49.4 52.9 59.3
10 59.0 52.1 56.4 50.6

相関係数行列
           W          X          Y          Z
W  1.0000000  0.7530521  0.3494580 -0.2112518
X  0.7530521  1.0000000 -0.1737791 -0.2374675
Y  0.3494580 -0.1737791  1.0000000 -0.2455940
Z -0.2112518 -0.2374675 -0.2455940  1.0000000

単相関係数の検定 W と X 有意
	Pearson's product-moment correlation

data:  d$W and d$X 
t = 3.2372, df = 8, p-value = 0.01193
alternative hypothesis: true correlation is not equal to 0 
95 percent confidence interval:
 0.2347129 0.9379551 
sample estimates:
      cor 
0.7530521 

単相関係数の検定 W と Y 有意でない
	Pearson's product-moment correlation

data:  d$W and d$Y 
t = 1.0549, df = 8, p-value = 0.3223
alternative hypothesis: true correlation is not equal to 0 
95 percent confidence interval:
 -0.3592030  0.8025097 
sample estimates:
     cor 
0.349458 

Call:
lm(formula = W ~ ., data = d)

Residuals:
     Min       1Q   Median       3Q      Max 
-10.8891  -0.3152  -0.0514   1.3241   6.5972 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -59.1754    30.4637  -1.942  0.10010   
X             1.0112     0.2130   4.748  0.00317 ** 有意
Y             0.8665     0.3005   2.883  0.02794 *  有意
Z             0.1981     0.2907   0.681  0.52114   
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 5.503 on 6 degrees of freedom
Multiple R-squared: 0.819,	Adjusted R-squared: 0.7285 
F-statistic: 9.049 on 3 and 6 DF,  p-value: 0.01206

> ステップワイズ法ではその変数は除外されますし

このデータの場合には，（私の変数選択プログラムでは）X, Y は共に選択されました。

つまり，単変量解析の結果から多変量解析の結果は予測できないということです。

No.16220　Re: 無相関と回帰係数の有意性について　　【K】　2012/01/14(Sat) 18:22

青木先生

ご回答ありがとうございました。
また，例まで示していただいて，疑問が氷解いたしました。

＞単変量解析の結果から多変量解析の結果は予測できない

今後統計学を学んでいく上で，いつも心に刻んでおきたいと思います。

ありがとうございました。