「統計学関連なんでもあり」の過去ログ--- 045

No.17598　重回帰分析のp値について　　【野口】　2012/10/29(Mon) 18:42

はじめまして。
重回帰分析をした際，単相関ではp値は0.05以下の因子ばかりを当てはめているのに重回帰分析ではある因子はp値が0.05を軽く上回る数値になります。ちなみに全体のp値は0.05以下です。これは一体なぜなのでしょうか？また，各因子が0.05 以下でなければ全体として0.05以下であっても重回帰式は使えないものとなりますか？
宜しくお願い致します。

No.17599　Re: 重回帰分析のp値について　　【青木繁伸】　2012/10/29(Mon) 19:26

単変量解析を積み上げても多変量解析にはなりません。

> 単相関ではp値は0.05以下の因子ばかりを当てはめているのに重回帰分析ではある因子はp値が0.05を軽く上回る数値になります。

ちっとも不思議なことではありません。軽くどころか，大幅に上回るそれも一つや二つではないということもあり得ます。

> 各因子が0.05以下でなければ全体として0.05以下であっても重回帰式は使えないものとなりますか？

それはあなたが判断してよいでしょう。ただ，使えるかどうかは P 値で決めるのではなく，R2 などで判断すべきではあるでしょう。P 値は，R2 などが低くて使い物にならない重回帰式でも，サンプルサイズが大きければ，とてもとても小さな値になることがあります（かなり確実に）。

以下のシミュレーション例で，偏回帰係数の P 値も ANOVA の P 値も，とても小さいが，R2 も小さすぎて，予測なんかできるものじゃないことがわかります。
> library(MASS)
> set.seed(123)
> n <- 100
> r <- matrix(c(1, 0.2, 0.3, 0.2, 1, 0.4, 0.3, 0.4, 1), 3)
> d <- data.frame(matrix(mvrnorm(n, mu=rep(0, 3), Sigma=r, empirical=TRUE), n))
> colnames(d) <- c("x1", "x2", "y")
> a <- lm(y~., d)
> summary(a)

Call:
lm(formula = y ~ ., data = d)

Residuals:
    Min      1Q  Median      3Q     Max 
-2.0318 -0.5213 -0.1514  0.5866  2.3244 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) 3.678e-17  8.977e-02   0.000 1.000000    
x1          2.292e-01  9.208e-02   2.489 0.014524 *  
x2          3.542e-01  9.208e-02   3.846 0.000215 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.8977 on 97 degrees of freedom
Multiple R-squared: 0.2104,	Adjusted R-squared: 0.1941 
F-statistic: 12.92 on 2 and 97 DF,  p-value: 1.056e-05 

No.17602　Re: 重回帰分析のp値について　　【野口】　2012/10/29(Mon) 21:37

とてもまぬけな質問ですみません。
統計でp値が0.05以下で回帰式が当たらないのであれば，p値が0.05以上ならなおさら使える回帰式なのか分からないのですが，先生は回帰式が使えるものなのかどのように判断しておられるのでしょうか。

No.17603　Re: 重回帰分析のp値について　　【野口】　2012/10/29(Mon) 21:41

早とちりしました。
R2で判断していけば良いという事ですか？