「統計学関連なんでもあり」の過去ログ--- 045

No.17472　主成分回帰分析の最終偏回帰係数の求め方について　　【社会人A】　2012/09/29(Sat) 16:46

はじめまして。

現在，多変量解析を用いて以下を行おうとしています。

7つの説明変数と1つの目的変数

7つの説明変数を使用して主成分分析を行う。
※固有ベクトルを保持

寄与率が90%以上を採用，主成分スコアにて重回帰分析を行う。
(とりあえずは100%で重回帰分析のみを使用したときの結果と合わせたいです)

重回帰分析には説明変数(主成分スコア)と目的変数(実データ)を渡す。

求まった，偏回帰係数と固有ベクトルを使用して7つの説明変数に対しての偏回帰係数を求めたいと考えています。

良くサイトでは，積和すると出ていますが(今回は説明変数7個の為X7までとなる)偏回帰係数X1～X7までと固有ベクトルX1～X7，第1主成分～第7主成分までの実際にどの値とどの値を積和していくのかがわかりません。色々試しているのですが，まったく結果が想定外の数字が出るのであっているのかが，わからないのが現状です。

どなたか，ご教授お願いいたします。

No.17473　Re: 主成分回帰分析の最終偏回帰係数の求め方について　　【青木繁伸】　2012/09/29(Sat) 22:05

主成分回帰にはいくつかの制約があるということを理解できているでしょうか？
どのような環境（処理プログラム）でやっているのか分かりませんが，なにも，自分で分析手順を構築する必要はないと思いますが。
そうもいかないということならば，以下を参照して，手順に間違いがないか確認してください。
http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/prcomp.html

No.17474　Re: 主成分回帰分析の最終偏回帰係数の求め方について　　【ひろ】　2012/10/01(Mon) 10:15

>そうもいかないということならば，以下を参照して，手順に間違いがないか確認してください。
>http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/prcomp.html

いつも勉強させて頂いているものです。
ケチをつけるつもりはないですが，青木先生の上記リンクにある”2.2.　PLS 回帰の結果”が，正確に言うと”PLSパッケージを使ったpcr回帰の結果”ではないでしょうか？

No.17475　Re: 主成分回帰分析の最終偏回帰係数の求め方について　　【青木繁伸】　2012/10/01(Mon) 10:21

> ”2.2.　PLS 回帰の結果”が，正確に言うと”PLSパッケージを使ったpcr回帰の結果”ではないでしょうか？

その通りですね。修正しました。

No.17476　Re: 主成分回帰分析の最終偏回帰係数の求め方について　　【社会人A】　2012/10/01(Mon) 13:11

ご説明，ご回答ありがとうございます。
現在の考えでは問題あるのかなと感じました。
ただ，正直どこが問題あるのかがわからず。。。

下記内容と，サイト上にありましたが

• 相関の高い複数の独立変数を使うとき（多重共線性があるとき）
　→ここがよくわかりません。

• 独立変数の測定単位は同じでなくてはならない
　→今回，対象が風量，水量，温度　などを使用するのですが測定単位と
　　いう部分で問題出て来るでしょうか。

• 標準化しないで分析する（分散共分散行列を対象にする）
　→標準化して使用していました。
　　分散共分散行列にて主成分分析を行ってみたのですが
　　やはり，結果は重回帰分析のみの時とは大きくずれてしまっていました。

素人で申し訳ございません。

No.17477　Re: 主成分回帰分析の最終偏回帰係数の求め方について　　【青木繁伸】　2012/10/01(Mon) 13:28

> 相関の高い複数の独立変数を使うとき（多重共線性があるとき）

多重共線性がなければ，普通に重回帰分析を行えばよいのです。寄与度の低い独立変数を除くだけで充分です。

> 対象が風量，水量，温度　などを使用するのですが測定単位という部分で問題出て来るでしょうか。

本来，pcr 回帰は，分散共分散行列を使って行うものです。単位が違えば，分散共分散行列の意味がなくなります（たとえば，体重150キロと，身長150センチを同等にみなすことに相当します）

> やはり，結果は重回帰分析のみの時とは大きくずれてしまっていました。

iris データセットについて，計算例（計算結果）を示しておいたので，それをあなたがあなたの計算環境でやってみれば，どの時点で答が違っているかわかるでしょう。そして，そこで計算を間違っている，どのようにすれば正しい答になるかということがわかるでしょう。

No.17478　Re: 主成分回帰分析の最終偏回帰係数の求め方について　　【青木繁伸】　2012/10/01(Mon) 13:46

各変数を標準化して主成分得点を求め，それを重回帰分析の独立変数に使うと，件のページの 2.4 に挙げた表に相当するものは以下のようになり，全部の情報を使う場合以外は，pcr の答と違うことがわかるでしょう。

No.17538　Re: 主成分回帰分析の最終偏回帰係数の求め方について　　【社会人A】　2012/10/13(Sat) 18:09

返信が遅くなり申し訳ございません。

お陰様で実現が出来ました。
機会があったらまたお願いいたします。