「統計学関連なんでもあり」の過去ログ--- 045

No.15773　PCAの軸の「重み」づけとは　　【PCAについて】　2011/11/26(Sat) 18:47

PCA部分空間の軸は，軸によって重要度が異なり各軸を同等に考えて分類すると誤認識するケースがあるため，クラスの分散を用いて各軸に重みづけする，という場合，この「重み」とは，各軸ごとに1つの値であるべきでしょうか。
例えば1つめのクラスの部分空間の軸が6本あった場合，1つめのクラスの「重み」は6つの値。
それとも，各軸（1つめのクラスの固有ベクトルが10行6列として，各軸は1列のベクトル）の要素数（10行）の「重み」の値を持つ，軸と同じ行列（10行6列）になるべきでしょうか。この場合，1つめのクラスの「重み」は10行6列の値となります。

いろいろ調べているのですが，参考にしている資料の記号の読み方によってどちらとも取れる（またはわかっている前提で略してあるのか）ため，判断しかねています。
ぜひ教えてください。
どうぞよろしくお願い致します。

No.15774　Re: PCAの軸の「重み」づけとは　　【青木繁伸】　2011/11/26(Sat) 19:35

仰っていることがよくわかりません。
主成分分析の結果の解釈についての一般的な解説と，あなたが言おうとしていることで，どこがどのように違うのか，整理して書いてくれませんか？
そもそも，「PCAの軸の「重み」づけ」ではなく，PCAの軸の解釈だと思いますけどね。
PCA部分空間の軸とは，何？
クラスの分散を用いて各軸に重みづけする？
1つめのクラスの部分空間の軸が6本？
1つめのクラスの「重み」は6つの値？
各軸（1つめのクラスの固有ベクトルが10行6列として，各軸は1列のベクトル）の要素数（10行）の「重み」の値を持つ，軸と同じ行列（10行6列）になる？
参考にしている資料の記号の読み方によってどちらとも取れる（またはわかっている前提で略してあるのか）？
そのような用語を使って説明しているページがあるのなら，それを示してください。

No.15779　Re: PCAの軸の「重み」づけとは　　【PCAについて】　2011/11/26(Sat) 22:14

>PCA部分空間の軸とは，何？

すみません，クラス部分空間の軸，固有ベクトルです。
PCAで「このデータは何次元でうまく表現できます」とわかった後の，その次元数を「軸の数」と表現しました。PCAでは固有値が各因子の重要性を表し，固有ベクトルが更にその因子の各要素の重みを表していると理解しています。
今回，多クラスをPCAで分類したいのですが，各クラスの誤分類が減るように，それぞれの軸に係数を持たる，その係数は「重み」で，クラスの分散を用いると言うのですが，そもそも固有値が「重み」を表しているのではないのか？
更に，固有ベクトルが各要素の「重み」なのでは？

固有値が「重み」であるという説明やhttp://www5.ocn.ne.jp/~shinya91/csm/331csm_multi.html

固有ベクトルの各要素自体が「重みベクトル」である，という説明があり
http://suzuki-tokuhisa.com/mvda/PrincipalComponent.pdf

今度追加するのは，クラスごとの「重み」です。
それは軸の数（列）と要素（行）の数に対応した値で，行列ベクトルであるべきなのか，それとも軸ごとに1つの値をとり，結果そのクラスの軸数ぶんの「重み」を持つ列ベクトルなのだろうか，と疑問が解けません。

私の説明の仕方が悪く，不快に思われたらすみません。
周囲に聞いても，これはわかりにくい書き方だ，と言われてしまい，独断でネット上にいは載せていいものかわかりませんので，証明できず記号云々について見ていただけず残念です。
申し訳ありません。

No.15781　Re: PCAの軸の「重み」づけとは　　【青木繁伸】　2011/11/27(Sun) 09:45

> 固有値が「重み」であるという説明やhttp://www5.ocn.ne.jp/~shinya91/csm/331csm_multi.html

それは，固有値は「主成分の相対的重要性」を意味するという意図で使われていますね。

> 多クラスをPCAで分類したいのですが，各クラスの誤分類が減るように，それぞれの軸に係数を持たる，その係数は「重み」で，クラスの分散を用いる

主成分得点を計算するときの重みが固有ベクトルであるという理解は正しい。

No.15796　Re: PCAの軸の「重み」づけとは　　【PCAについて】　2011/11/27(Sun) 21:33

長文に何度もコメントを入れてくださり，ありがとうございます。

固有値は「主成分の相対的重要性」を意味し，固有ベクトルは「主成分得点を計算するときの重み」とのこと，よくわかりました。そうした1クラスの中での「重み」の世界から，次にクラスごとの「重み」について考える場合，参考資料には「各クラスの部分空間の対応する軸（例えば各クラスの1次元目の軸同士）の類似度が最大になるように「重み」をつける」，「例えばWnは，nクラスのk番目の軸の重みWnkの列ベクトル」（kはなぜかこの1文にしか出てきません）と書かれています。

文面からすると「Wは列ベクトル」になる，つまり「例えば1つめのクラスの1軸目の重みは列ベクトルになる」と読み取れるのですが，式を見る限り1つめのクラスの1軸目のWはひとつの値になるので，もしかして「ここでいうWnは，nクラスのk番目の軸の重みWnkを含む列ベクトル」の間違いではないか，文か式か，どちらが正しいのだろう，そもそも自分の理解は正しいのだろうか，と不安になり，書きこみました。

1度その通り解いてうまくいくか確認すればいいのかもしれませんが，理解なしに進むのはどうかと思い，つい何度も質問してすみません。勉強しますので，ぜひアドバイスをお願い致します。