アルゴリズム (主成分分析)
内容 |
主成分分析は変数間の関係を調べます。これにより、例えば変数の数を回帰やクラスター分析などで減らすことができます。
主成分分析内の主成分は変数とそれに対するの最大分散との関係を線形で表わしています。Xをｐ個の変数を持つｎ個の観測値とし、この共分散の行列はSとなります。ここで変数間の線形の関係は次のようになります。
/math-ab9343ff9fcb3706ee7abdb2cb379b0e.png "z_1=\sum_{i=1}^p a_{1i}x_i")
/math-22cf6d90476d6b87655fb83d74ee08f5.png "x_i\")
がi 番目の変数に、/math-54042c94adbcd82da042b6c3acb9f2d7.png "a_{1i} \ i=1,2,...,p")
は/math-c444279b915ee36642fa338e34c13122.png "z_1\")
の線形関係の係数となり、これらは列ベクトル/math-d244e0f74039ac13f15b218c30a1197d.png "a_1\")
として示され、/math-a4489a65c4ea00a3749c13371e32b1c8.png "a_1^Ta_1=1")
で正規化されます。 の分散は/math-731b4410c9a103b26e052e0fdddb6ab5.png "a_1^TSa_1")
となります。
ベクトルは分散を最大にすることで見つけることができます。は第一主成分と呼ばれています。第二主成分は次の物を最大化することで同じように見つけることができます。
-
/math-873ed3c6fc8df3717f6650fc969da6c3.png "a_2^Ta_2=1")
と /math-ae413d86760f05319c501f0496c6c868.png "a_2^Ta_1=0")
は/math-493b8e25d52c2ace8bdb017172b0d8c8.png "a_2^TSa_2")
を制約している主要因です。
これは第二主成分が第一主成分とは直交関係にあることを示しています。残りの主成分は同様の方法で算出することができます。係数 /math-27a6d6501e3c3aa9f3ea0490bd2883a3.png "a_1, a_2, ..., a_p\")
は行列Sの固有ベクトルから計算できます。Originは欠損値を取り除くためにいくつかの手法を用いています。
リスト形式で欠損値を除く
欠損値がある観測データは分析から除外されます。SVD用の行列 /math-d5bc9869a7e5e4c51c3ec29c497c9913.png "X_s\")
は分析の行列タイプによりXから算出されます。
分析の行列タイプ
- 共分散行列
-
- を行列Xとして各列の平均が各変数から引かれ、各列は
/math-c6b39e3953f822c60f04aa96795f8ca5.png "\frac{1}{\sqrt{n-1}}")
によってスケールされます。
-
- 相関行列
-
- を行列Xとして各列の平均が各変数から引かれ、各列は
/math-49b8574ecb53ea9393f842389f9eb9c3.png "\frac{1}{\sqrt{n-1}\sigma_i}")
によってスケールされます。/math-7972095bacc7478fcb70fd6733c0f5bb.png "\sigma_i\")
はi番目の標準偏差になります。
-
計算する値
SVDを で実行します。
/math-d498c41ab09cd28f0ed57082a46e997c.png "X_s=V\Lambda P^T\")
ここでVは/math-019541f74704787977ee873013839295.png "V^TV=I\")
と共にあるp行列のｎで、Pはp行列のｐで、 /math-781ff4289c6cc5fc2973b7a57791e0e2.png "\Lambda")
は対角要素/math-285c6a5e3a199d684c4b38c337b68b7c.png "s_i \ i=1, 2, ..., p")
を含む対角行列です。
- 固有値
/math-10d0f1ef59c0ff4f54dd64b9e67956eb.png "\lambda_i=s_i^2")
- 下降順に固有値は保存されています。i 番目の分散が主成分によって広がった割合は
/math-0f760222253fcac467e4e4382ea4e49d.png "\lambda_i/\sum_{k=1}^p \lambda_k")
です。
- 固有ベクトル
- 固有ベクトルは付加、または主成分の係数として知られています。各列のPは固有値または主成分と関連している固有ベクトルです。
- 固有ベクトルの符号はSVDにのみ特殊になっているわけではありません。Originは必ず足してプラスになるようにすることでこの符号を正規化しています。
- スコア
- 各列の
/math-07e38ffc20f9ed4a40e60ed2a7eadd06.png "\sqrt{n-1}V\Lambda")
は主成分と関連しているスコアです。欠損値を含む観測値があった場合、これらの値と対応するスコアも欠損値になります。
- この手法では各主成分と対応している分散のスコアは対応している固有値と同じになります。
- 標準スコア
- 各主成分のスコアはユニット分散を持つように正規化されています。
ペア形式で欠損値を除く
観測値は共分散や係数を計算する２つの変数の中で欠損値がどちらか一方にでもあるときに計算する場合のみ除かれます。
固有値と固有ベクトルは行列Sの共分散または係数から計算されます。
/math-1eb525b55da5f5a7b146d626ef443681.png "SP=PD\")
Pはp行列のｐで、Dは対角要素 /math-ae1d06f83f13974ab2df299694d371b3.png "\lambda_i \ i=1, 2, ..., p")
がある対角行列です。
- 固有値
/math-b42a49b60191bc5e33a25f63bfc4244e.png "\lambda_i\")
はi 番目の主成分の固有値です。下降順に固有値は保存されています。- 固有値はペア形式で除かれた欠損値に対してはマイナスで表示されます。これは主成分ではまったく意味を成しません。固有値がマイナスになったものは付加とスコアをゼロにします。
- 固有ベクトル
- 各列のPは固有値または主成分と関連している固有ベクトルです。
- 固有ベクトルの符号は特殊になっているわけではありません。Originは必ず足してプラスになるようにすることでこの符号を正規化しています。
- スコア
-
-
/math-529f8b193005f6dea07a06457001ca34.png "X_0\")
は行列Xから各列の平均を引いた値になります。 - 欠損値を含む観測値があった場合、これらの値と対応するスコアも欠損値になります。
- この手法では各主成分と対応している分散のスコアは対応している固有値と同じになりません。
/math-bb91d01fd09e5459e2c215fa93bf2c63.png "V=X_0P\")
-
- 標準スコア
- 各主成分に対するスコアはその固有値の2ルートを取ってスケールされています。
バーレット検定
バーレット検定は残りの固有値p－kを等しくしています。これは分析行列が共分散行列であるときのみ使用できます。
/math-f7c8bd18f6e041157a76f1fa02889635.png "H_0:\lambda_{k+1}=\lambda_{k+2}=...=\lambda_{p} k=0, 1, ..., p-2\")
自由度 /math-256b80388bbbcc269ef94aa5532dab62.png "\frac{1}{2}(p-k-1)(p-k+2)")
で /math-e004463241106484d0f7761b9110eeaf.png "\chi_2\")
分散をおおよそで計算しています。
/math-465397770aeec65eb2b9adadcdd2c942.png "(n-1-(2p+5)/6)\Big\{-\sum_{i=k+1}^p \mathrm{log}(\lambda_i)+(p-k)\mathrm{log}(\sum_{i=k+1}^p \lambda_i/(p-k))\Big\}")