선형대수 - 고유값분해~주성분분석 (SVD비교)

주성분분석이란 무엇인가?

주어진 데이터의 공분산 행렬(covariance matrix)에 대한 고유값분해(eigendecomposition)이다.

 

*공분산행렬이란? 각 변수(좌표성분)간의 공분산(분산)을 담은 행렬

 

공분산행렬은 모든 변수간의 관계(공분산)를 담고 있기 때문에 대칭행렬이다.

앞서 배웠다. 대칭행렬이면 고유값분해가 가능하고, 직교행렬(고유벡터행렬)과 대각행렬(고유값행렬)을 얻을 수 있다!

SVD와 무엇이 다른가?

SVD는 대칭행렬/정방행렬 상관없이 전치행렬을 곱해서 만든 고유벡터행렬로 고유값을 찾아내는 분해하는 기법

 

정리하자면,

PCA는 고유값분해의 한가지 사례다.

SVD는 고유값분해를 하기위해 전치행렬을 곱하는 :트릭;을 사용한 분해기법이다

 

PCA의 결과값을 어떻게 해석/활용하나?

PCA는 고유값분해의 한가지 사례라고 말했다.

--> 공분산행렬의 고유벡터가 데이터 분포의 분산 방향이고, 고유값이 그 분산의 크기다.

--> PCA에서 찾은 제 1 주성분 벡터는 데이터 분포의 분산 중 가장 큰 방향을 나타낸다

 

 

source : darkpgmr.tistory.com/110