2-5. Singular Value Decomposition(SVD)

---

< 목차 >

1. 용어정의
2. Singular value decomposition(SVD)

---

1. 용어정의

• 특이값 (Singular value) : 특이값 분해할때 계산할 수 있으며, 이는 행렬을 대각화하는 방법으로 두 개의 직교행렬과 대각행렬을 얻을 수 있으며 이때 대각행렬이 포함하는 값을 특이값이라고 부른다.

---

2. Singular value decomposition(SVD)

특이값 분해라고 하며, 이는 크기가 다른 m x n차원 행렬을 m차원과 n차원의 정사각형 행렬로 분해하는 것이다. 이 개념은 대상 행렬의 ill-conditioned 을 확인하는데 필수적이며, overfitting이 발생하는 원인을 이해할 수 있다. 특이값분해를 수식으로 나타내면 다음과 같다.

 

여기서 ∑행렬은 왼쪽과 오른쪽에 있는 U와 V행렬은 아래와 같이 orthogonal 한 특징을 갖고 있다.

 

또한, ∑행렬은 대각행렬로서, 행렬 내부에 존재하는 값들을 특이값(Singular Value)라고 정의한다. 이때, 행렬의 크기가 m>n일 경우에는 m개의 특이값이 존재하며, orthogonal 행렬간의 내적에서 나온 특이값분해의 원소를 고유값(Eigenvalue)이라고 한다. 따라서, 고유값은 m=n 차원 행렬의 특이값분해에 대한 특이케이스라고 볼 수 있다.

 

여기서, ∑행렬에 존재하는 특이값은 아래의 형태로 존재할 수 있고, 이때 조건수(Condition Number)는 특이값은 최소와 최대의 비로 정의된다.  이 조건수(κ라 표현)를 이용하면 행렬의 ill-conditioned 확인이 가능하다.

 

---