3-4. Fisher's Linear Discriminant

---

< 목차 >

1. 용어정의
2. Fisher's linear discriminant

---

1. 용어정의

Central limit theorem : 상호독립적인 랜덤데이터 수(N>30)가 증가할수록 데이터의 분포는 점차 정규분포를 따른다는 이론

---

2. Fisher's linear discriminant

Fisher's Linear Discriminant Analysis(LDA)라고도 하며, 데이터를 가장 잘 분류할 수 있는 평면을 찾아내어 해당 평면으로 데이터를 사영(Projection)시켜 차원을 축소하는 방법이다.

 

Fisher에 의해 제안된 평면은 데이터의 클래스간 중첩되는 영역을 최소화하는 것으로, 이는 클래스간 평균을 최대화하고 각각의 클래스 내부에 분산를 최소화하는 평면을 말한다. 해당 기준(Fisher criterion)은 아래 전개된 수식과 같이 클래스 간의 편차(between-class variance)과 클래스 내 분산(within-class variance)의 비율로 정의된다.

 

이때, 각 파라매터들은 다음과 같이 정의할 수 있고, J(W)에 대입하여 아래와 같이 W에 관한 식으로 표현할 수 있다.

 

 

위의 수식에서 클래스 분리를 최대로 할 수 있는 평면 W를 찾기 위해 J(W)를 W에 대해 편미분한다. 그러면 W에 대해 아래와 같이 나타나는데, w, M, S에 대한 차원을 고려했을 때 앞부분와 뒷부분의 항은 Scale Factor임을 알 수 있고, 평면방향 찾는 것이 주목적이므로 무시하면 결국에는 (S_w)^-1(m2-m1) 의 항에 비례함을 알 수 있다.

 

Fisher's Discriminant는 입력데이터를 적절한 클래스에 분류하는 방법이 아니고, 특정한 초평면(Hyperplane)을 나타내는 W를 찾아서 보다 정확하게 분류할 수 있도록 데이터를 사영시키는 것이다.

 

이는 Central limit theorem에 의해 상호독립적인 (i.i.d.) 데이터가 정규분포를 갖기 때문에 가능하며, 이러한 방법을 Fisher's Linear Discriminant 혹은 Linear Discriminant Analysis 라고 부른다.

 

---