1-5. Introduction to Classification Problems

---

< 목차 >

1. 용어정의
2. Classification problems
   1. Generative model
   2. Discriminative model
   3. Discriminant model

---

1. 용어정의

- 아래페이지의 용어정의를 참고해주세요.

• 2021.03.25 - [인공지능/머신러닝] - 4. Decision Theory

---

2. Classification problems

분류문제에서 사용되는 확률모델은 개념적으로 아래 세 가지로 나뉜다.

2-1. Generative model

Generative model은 위 수식의 오른쪽 부분을 추정(estimate)하는 것으로, 클래스 조건에 대한 확률밀도함수(class-conditional density function)과 prior class probability P(c)를 추정한 뒤, Bayes’s Theorem을 이용해서 Posterior probability를 계산할 수 있다. 

 

그러나 이 방법은 입력 값인 X 의 차원이 낮을 경우 유효하며, 실제 환경에서는 입력 값 X의 차원은 큰 경우가 다반사이다. 이러한 입력 값 x의 차원이 N으로 점점 커질수록 추정해야 할 변수가 n개의 평균(mean), n(n+1)/2개의 공분산(covariance)로 증가한다.

 

즉, 문제의 복잡도가 O(n^2)으로 증가하여, 그만큼 훨씬 많은 수의 데이터를 필요로 하게 된다. 이를 일반적으로 차원의 저주(Curse of Dimensionality) 라고 한다. 

 

2-2. Discriminative Model

Generative model은 다차원 변수인 입력 값 X에 대해 class-conditional density function을 추정하기 어렵다는 한계가 있다. 그래서 이를 해결하기 위해 위의 수식 왼쪽 부분을 직접 추정하는데, 이는 class의 차원이 2차원이기 때문에 N차원 X의 conditional density function을 추정하는 것보다 더 쉽기 때문이다.

2-3. Discriminant Model

이 방법은 입력 값 X에 대해서 0과 1의 출력 값으로 계산하여 상응하는 클래스에 매핑하는 discriminant function을 찾는 것으로 앞의 두 가지 방법에 비해 간단하다. 그러나 이 방법은 posterior probability에 대한 정보를 얻을 수 없다는 단점이 있어, Loss matrix, 즉 type l error, type ll error에 대해 적합한 가중치를 적용할 수 없다.

---