3-6. Estimation of the Class-Conditional & Prior Probabilities

---

< 목차 >

1. 용어정의
2. Estimation of the class-conditional & prior probabilities

---

1. 용어정의

아래 페이지를 참고해주세요.

• 2021.03.31 - [분류 전체보기] - 3-5. Probabilistic Generative Models

---

2. Estimation of the class-conditional & prior probabilities

만약 Class-conditional densities인 p(x|C_k)의 분포를 가정할 수 있다면, p(C_k)에 대한 Prior probabilities 과 함께 필요한 매개 변수를 결정할 수 있다.

 

예로 들어, 두개 클래스를 갖는 Classification 에서 각각의 클래스가 정규 분포를 갖는 Class-conditional density와 동일한 Covariance matrix를 갖고 있다고 가정하면, N개의 (x, t) 쌍으로 이루어진 데이터셋은 아래와 같은 기준으로 분류될 수 있다.

 

n번째 t 값이 1일 경우 해당 데이터는 C1 클래스에 해당하며, 0일 경우 C2 클래스에 해당하고, 또한 p(C1) = π 의 확률을 가진다고 가정하면, p(C2) = 1 - π 의 확률을 갖는다. 이를 Joint probability인 p(x,C_k)로 나타내면 아래의 수식으로 표현될 수 있다.

 

 

앞장에서 전개한 것과 동일하게 Likelihood function이 아래의 수식으로 주어지고 이를 최대화하는 각 매개 변수를 구하면 아래와 같이 구할 수 있다.

 

 

하지만, 이렇게 p(x|C_k)가 정규분포로 가정하고 구한 Decision boundary는 데이터의 분포가 정규분포가 아닐 경우 아래와 같은 문제가 발생하게 된다.

 

 

위의 그래프는 C1(빨간색)과 C2(파란색) 데이터에 대한 Decision boundary를 나타낸 것으로, 연두색 선은 Logistic regression model을 통해 구한 것이고, 자주색 선은 위에서 전개한 Least Squares 로 나타낸 것이다.

 

(1) 첫번째 그래프

• 각 클래스에 해당하는 데이터들이 실제로 정규분포 형태를 띄고 있으므로, 위에서 계산된 매개변수로 추정한 Decision boundary가 합당하다.

 

(2) 두번째 그래프

• C2(파란색) 데이터에 Outliers 가 추가되면서 더이상 정규분포 형태를 띄지않고, 때문에 위의 가정이 실제 데이터분포와 맞지않아 Least Squares로 구한 Decision boundary는 제대로 역할을 수행할 수 없다.

---