3-8. Logistic Regression

---

< 목차 >

1. 용어정의
2. Logistic regression

---

1. 용어정의

아래 페이지를 참고해주세요.

• 2021.03.31 - [인공지능/머신러닝] - 3-2. Discriminant Functions

---

2. Logistic regression

Logistic sigmoid function이라고도 불리며, σ(.)를 사용하여 p(C_k|x)의 선형 모델을 비선형적으로 Mapping 하는 것이다.

 

정규분포를 가정한 Class-conditional density의 경우 두 개의 클래스에 대한 평균 2*M와 Covariance matrix 의 M(M+1)/2 개의 미지수를 결정해야 하기 때문에 계산이 더 복잡한 반면, D 차원의 입력데이터를 임의 M 차원으로 변경하여 M 개의 미지수만 결정하면 된다는 장점이 있다.

 

위의 Logistic sigmoid function에 대해 M 개의 미지수를 결정하기 위해, Maximum likelihood 방법을 이용할 수 있고 아래와 같은 수식으로 전개된다.

 

 

여기서 계산상 편의를 위해 Negative logarithm 을 사용하였고, 이것은 결국 최소가 되는 M개의 'Φ 혹은 w'를 찾는 것과 동일하다.

 

 

따라서, Regression 과 Classification에 대한 p(t|w)의 분포를 다음과 같이 요약할 수 있다.

 

 

---