3-7. Linear Basis Function Model

---

< 목차 >

1. 용어정의
2. Linear basis function model
   
   1. Polynomial basis function
   2. Gaussian basis function
   3. Sigmoid basis function

---

1. 용어정의

• Bimodal distribution : 두 가지의 분포를 가지고 있는 데이터의 분포 

---

2. Linear basis function model

지금까지 선형 모델에 대해 Decision boundary를 결정하는 방법을 배웠고, 실제로는 비선형 형태의 Decision boundary를 결정해야 하는 Classification 문제들이 존재하기 때문에 본 내용에서 살펴보고자 한다.

비선형 모델은 Basis function을 이용하여 D 차원크기를 갖는 x 를 임의의 M 차원크기로 Mapping 하여 Decision boundary를 결정하는 것이다.

 

이때, 대표적으로 사용되는 Nonlinear basis function은 다음과 같다.

 

2-1. Polynomial basis function

앞장에서 언급한 Curve fitting에 일반적으로 사용되며, Φ(i=0)일 경우는 1이고, i가 증가할수록 x의 차수가 i 씩 증가한다.

 

2-2. Gaussian basis function

정규분포의 수식을 따르며, (Dx1) 차원의 X를 (1x1) 차원으로 축소시킨다.

 

아래는 Gaussian basis function을 이용해서 입력데이터 x를 새로운 차원 Φ 로 Mapping 시킨 예이다.

 

(1) 첫번째 그래프

• 입력데이터 x의 스페이스로 빨간색 데이터는 C2 클래스이며, 파란색 데이터는 C1 클래스로 분류되어야 한다. 하지만 파란색 데이터가 두 개의 정규분포를 갖는 Bimodal distribution형태를 띄고 있으므로, 선형 모델로는 해당 클래스를 구분 짓는 Decision boundary를 결정짓기 어렵다.
• 따라서, Φ 로 Mapping 하는 것이 필요한데 위에서 언급된 Gaussian basis function 의 수식을 보면 각 데이터와 평균(μ)간 거리가 가까울수록 큰 값(Φ)을 가진다.

 

(2) 두번째 그래프

• Mapping 결과이며, Φ1 축을 살펴보면 μ1 기준으로 거리가 가까운 데이터는 높은 Φ1 값을 가지고, 중앙에 분포해있는 빨간색 데이터는 중앙 근처에 위치한 Φ1 값을 가지고, μ1로 부터 가장 멀리있는 파란색 데이터는 가장 작은 Φ1을 가진다.
• 반대로, Φ2 축을 살펴보면 μ2 기준으로 거리가 가장 가까운 빨간색 데이터는 높은 Φ2 값을 가지고, 양쪽 파란색 데이터까지 위치는 거의 동일하기 때문에 비슷한 Φ2 값을 가지며, 이를 Φ 스페이스로 Mapping하면 선형적인 Decision boundary로 클래스 결정이 가능해진다.

 

2-3. Sigmoid basis function

X의 값을 0과 1사이값으로 출력하며 Neural network 출력레이어에서 확률적 수치를 나타내기위해서 사용되기도 한다.

 

---