2-1. Linear Models for Regression

---

< 목차 >

1. 용어정의
2. Linear basis funcion models

---

1. 용어정의

• 선형 회귀 (Linear regression) : X 와 Y 혹은 t 와의 선형 상관 관계를 모델링하는 분석 기법
• 선형 / 비선형 (Linear / non-linear) : 선형은 1차 함수의 형태로 직선형을 나타내며, 비선형은 2차 이상의 다항식 혹은 여러 함수가 결합된 형태이다.
  
  

• 유일해 (Unique solution) : 방정식의 해를 근사할 때, 무수히 많은 해를 가지지 않고 하나의 해만 갖는 경우를 일컫는다.

---

2. Linear Basis Function Models

Linear basis function model은 선형 회귀(Linear regression model)이라고도 불리며, 다음 예제로 설명될 수 있다.  

 

x을 석유가격, t를 A라는 정유사의 주식가치라고 가정하면, 석유가격이 올라갈수록 A사의 가치는 올라가는 추세를 나타낸다. 이러한 데이터(주황색 점)들을 통해, 아래의 선형 회귀함수를 계산하고 미래시점에서 석유가격에 따른 A정유사의 주식가치(연두색 점)를 예측할 수 있다. 

 

또한, 선형 회귀 함수는 아래의 수식처럼 비선형 함수(Nonlinear function)에 대해서 basis functions을 이용하여 나타날 수 있고, 여기서 비선형 함수를 사용하는 장점은 (1) 비선형적 타겟값에 대한 근사치를 계산할 수 있고, (2) 가중치 'w'에 대해 유일해를 갖기 때문에 비교적 계산이 쉽다는 것이다.

 

 

이때 Basis function으로 사용되는 대표적인 예는 아래와 같다.

 

 

Basis function	설명
- Polynomial basis function	앞장에서 언급한 Curve fitting에 일반적으로 사용되며, Φ(i=0)일 경우는 1이고, i가 증가할수록 x의 차수가 i씩 증가한다.
- Gaussian basis function	정규분포의 수식을 따르며, (Dx1) 차원의 X를 (1x1) 차원으로 축소시킨다.
- Sigmoid basis function	X의 값을 0과 1사이값으로 출력하며 Neural network 출력레이어에서 확률적 수치를 나타내기위해서 사용되기도 한다.

---