2-3. Regularized Least Squares

---

< 목차 >

1. 용어정의
2. Regularized least squares
3. Extension to multiple outputs

---

1. 용어정의

- 아래페이지의 용어정의를 참고해주세요.

• 2021.03.26 - [인공지능/머신러닝] - 2-1. Linear Models for Regression
• 2021.03.29 - [인공지능/머신러닝] - 2-2. Maximum Likelihood and Least Squares

---

2. Regularized least squares

 

 

위의 그림은 ill-conditioned 에 의한 overfitting이 발생했을 때의 그래프(빨간색은 모델이 예측한 그래프, 연두색은 타겟그래프)모습이다. 이러한 overfitting을 피하기 위해 regularization term을 도입하였고, 다음과 같이 Sum-of-squares error function 과 Lambda가 coefficient인 Regularization term 으로 표현할 수 있다.

 

이때, Regularization term 에서 q=2로 두면, 앞장에서 설명한 transposed(W)*W 의 regularization term과 같아지며, 이를 L2 regularization 이라고 한다. 이렇게 regularization term 을 q에 대해 설정하는 방법을 두고 weight decay 혹은 parameter shrinkage 라고 표현하기도 한다. 

 

그 외에 overfitting을 피하기 위해서는 (1) 적절한 Lambda 값을 설정하거나, (2) 획득가능한 데이터 수를 모델의 복잡도보다 최소 10배 이상 확보하면 된다.

 

(1) 적절한 Lambda (Regularization coefficient) 의 설정

(2) 획득 데이터수의 증가

---

3. Extension to multiple outputs

마지막으로 우리는 이러한 1차원 크기의 y(x,w) 출력값을 k 차원으로 아래와 같이 확장할 수 있고, 앞서 언급한 방법과 동일하게 maximum likelihood을 이용해서 최적의 w_ML를 추정할 수 있다.

 

간단하게 예를 들면, 이전까지는 석유가격 X 에 따른 특정 A 정유사의 주식가격 t 에 대한 데이터를 가지고 향후 A 정유사 주식가격을 예측하는 모델을 설명했다면 이것을 K 차원의 출력값으로 확장시켜 A, B, C, ... K 개의 정유사의 주식가격을 한번에 예측할 수 있다.   

 

---