3-9. Iterative Reweighted Least Squares

---

< 목차 >

1. 용어정의
2. Iterative reweighted least squares

---

1. 용어정의

• Closed-form solution : 무한하지 않는 미지수를 이용한 닫힌 형식의 표현을 뜻하며, 재현성이 있으며 한번의 연산으로 해를 도출할 수 있다.

---

2. Iterative reweighted least squares

앞서 언급한 Regression 의 경우에는 데이터가 정규분포를 띄고 있다는 가정으로 인해 closed-form solution이 가능하여 한번의 계산으로 최적의 w를 결정할 수 있다.

 

하지만, Classification 의 경우에는 Logistic sigmoid function의 비선형성으로 인해 closed-form solution이 성립하지 않아 Convex한 Error function에서 Global minimum을 갖는 w를 반복적으로 연산하여 결정해야 한다. 

 

이렇게 반복하여 w를 찾는 방법을 'Newton-Raphson Scheme' 혹은 'Iteratvie Reweighted Least Squares' 라고 한다. 이 방법은 아래의 그림으로 이해하기 쉽게 표현될 수 있고, 해당 x 위치에서 기울기만큼 내려가 새로운 위치 x_new를 만들고 x_new에 대한 함수가 0이 되도록 반복적으로 탐색하는 것이다.

 

동일한 방식으로 x를 w로, f(x) 를 Error function인 E(w)로, w에 대해 미분한 E(w)를 H로 생각해본다면, 아래와 같이 수식을 나타낼 수 있다.

 

 

여기서 H, Z, R 이 의미하는 것은 아래와 같다.

 

 

이때, R 이 포함하는 요소들은 아래 수식을 통해 타겟데이터 t 의 분산임을 확인할 수 있다.

 

 

아래 정리된 수식과 지금까지 배웠던 내용을 살펴보면, 예측 모델의 분산이 클수록 R이 큰 값을 가지며 1/R이 작게되어 w가 적은 가중치을 갖도록 하고 반대로, 분산이 작을수록 R이 작은 값을 가지고 1/R이 큰 값을 갖게되어 w에 큰 가중치을 준다.

 

이러한 이유로 매번 w를 연산할 때마다 R 값을 계산하고, 계산된 R 값을 토대로 다시 w 에 대한 가중치를 둠으로써, 이러한 방법을 Iterative Reweighted Least Squares(IRLS) 라고 한다.

 

 

---