선형회귀 썸네일형 리스트형 2-6. Overfitting and Condition Number 용어정의 Overfitting and condition number Example of underfitting and overfitting 1. 용어정의 - 아래 페이지를 참고해주세요. 2021.03.26 - [인공지능/머신러닝] - 2-1. Linear Models for Regression 2. Overfitting and condition number 2021.03.29 - [인공지능/머신러닝] - 2-5. Singular Value Decomposition(SVD) 에서 언급한 조건수(Condition Number)의 개념을 이해한 상태로 overfitting 문제에 접근하면, 우선 maximum likelihood로 구한 최적의 w_ML은 아래와 같이 Moore-Penrose Pse.. 더보기 2-4. Bias vs. Variance 용어정의 Bias vs. Variance 1. 용어정의 Bias : 실제값에 대한 추정값의 오차 Variance : 측정값의 퍼짐정도 2. Bias vs. Variance 앞에서 언급한 overfitting을 방지하기 위해 Error functions에 regularization term을 도입하였고, 이때 lambda 라는 적절한 regularization coefficient 의 설정이 필요하다. 따라서 본 내용에서는 최적의 λ 를 어떻게 찾는지에 대해 Bias 와 Variance를 이용하여 설명한다. y-t 를 최소화하는 예측모델링을 할 때, 다음 Noise, Variance, Bias 의 세 가지 요소가 존재한다. (1) Noise 수집데이터(주황색 점)들은 기대값(연두색 선) E[t.. 더보기 2-3. Regularized Least Squares 용어정의 Regularized least squares Extension to multiple outputs 1. 용어정의 - 아래페이지의 용어정의를 참고해주세요. 2021.03.26 - [인공지능/머신러닝] - 2-1. Linear Models for Regression 2021.03.29 - [인공지능/머신러닝] - 2-2. Maximum Likelihood and Least Squares 2. Regularized least squares 위의 그림은 ill-conditioned 에 의한 overfitting이 발생했을 때의 그래프(빨간색은 모델이 예측한 그래프, 연두색은 타겟그래프)모습이다. 이러한 overfitting을 피하기 위해 regularization term을 도입하였고, .. 더보기 2-2. Maximum Likelihood and Least Squares 용어정의 Maximum likelihood and least squares 1. 용어정의 특이값 (Singular value) : 특이값 분해할때 계산할 수 있으며, 이는 행렬을 대각화하는 방법으로 두 개의 직교행렬과 대각행렬을 얻을 수 있으며 이때 대각행렬이 포함하는 값을 특이값이라고 부른다. 2. Maximum likelihood and least squares 앞장에서 Curve fitting 문제에 대해 Maximum Likelihood 방법을 이용해 최적의 w와 β를 추정한 것처럼, 본 내용에서는 Linear basis function model에서 어떻게 w를 추정하고, 이것이 기존의 Least squares approach와 어떻게 연관있는지 확인할 수있다. 타겟 t를 deter.. 더보기 2-1. Linear Models for Regression 용어정의 Linear basis funcion models 1. 용어정의 선형 회귀 (Linear regression) : X 와 Y 혹은 t 와의 선형 상관 관계를 모델링하는 분석 기법 선형 / 비선형 (Linear / non-linear) : 선형은 1차 함수의 형태로 직선형을 나타내며, 비선형은 2차 이상의 다항식 혹은 여러 함수가 결합된 형태이다. 유일해 (Unique solution) : 방정식의 해를 근사할 때, 무수히 많은 해를 가지지 않고 하나의 해만 갖는 경우를 일컫는다. 2. Linear Basis Function Models Linear basis function model은 선형 회귀(Linear regression model)이라고도 불리며, 다음 예제로 설명될 수 있.. 더보기 이전 1 다음
