패턴인식 썸네일형 리스트형 2-6. Overfitting and Condition Number 용어정의 Overfitting and condition number Example of underfitting and overfitting 1. 용어정의 - 아래 페이지를 참고해주세요. 2021.03.26 - [인공지능/머신러닝] - 2-1. Linear Models for Regression 2. Overfitting and condition number 2021.03.29 - [인공지능/머신러닝] - 2-5. Singular Value Decomposition(SVD) 에서 언급한 조건수(Condition Number)의 개념을 이해한 상태로 overfitting 문제에 접근하면, 우선 maximum likelihood로 구한 최적의 w_ML은 아래와 같이 Moore-Penrose Pse.. 더보기 2-5. Singular Value Decomposition(SVD) 용어정의 Singular value decomposition(SVD) 1. 용어정의 특이값 (Singular value) : 특이값 분해할때 계산할 수 있으며, 이는 행렬을 대각화하는 방법으로 두 개의 직교행렬과 대각행렬을 얻을 수 있으며 이때 대각행렬이 포함하는 값을 특이값이라고 부른다. 2. Singular value decomposition(SVD) 특이값 분해라고 하며, 이는 크기가 다른 m x n차원 행렬을 m차원과 n차원의 정사각형 행렬로 분해하는 것이다. 이 개념은 대상 행렬의 ill-conditioned 을 확인하는데 필수적이며, overfitting이 발생하는 원인을 이해할 수 있다. 특이값분해를 수식으로 나타내면 다음과 같다. 여기서 ∑행렬은 왼쪽과 오른쪽에 있는 U와 V행.. 더보기 2-4. Bias vs. Variance 용어정의 Bias vs. Variance 1. 용어정의 Bias : 실제값에 대한 추정값의 오차 Variance : 측정값의 퍼짐정도 2. Bias vs. Variance 앞에서 언급한 overfitting을 방지하기 위해 Error functions에 regularization term을 도입하였고, 이때 lambda 라는 적절한 regularization coefficient 의 설정이 필요하다. 따라서 본 내용에서는 최적의 λ 를 어떻게 찾는지에 대해 Bias 와 Variance를 이용하여 설명한다. y-t 를 최소화하는 예측모델링을 할 때, 다음 Noise, Variance, Bias 의 세 가지 요소가 존재한다. (1) Noise 수집데이터(주황색 점)들은 기대값(연두색 선) E[t.. 더보기 2-3. Regularized Least Squares 용어정의 Regularized least squares Extension to multiple outputs 1. 용어정의 - 아래페이지의 용어정의를 참고해주세요. 2021.03.26 - [인공지능/머신러닝] - 2-1. Linear Models for Regression 2021.03.29 - [인공지능/머신러닝] - 2-2. Maximum Likelihood and Least Squares 2. Regularized least squares 위의 그림은 ill-conditioned 에 의한 overfitting이 발생했을 때의 그래프(빨간색은 모델이 예측한 그래프, 연두색은 타겟그래프)모습이다. 이러한 overfitting을 피하기 위해 regularization term을 도입하였고, .. 더보기 2-2. Maximum Likelihood and Least Squares 용어정의 Maximum likelihood and least squares 1. 용어정의 특이값 (Singular value) : 특이값 분해할때 계산할 수 있으며, 이는 행렬을 대각화하는 방법으로 두 개의 직교행렬과 대각행렬을 얻을 수 있으며 이때 대각행렬이 포함하는 값을 특이값이라고 부른다. 2. Maximum likelihood and least squares 앞장에서 Curve fitting 문제에 대해 Maximum Likelihood 방법을 이용해 최적의 w와 β를 추정한 것처럼, 본 내용에서는 Linear basis function model에서 어떻게 w를 추정하고, 이것이 기존의 Least squares approach와 어떻게 연관있는지 확인할 수있다. 타겟 t를 deter.. 더보기 2-1. Linear Models for Regression 용어정의 Linear basis funcion models 1. 용어정의 선형 회귀 (Linear regression) : X 와 Y 혹은 t 와의 선형 상관 관계를 모델링하는 분석 기법 선형 / 비선형 (Linear / non-linear) : 선형은 1차 함수의 형태로 직선형을 나타내며, 비선형은 2차 이상의 다항식 혹은 여러 함수가 결합된 형태이다. 유일해 (Unique solution) : 방정식의 해를 근사할 때, 무수히 많은 해를 가지지 않고 하나의 해만 갖는 경우를 일컫는다. 2. Linear Basis Function Models Linear basis function model은 선형 회귀(Linear regression model)이라고도 불리며, 다음 예제로 설명될 수 있.. 더보기 1-6. Advantage of having the Posterior Probability 용어정의 Advantage of having the posterior probability 1. 용어정의 - 아래페이지의 용어정의를 참고해주세요. 2021.03.25 - [인공지능/머신러닝] - 4. Decision Theory 2. Advantages of having the posterior probability 2021.03.26 - [인공지능/머신러닝] - 5. Introduction to Classification Problems 에 이어서, Posterior probability 에 관한 정보를 얻는 것은 다음과 같은 장점이 있다. Type l error, type ll error 에 가중치를 준 Loss matrix를 사용하여 decision을 쉽게 변경하고 적용할 수 있다. 실.. 더보기 1-5. Introduction to Classification Problems 용어정의 Classification problems Generative model Discriminative model Discriminant model 1. 용어정의 - 아래페이지의 용어정의를 참고해주세요. 2021.03.25 - [인공지능/머신러닝] - 4. Decision Theory 2. Classification problems 분류문제에서 사용되는 확률모델은 개념적으로 아래 세 가지로 나뉜다. 2-1. Generative model Generative model은 위 수식의 오른쪽 부분을 추정(estimate)하는 것으로, 클래스 조건에 대한 확률밀도함수(class-conditional density function)과 prior class probability P(c)를 추정한 .. 더보기 이전 1 2 3 4 5 6 다음
