인공지능/머신러닝 이론 썸네일형 리스트형 4-1. Multivariate Analysis : PCA (1/2) 용어정의 Multivariate analysis : PCA (1/2) Introduction Principal component analysis (PCA) 1. 용어정의 Orthonormal : 서로 직교하며, 그 크기가 1인 두 벡터간의 성질을 말함 2. Introduction 여러 개의 종속 변수를 동시에 분석하는 방법인 다변량분석(Multivariate analysis) 는 'Linear Transform Methods'으로 Transformation matrix를 통해 아래의 경우에 활용할 수 있다. 3. Principal component analysis (PCA) 주성분 분석이라고 하며, 데이터를 분산이 가장 큰 부분을 기준으로 하는 새로운 축을 찾는 것이다. 아래 그림과 같이 기.. 더보기 3-9. Iterative Reweighted Least Squares 용어정의 Iterative reweighted least squares 1. 용어정의 Closed-form solution : 무한하지 않는 미지수를 이용한 닫힌 형식의 표현을 뜻하며, 재현성이 있으며 한번의 연산으로 해를 도출할 수 있다. 2. Iterative reweighted least squares 앞서 언급한 Regression 의 경우에는 데이터가 정규분포를 띄고 있다는 가정으로 인해 closed-form solution이 가능하여 한번의 계산으로 최적의 w를 결정할 수 있다. 하지만, Classification 의 경우에는 Logistic sigmoid function의 비선형성으로 인해 closed-form solution이 성립하지 않아 Convex한 Error functi.. 더보기 3-8. Logistic Regression 용어정의 Logistic regression 1. 용어정의 아래 페이지를 참고해주세요. 2021.03.31 - [인공지능/머신러닝] - 3-2. Discriminant Functions 2. Logistic regression Logistic sigmoid function이라고도 불리며, σ(.)를 사용하여 p(C_k|x)의 선형 모델을 비선형적으로 Mapping 하는 것이다. 정규분포를 가정한 Class-conditional density의 경우 두 개의 클래스에 대한 평균 2*M와 Covariance matrix 의 M(M+1)/2 개의 미지수를 결정해야 하기 때문에 계산이 더 복잡한 반면, D 차원의 입력데이터를 임의 M 차원으로 변경하여 M 개의 미지수만 결정하면 된다는 장점이 있다... 더보기 3-7. Linear Basis Function Model 용어정의 Linear basis function model Polynomial basis function Gaussian basis function Sigmoid basis function 1. 용어정의 Bimodal distribution : 두 가지의 분포를 가지고 있는 데이터의 분포 2. Linear basis function model 지금까지 선형 모델에 대해 Decision boundary를 결정하는 방법을 배웠고, 실제로는 비선형 형태의 Decision boundary를 결정해야 하는 Classification 문제들이 존재하기 때문에 본 내용에서 살펴보고자 한다. 비선형 모델은 Basis function을 이용하여 D 차원크기를 갖는 x 를 임의의 M 차원크기로 Mapping .. 더보기 3-6. Estimation of the Class-Conditional & Prior Probabilities 용어정의 Estimation of the class-conditional & prior probabilities 1. 용어정의 아래 페이지를 참고해주세요. 2021.03.31 - [분류 전체보기] - 3-5. Probabilistic Generative Models 2. Estimation of the class-conditional & prior probabilities 만약 Class-conditional densities인 p(x|C_k)의 분포를 가정할 수 있다면, p(C_k)에 대한 Prior probabilities 과 함께 필요한 매개 변수를 결정할 수 있다. 예로 들어, 두개 클래스를 갖는 Classification 에서 각각의 클래스가 정규 분포를 갖는 Class-condit.. 더보기 3-5. Probabilistic Generative Models 용어정의 Probabilistic generative models 1. 용어정의 아래 페이지를 참고해주세요. 2021.03.31 - [인공지능/머신러닝] - 3-4. Fisher's Linear Discriminant 2. Probabilistic generative models 앞장에서 언급했던 Generative model은 Class-conditional density function인 p(x|Ck) 와 Class prior probability인 p(Ck) 를 계산하고, 베이지안 이론을 통해 Posterior probability 인 p(Ck|x)를 계산한다. 이는 두 클래스를 갖는 Classification Problems에서 Sigmoid Function로 표현될 수 있다. 또한,.. 더보기 3-4. Fisher's Linear Discriminant 용어정의 Fisher's linear discriminant 1. 용어정의 Central limit theorem : 상호독립적인 랜덤데이터 수(N>30)가 증가할수록 데이터의 분포는 점차 정규분포를 따른다는 이론 2. Fisher's linear discriminant Fisher's Linear Discriminant Analysis(LDA)라고도 하며, 데이터를 가장 잘 분류할 수 있는 평면을 찾아내어 해당 평면으로 데이터를 사영(Projection)시켜 차원을 축소하는 방법이다. Fisher에 의해 제안된 평면은 데이터의 클래스간 중첩되는 영역을 최소화하는 것으로, 이는 클래스간 평균을 최대화하고 각각의 클래스 내부에 분산를 최소화하는 평면을 말한다. 해당 기준(Fisher crite.. 더보기 3-3. Least Squares for Computing 'w' 용어정의 Least squares for computing 'w' 1. 용어정의 One hot encoding : 카테고리 변수로 되어있는 데이터를 0과 1로 이루어진 이진수로 변환하며, 벡터의 크기를 늘려서 클래스 개수만큼 늘려서 표현하는 방식 Trace : 행렬의 모든 대각성분들의 합 2. Least squares for computing 'w' 두 개 이상의 클래스를 갖는 Classification Problems 은 아래와 같은 Linear model로 간단히 표현될 수 있다. 이때 하나의 입력데이터 x 가 (D x 1)차원을 갖고 타겟값인 y가 (K x 1)차원을 갖는다고 가정하면, W는 (D x K) 차원의 매트릭스를 갖고 같은 조건으로 N개의 입력데이터 X로, y를 N개의 T로 .. 더보기 이전 1 2 3 4 5 다음
