인공지능/머신러닝 이론 썸네일형 리스트형 7-3. EM algorithm for Gaussian Mixtures 용어정의 Mixtures of Gaussians EM algorithm for Gaussian mixtures Comparison of EM algorithms 1. 용어정의 피드백 후 작성예정입니다. 2. Mixtures of Gaussians 가우시안 혼합 분포(Mixtures of Gaussians)은 복수의 가우시안 분포들의 선형 결합으로 실제데이터의 분포를 근사하는 방법으로 아래와 같은 그림으로 표현할 수 있다. 이는 아래 오른쪽 그림과 같이, 단일 가우시안 분포를 통해 데이터 분포를 표현하기엔 한계가 존재하고 복수의 혼합 분포를 사용해서 더 정확하게 표현할 수 있기 때문에 유용하게 사용되는 방법이다. 즉, 가우시안 혼합분포를 나타내기 위해서는 잠재변수(Latent variable).. 더보기 7-2. EM algorithm for K-means clustering 용어정의 EM algorithm for K-means clustering 1. 용어정의 피드백 후 작성예정입니다. 2. EM algorithm for K-means clustering D 크기의 차원을 가진 N개의 데이터가 있다고 가정하면, K-means Clustering은 이 데이터들의 분포를 K개의 집단으로 나누는 것이다. K개의 집단으로 구분하기 위해, 데이터셋에 대한 "Distortion measure" 를 구하고 이를 최소화하는데 여기서 "Distortion measure"는 아래의 수식으로 계산된다. 여기서 μ_k 는 K번째 Cluster에 관한 평균이고, r_nk는 n번째 데이터가 K 번째 Cluster에 존재하면 '1'의 값을 갖고 아닐 경우 '0'의 값을 갖는다. 결국, E.. 더보기 7-1. Mixture Models and Expectation-Maximization(EM) Algorithm 용어정의 Introduction 1. 용어정의 피드백 후 작성예정입니다. 2. Introduction 혼합모델(Mixture model)은 복잡한 확률분포를 알아내는데 활용할 수 있을 분만 아니라, 유사한 분포를 갖는 데이터들끼리 그룹화(Clustering) 하는데도 사용할 수 있다. 이러한 혼합모델의 추정은 아래와 같이 복잡하게 얽혀있는 관측데이터들 사이의 관계를 파악하는데 보다 직관적으로 확인할 수 있다. 따라서, 앞으로 작성될 7장의 내용에서는 Expectation-Maximization (EM)이라는 Two-step 알고리즘을 통해서 데이터들을 그룹화하고, 가우시안 혼합 분포에 적용하는 대표적 방법들을 설명한다. 더보기 6-4. Classification of a new data point 용어정의 Classification of a new data point 1. 용어정의 피드백 후 작성예정입니다. 2. Classification of a new data point 2021.04.05 - [인공지능/머신러닝 이론] - 6-3. Quadratic Optimization Problem 의 서포트 벡터 머신내용에 이어서, 서포트 벡터 머신으로 학습된 모델을 가지고 새로운 입력데이터를 제대로 분류하기 위해, 출력함수 y의 부호는 '＜0' 혹은 '0' 으로 나타나며 해당하는 클래스로 구분된다. 이때 위의 전개과정에서 구한 'w'를 y에 관한 함수에 대입하여, 다음과 같이 y에 관해 새롭게 전개할 수 있다. 또한 앞의 글에서 소개된 KKT 조건을 만족하기 위해서는 모든 데이터에 관해 a.. 더보기 6-3. Quadratic Optimization Problem 용어정의 Quadratic optimization problem Solving a constrained optimization using Lagrange multipliers Comparison between the primal and dual problems 1. 용어정의 Lagrange multiplier : 라그랑주 승수법, 제한조건이 있는 최적화 문제를 풀기 위한 방법으로 제한조건 내에서 주어진 함수의 극댓값과 극솟값을 찾는 것이다. 2. Quadratic optimization problem 2-1. Solving a constrained optimization using Lagrange multipliers ||w||에 관한 2차 최적화 문제는 위에서 주어진 constraint를 .. 더보기 6-2. Margin of Support Vector Machine(SVM) 용어정의 Margin of support vector machine(SVM) Classification of the perpendicular distnace to the decision surface Classification of margin Simplification of margin 1. 용어정의 피드백 후 작성예정입니다. 2. Margin 2-1. Calculation of the perpendicular distance to the decision surface SVM에서 Margin의 개념은 굉장히 중요하기 때문에 수식전개를 통해 깊이있게 이해할 필요가 있다. 임의의 'x_A'와 'x_B'라는 데이터가 Decision boundary인 y(x) 위에 있다고 가정할 경우, 아래의 조.. 더보기 6-1. Overview of Support Vector Machine(SVM) 용어정의 Overview of support vector machine(SVM) 1. 용어정의 피드백 후 작성예정입니다. 2. Overview of support vector machine(SVM) Support Vector Machine (SVM)은 각 클래스 간의 거리를 최대화할 수 있는 초평면(Hyperplane)을 찾는 feed-forward networks 중 하나이며, Outlier의 영향을 받지않고 네트워크의 Generalization을 향상시킬 수 있다. 또한, SVM은 데이터가 입력공간에서 비선형적으로 존재할 때, Non-linear mapping function 을 이용해서 더 높은 차원으로 데이터를 변환하여 분류할 수 있다. 이때 Non-linear mapping func.. 더보기 5-5. Introduction to Support Vector Machines(SVM) 용어정의 Introduction to support vector machines (SVM) 1. 용어정의 피드백 후 작성예정입니다. 2. Introduction to support vector machines (SVM) 서포트벡터머신, 즉 SVM은 MLP와 마찬가지로 데이터를 구분짓을 수 있는 선형 초평면(Hyperplane)을 찾아내는 것으로, Support vector라는 데이터만 이용하여 최적의 초평면을 결정하여 MLP보다 Generalization 을 향상시킬 수 있다. Support vector는 임의의 초평면에 가장 근접해있는 데이터들을 의미하는 것으로, Support vector 클래스간의 거리를 최대로 하는 최적의 초명편(Optimal hyperplane)을 찾아낸다. 이때, .. 더보기 이전 1 2 3 4 5 다음
