본문 바로가기

분류 전체보기

4-1. Multivariate Analysis : PCA (1/2) 용어정의 Multivariate analysis : PCA (1/2) Introduction Principal component analysis (PCA) 1. 용어정의 Orthonormal : 서로 직교하며, 그 크기가 1인 두 벡터간의 성질을 말함 2. Introduction 여러 개의 종속 변수를 동시에 분석하는 방법인 다변량분석(Multivariate analysis) 는 'Linear Transform Methods'으로 Transformation matrix를 통해 아래의 경우에 활용할 수 있다. 3. Principal component analysis (PCA) 주성분 분석이라고 하며, 데이터를 분산이 가장 큰 부분을 기준으로 하는 새로운 축을 찾는 것이다. 아래 그림과 같이 기.. 더보기
프랭클린 자서전 데일카네기의 인관관계론, 자기관리론과 함께 반드시 읽어야 할 자기계발 서적 중 하나라고 어디선가(?) 들어서 구매한 책이다. 이 책은 미국인들이 가장 존경하는 인물이며, '미국건국의 아버지' 중 한 명으로 100달러지폐에 그려진 그의 일대기 일부를 기록한 것으로 존 비글로(John Bigelow)가 편집한 을 한글로 번역한 것이다. 책에서 그는 "절제, 침묵, 질서, 결단, 절약, 근면, 진실, 정의, 중용, 청결, 평정, 순결, 겸손"이라는 13가지 가치관을 가지고 부나 어떠한 권위의 추구보다도 인격적 완성을 꿈꾸고 지켜왔으며, 가난한 초년기에 비록 정규교육은 받지못했지만 철저한 자기관리로 성공을 일꾼 사람으로, 지혜가 지식보다 귀하다는 진리와 끊임없는 성실함이 가진 것 없는 사람들의 성공을 보장한다고.. 더보기
코세라 머신러닝 기초수학 수료 #3 코세라에서 제공하는 "Mathematics for Machine Learning" 전문분야 강좌인 선형대수(Linear Algebra), 다변수 미분(Multivariate Calculus), PCA(Principal Component Analysis) 의 중 세번째인 PCA에 관한 과목을 이수하였고, 이로써 전문과정을 수료하게 되었다. 앞서 글과 마찬가지로 머신러닝을 공부해왔었기 때문에 어렵지않게 강의를 듣고 문제를 풀 수 있었다. 다만 PCA가 수업이나 문제의 난이도가 가장 높았고, 문제를 풀며 꽤 오랜 시간이 소요되었다. 이 강좌에서 배우는 내용은 다음과 같다. 평균, 분산, 공분산의 의미와 활용 내적(Inner produ.. 더보기
코세라 머신러닝 기초수학 수료 #2 코세라에서 제공하는 "Mathematics for Machine Learning" 전문과정 강좌인 선형대수(Linear Algebra), 다변수 미분(Multivariate Calculus), PCA(Principal Component Analysis) 의 중 두번째인 다변수 미분에 관한 과목을 이수하였다. 앞서 글과 마찬가지로 미분에 관련된 내용이라 어렵지않게 강의를 듣고 빠르게 문제를 풀 수 있었다. 이 강좌에서 배우는 내용은 다음과 같다. Chain rule 을 이용한 편미분 Jacobian, Hessian 매트릭스의 이용 단층 뉴럴네트워크의 역전파과정 계산원리 이해 Taylor Series.. 더보기
3-9. Iterative Reweighted Least Squares 용어정의 Iterative reweighted least squares 1. 용어정의 Closed-form solution : 무한하지 않는 미지수를 이용한 닫힌 형식의 표현을 뜻하며, 재현성이 있으며 한번의 연산으로 해를 도출할 수 있다. 2. Iterative reweighted least squares 앞서 언급한 Regression 의 경우에는 데이터가 정규분포를 띄고 있다는 가정으로 인해 closed-form solution이 가능하여 한번의 계산으로 최적의 w를 결정할 수 있다. 하지만, Classification 의 경우에는 Logistic sigmoid function의 비선형성으로 인해 closed-form solution이 성립하지 않아 Convex한 Error functi.. 더보기
3-8. Logistic Regression 용어정의 Logistic regression 1. 용어정의 아래 페이지를 참고해주세요. 2021.03.31 - [인공지능/머신러닝] - 3-2. Discriminant Functions 2. Logistic regression Logistic sigmoid function이라고도 불리며, σ(.)를 사용하여 p(C_k|x)의 선형 모델을 비선형적으로 Mapping 하는 것이다. 정규분포를 가정한 Class-conditional density의 경우 두 개의 클래스에 대한 평균 2*M와 Covariance matrix 의 M(M+1)/2 개의 미지수를 결정해야 하기 때문에 계산이 더 복잡한 반면, D 차원의 입력데이터를 임의 M 차원으로 변경하여 M 개의 미지수만 결정하면 된다는 장점이 있다... 더보기
3-7. Linear Basis Function Model 용어정의 Linear basis function model Polynomial basis function Gaussian basis function Sigmoid basis function 1. 용어정의 Bimodal distribution : 두 가지의 분포를 가지고 있는 데이터의 분포 2. Linear basis function model 지금까지 선형 모델에 대해 Decision boundary를 결정하는 방법을 배웠고, 실제로는 비선형 형태의 Decision boundary를 결정해야 하는 Classification 문제들이 존재하기 때문에 본 내용에서 살펴보고자 한다. 비선형 모델은 Basis function을 이용하여 D 차원크기를 갖는 x 를 임의의 M 차원크기로 Mapping .. 더보기
3-6. Estimation of the Class-Conditional & Prior Probabilities 용어정의 Estimation of the class-conditional & prior probabilities 1. 용어정의 아래 페이지를 참고해주세요. 2021.03.31 - [분류 전체보기] - 3-5. Probabilistic Generative Models 2. Estimation of the class-conditional & prior probabilities 만약 Class-conditional densities인 p(x|C_k)의 분포를 가정할 수 있다면, p(C_k)에 대한 Prior probabilities 과 함께 필요한 매개 변수를 결정할 수 있다. 예로 들어, 두개 클래스를 갖는 Classification 에서 각각의 클래스가 정규 분포를 갖는 Class-condit.. 더보기
728x90
반응형

티스토리툴바