인공지능/머신러닝 이론 썸네일형 리스트형 5-4. Radial Basis Function(RBF) Neural Network 용어정의 Radial basis function(RBF) neural network 1. 용어정의 피드백 후 작성 예정입니다. 2. Radial basis function(RBF) neural network RBF 뉴럴네트워크는 아래의 Gaussian basis function을 이용하는 것으로, 각각의 Center 와 Width를 가지는 정규분포의 선형적 결합으로 타겟데이터의 분포를 근사하는 것이다. 따라서, RBF 뉴럴네트워크는 두 단계로 학습된다. 첫번째는 각 Basis function의 Center 와 Width 를 추정하는데, 입력데이터만 이용하기 때문에 비지도 학습이다. 두번째는 입력데이터와 타겟데이터를 이용해서 네트워크의 가중치 W를 구하며 이때는 지도 학습이다. 위의 과정은 아.. 더보기 5-3. Network Training 용어정의 Error functions Neural network parameter estimation Error backpropagation Convergence and local minima Generalization for neural network 1. 용어정의 피드백 후 추가 예정입니다. 2. Error functions 뉴럴네트워크 가중치의 학습을 위해서는 타겟데이터와 연산된 출력값 간의 오차가 최소화되도록 하는 Objective function 의 정의가 필요하며, Regression 과 Classification 문제에 따라 Objection function은 달라진다. (1) Regression 회귀(Regression) 문제는 네트워크 연산을 통해 나온 출력값 y 와 타겟데이.. 더보기 5-2. Multi-Layer Perceptron(MLP) Neural Network 용어정의 Overview of MLP Regression vs. Classification Issues for neural network construction 1. 용어정의 패드백 후 작성 예정입니다. 2. Overview of MLP Mulit-Layer Perceptron(MLP) Neural Network 는 말그대로 다수의 레이어로 구성된 네트워크로 아래의 구조와 같이 Input Layer, Hidden Layer, Output Layer 로 구성된다. MLP의 연산과정을 구체적으로 살펴보면, 다음 순서로 나타난다. (1) Input layer에서 입력된 각 데이터들은 각 노드와 노드를 연결하는 Weight를 통해 가중된다. (2) h( ) 함수를 통해 변환되어 Hidden laye.. 더보기 5-1. Introduction to Neural Networks 용어정의 Objective of supervised learning From biology to artificial neural networks Neural networks as universal function approximators 1. 용어정의 해당 페이지를 참고해주세요. 2021.03.31 - [인공지능/머신러닝 이론] - 3-4. Fisher's Linear Discriminant 2. Objective of supervised learning 지도학습(Supervised Learning)은 입력데이터 x를 학습하고자 하는 출력값 y에 근사시키도록 변환하는 함수 f(x)를 찾는 것이다. 이는 크게 두 Classification 과 Regression 두 가지로 구분할 수 있는데, .. 더보기 4-5. Projection Pursuit (PP) 용어정의 Projection pursuit (PP) 1. 용어정의 아래 페이지를 참고해주세요. 2021.04.01 - [인공지능/머신러닝] - 4-1. Multivariate Analysis : PCA (1/2) 2. Projection pursuit (PP) Projection Pursuit(PP)방법은 기존의 데이터를 더 낮은 차원으로 변환시키며, 가장 "Interesting"한 차원을 찾는 것으로 아래 그림으로 나타낼 수 있다. PP는 고차원을 갖는 데이터의 경우에 발생하는 문제인 "curse of dimensionality" 를 피할 수 있는 multivariate analysis 방법으로, 앞서 설명했던 PCA나 ICA가 이 PP의 Special Case로 속하며, noisy 혹은 .. 더보기 4-4. Factor Analysis (FA) 용어정의 Factor analysis (FA) Understanding of FA 1. 용어정의 아래 페이지를 참고해주세요. 2021.04.01 - [인공지능/머신러닝] - 4-3. Independent Component Analysis (ICA) 2. Factor analysis (FA) 관측된 데이터 X는 어떠한 상호의존적인 미지수(F)와 미소한 오차성분(ε)에 의한 선형결합으로 나타난다고 보면, 반대로 우리는 어떤 요소들이 관측데이터 X에 대해 얼마나 큰 영향을 주는지 확인할 수 있다. 예로 들면 X인 수학, 과학, 영어의 점수가 알려지지 않은 요소인 F(Common factors), 즉 I.Q, 학습시간, 학습빈도 등의 여러가지 요인과 가중치 L(Loading matrix)의 결합으로.. 더보기 4-3. Independent Component Analysis (ICA) 용어정의 Independent component analysis (ICA) 1. 용어정의 Kurtosis : 첨도, 도수분포 모양의 뽀족함 정도를 나타낸 것이다. Negentropy : 가장 큰 엔트로피를 갖는 정규분포의 엔트로피에서 특정 변수의 엔트로피를 뺀 값으로, 정규분포에서 떨어진 거리를 의미한다. Entropy : 엔트로피, 관측된 데이터나 정보의 불확실성을 나타낸 것으로 불규칙적이고 예측불가능하고 비구조화된 정보일수록 엔트로피는 더 커진다. 또한, 동일한 분산을 갖는 모든 Random Variable 중에서 Gaussian Variable 이 가장 큰 엔트로피를 가진다. 2. Independent component analysis (ICA) Independent Component .. 더보기 4-2. Multivariate Analysis : PCA (2/2) 용어정의 Multivariate analysis : PCA (2/2) Principal component analysis (PCA in details) 1. 용어정의 아래 페이지를 참고해주세요. 2021.04.01 - [인공지능/머신러닝] - 4-1. Multivariate Analysis : PCA (1/2) 2. Principal component analysis (PCA in details) 2021.04.01 - [인공지능/머신러닝] - 4-1. Multivariate Analysis : PCA (1/2) 의 글에서 소개된 PCA 알고리즘을 수식으로 하나씩 풀어나려면, 우선 데이터 X에 대한 Covariance matrix 계산이 필요하다. 기존의 입력데이터 X가 m > n인 m x .. 더보기 이전 1 2 3 4 5 다음
