최적화 썸네일형 리스트형 5-3. Network Training 용어정의 Error functions Neural network parameter estimation Error backpropagation Convergence and local minima Generalization for neural network 1. 용어정의 피드백 후 추가 예정입니다. 2. Error functions 뉴럴네트워크 가중치의 학습을 위해서는 타겟데이터와 연산된 출력값 간의 오차가 최소화되도록 하는 Objective function 의 정의가 필요하며, Regression 과 Classification 문제에 따라 Objection function은 달라진다. (1) Regression 회귀(Regression) 문제는 네트워크 연산을 통해 나온 출력값 y 와 타겟데이.. 더보기 5-2. Multi-Layer Perceptron(MLP) Neural Network 용어정의 Overview of MLP Regression vs. Classification Issues for neural network construction 1. 용어정의 패드백 후 작성 예정입니다. 2. Overview of MLP Mulit-Layer Perceptron(MLP) Neural Network 는 말그대로 다수의 레이어로 구성된 네트워크로 아래의 구조와 같이 Input Layer, Hidden Layer, Output Layer 로 구성된다. MLP의 연산과정을 구체적으로 살펴보면, 다음 순서로 나타난다. (1) Input layer에서 입력된 각 데이터들은 각 노드와 노드를 연결하는 Weight를 통해 가중된다. (2) h( ) 함수를 통해 변환되어 Hidden laye.. 더보기 2-3. Regularized Least Squares 용어정의 Regularized least squares Extension to multiple outputs 1. 용어정의 - 아래페이지의 용어정의를 참고해주세요. 2021.03.26 - [인공지능/머신러닝] - 2-1. Linear Models for Regression 2021.03.29 - [인공지능/머신러닝] - 2-2. Maximum Likelihood and Least Squares 2. Regularized least squares 위의 그림은 ill-conditioned 에 의한 overfitting이 발생했을 때의 그래프(빨간색은 모델이 예측한 그래프, 연두색은 타겟그래프)모습이다. 이러한 overfitting을 피하기 위해 regularization term을 도입하였고, .. 더보기 2-2. Maximum Likelihood and Least Squares 용어정의 Maximum likelihood and least squares 1. 용어정의 특이값 (Singular value) : 특이값 분해할때 계산할 수 있으며, 이는 행렬을 대각화하는 방법으로 두 개의 직교행렬과 대각행렬을 얻을 수 있으며 이때 대각행렬이 포함하는 값을 특이값이라고 부른다. 2. Maximum likelihood and least squares 앞장에서 Curve fitting 문제에 대해 Maximum Likelihood 방법을 이용해 최적의 w와 β를 추정한 것처럼, 본 내용에서는 Linear basis function model에서 어떻게 w를 추정하고, 이것이 기존의 Least squares approach와 어떻게 연관있는지 확인할 수있다. 타겟 t를 deter.. 더보기 이전 1 다음
