5-1. Introduction to Neural Networks

---

< 목차 >

1. 용어정의
2. Objective of supervised learning
3. From biology to artificial neural networks
4. Neural networks as universal function approximators

---

1. 용어정의

해당 페이지를 참고해주세요.

• 2021.03.31 - [인공지능/머신러닝 이론] - 3-4. Fisher's Linear Discriminant

---

2. Objective of supervised learning

지도학습(Supervised Learning)은 입력데이터 x를 학습하고자 하는 출력값 y에 근사시키도록 변환하는 함수 f(x)를 찾는 것이다.

이는 크게 두 Classification 과 Regression 두 가지로 구분할 수 있는데, Classification은 출력되는 변수가 0, 1과 같이 불연속적(discrete)이며, 흔히 질병의 유/무, 스팸메일인지 아닌지 등의 참/거짓 구분을 결정지을 때 적용될 수 있다. 반면에 Regression은 출력되는 변수가 연속적(continuous)인 특징을 갖고 있으며 특정대상의 수치를 근사하게 예측하는데 적용될 수 있다. 

 

일반적으로 위의 수식에서 나타난 f(x)로 사용되는 변환 함수, 즉 Mapping function 은 아래 모델들로 구성되며, 앞서 설명되었던 Linear Discriminant 를 이어 본 내용에서는 Neural Network에 대해 기술하고자 한다.

 

• Linear Discriminant
• Neural Network (Multi-Layer Perceptron)
• Radial Basis Functions
• Support Vector Machines
• Polynomial Curve Fitting
• Genetic Algorithm
• etc.

---

3. From biology to artificial neural networks

인간의 두뇌는 수백만개의 뉴런을 통해 직관적으로 아주 빠르게 사물을 인지할 수 있다. 때문에 컴퓨터가 가진 빠른 연산속도를 이용해서 이러한 인간의 뉴런을 모사한 것이 바로 "Artificial Neural Network" 이다.

 

아래 그림을 보면 인간의 뉴런 신경전달 구조 및 과정과 이를 모방한 뉴럴 네트워크의 구조를 확인할 수 있다. 물체를 인지하는 과정이 자극신호(Input signal) 로 각 뉴런(weight)에 전달되고 경험에 의한 종합적인 판단과정(Summing junction)을 거쳐, 대상 사물을 판단하는 것이다.

 

---

4. Neural networks as universal function approximators

이론적으로 출력층을 제외한 모든 레이어에서 Sigmoid units을 사용하는 세 개의 레이어 층으로 이루어진 뉴럴 네트워크는 모든 함수를 근사할 수 있다는 특징이 있다.

 

아래 그래프는 세 개의 레이어층으로 이루어진 뉴럴 네트워크로 각 함수를 근사한 결과이다.

 

각 그래프의 함수는 50개의 데이터(파란색 점)로 이루어져 있고, 연두색, 자주색, 황토색 선은 각각의 레이어층에서 근사한 결과이며, 이를 선형적으로 합해 근사한 최종 결과는 빨간색 선이다.

 

각 그래프를 이루는 함수는 아래와 같다.

• f(x) = x^2
• f(x) = sin(x)
• f(x) = |x|
• f(x) = Heaviside step

---