인공 신경망 (1)

인공신경망(ANN)의 등장 배경

 

  인공신경망 아이디어의 시초는 컴퓨터가 발명되던 시기인 1940년대까지 거슬러 올라간다. 인공 신경망에 대한 개념은 McCulloch, Warren S, and Walter Pitts가 1943년에 발표한 “A logical calculus of the ideas immanent in nervous activity”라는 제목의 논문에서 최초로 제안되었다.

  인공신경망은 생물학적 신경망(Biological Neural Networks)에서 아이디어를 얻었다. 인간의 뇌에 대한 연구가 발전하면서 인간의 뇌는 여러 개의 신경세포(뉴런)가 서로 연결되어 있고, 이들이 병렬적으로 연산을 진행하면서 정보를 처리한다는 사실이 발견되었다.

  이에 반해 컴퓨터는 메모리에서 값을 불러와서 CPU에서 순차적으로 연산을 처리한다. 즉, 컴퓨터는 순차 처리 연산기라고 할 수 있다. 컴퓨터는 단순한 덧셈 계산 등 기초 연산은 인간보다 월등히 뛰어난 능력으로 수행할 수 있다. 그러나 인간이 간단히 수행해내는 물체 인식이나 음성 인식 등 기초적인 인지활동을 잘 해내지 못하는 문제점이 있다.

  이에 기반해서 초기 인공신경망 연구자들은 “컴퓨터도 인간의 뇌처럼 내량의 병렬 처리 연산을 수행하도록 만들면 컴퓨터도 인간이 쉽게 할 수 있는 인지 행동을 할 수 있지 않을까?” 라는 아이디어로부터 초기 인공신경망 구조를 디자인하였다.

 

퍼셉트론(Perceptron)

 

- 퍼셉트론은 생물학적 뉴런을 공학적인 구조로 변형한 그림이다.

- 퍼셉트론은 입력층(Input Layer in(t)과 출력층(Output Layer out(t)을 가지고 있다.

- 퍼셉트론은 입력층에서 인풋 데이터 X를 받고, 이를 가중치 W와 곱한 후, 이 값에 바이어서 b를 더한다. 이 값을 활성 함수 σ의 입력값으로 대입해서 출력층은 최종적으로 0 또는 1의 값을 출력한다.

 

퍼셉트론의 동작 과정을 수학적으로 표현하면 다음과 같다.

 

y = σ(Wx+b)

 

여기서 σ는 활성 함수를 나타낸다. 퍼셉트론을 활성 함수로 계단 함수를 사용해서 값이 0보다 크면 1, 0보다 작으면 0을 출력한다.

 

즉 퍼셉트론은 입력값을 받으면 2개의 출력값 중 하나를 출력해내는 선형 이진분류기이다.

 

 

퍼셉트론의 한계

 

  퍼셉트론은 단순한 선형분류기에 불과하여, 따라서 간단한 XOR문제(선형 분리가 불가능한 문제)도 해결할 수 없다는 사실을 수학적으로 증명하면서 인기가 급속히 사그라들었다. 하지만 퍼셉트론은 최초로 인공신경망 개념을 공학적인 구조로 구현했다는 점에서 큰 의미가 있는 모델이다.