퍼셉트론

Perceptron

최초의 학습이 가능한 인공신경망으로, 뉴런 연결망의 최소 단위를 본따 고안된 알고리즘이다.

다수의 입력을 받아 이분법적인 부류 중 하나를 출력하는 분류기의 형태를 띠고 있다.

퍼셉트론은 입력층과 출력층으로 구성된다. 입력층은 층의 개수에서 제외되기 때문에 층이 1개 있다고 말한다. 입력으론 d 크기의 특징 벡터와 바이어스가 주어지기 때문에 입력층은 d+1개의 노드를 갖고, 출력층은 하나의 노드만을 갖는다. 퍼셉트론은 더불어 d+1개의 가중치를 갖고 있어서 각 입력 노드들과 출력 노드간의 연결에 하나씩 할당된다.

퍼셉트론은 벡터의 각 특징마다 부여돼있는 가중치 벡터에 대한 스칼라 곱을 행하여 활성값을 구한다. 그 후 임계치1)에 따라 매개변수를 두 공간으로 나누는 활성함수에 이 활성화값을 넣어 나온 출력이 퍼셉트론의 최종 출력이 된다. 출력은 2진 형태로서 -1 또는 1로 제한된다.

스스로 학습할 수 있다는 점에서 당시엔 큰 관심을 끌었으나, 현대적 관점에서 퍼셉트론의 구조는 매우 원시적인 신경망에 불과하다. 이 구조적 한계로 비선형함수를 학습할 수 없는데, 대표적으로 XOR 연산 문제를 해결할 수 없다는 것이 있다. 이윽고 퍼셉트론을 이용한 인공신경망 연구는 빠르게 암흑기를 맞게 되었다.

MLP(Multi-Layer Perceptron)

은닉층을 가진 다층 퍼셉트론과 오류 역전파 알고리즘을 제안하여 필기 숫자 인식 같은 복잡한 분류 문제를 해결할 수 있는 신경망으로 떠올랐다.


1)
보통 0이다.