머신러닝의 역사

출처: 라온피플 아카데미 블로그

태동기- 1934년, Mrcolloch와 Pitts는 산술연산과 논리연산을 수행할 수 있는 간단한 신경망에 기초한 연산 모델(computational model)을 만들고 이를 발표하였으며,

이 논문은 이후의 Neural Network에 많은 영향을 주었다.

1949년, 심리학자인 Hebb는 "The Organization Behavior"라는 책을 발표하였고,

뉴런의 시냅스에 기반한 학습의 법칙(learning low)을 발표했고 이를 그의 이름을 따, Hebbian Learning 이라고 추후에 부르기 시작했다.

황금기- 1950년대와 60년대는 신경망의 황금기로 불린다.

1951년 Minsky는 Snark라는 이름을 갖는 neurocomputer를 개발했으며, 가중치(weight)를 자동으로 조절할 수가 있었다. 하지만 실제로 구현이 되지는 못했다.

1957년 Rosenblatt는 신경망에서 흔히 사용되는 “perceptron”이라는 용어 및 알고리즘을 개발했고, 후에 Rosenblatt는 perceptron에 기반한 최초의 성공적인 Neuro-Computer를 개발했으며, 이것을 패턴 인식 분야에 적용하였다.

이 perceptron이 많은 일을 할 수 있을 것으로 전망이 되었지만, 얼마 안돼 제한이 많이 있음이 밝혀졌다. Single layer perceptron는 선형적으로 분리된 가능한 패턴은 인식할 수 있지만, 복잡한 패턴은 2개 혹은 그 이상의 layer를 갖는 신경망(multi-layer) 신경망에서 가능하다는 것이 1969년 Minsky에 의해 증명된다.

오늘날 perceptron은 한 쪽 혹은 다른 쪽에 속하는 것을 결정할 수 있는 binary classifier에 대한 기초 학습 알고리즘의 개념으로 사용이 되고 있다.

또한 Minsky는 perceptron은 XOR을 학습할 수 없다는 XOR problem을 밝혀내 결국, 이것은 신경망에 대한 관심이 멀어지게 만드는 계기가 되었다.

긴 침묵기- 1970년대에 들어서면서 연구비에 대한 지원이 줄고,
학회도 거의 없어지면서 논문이 출간되는 횟수도 크게 줄어들게 된다.
하지만, 개별적으로 신경망에 대한 연구는 지속이 되었으며,
독자적으로 신경망에 대한 패러다임을 발전시켰다.

그리고 이 시기의 연구들은 80년대 후반 르네상스 시대의 밑거름이 된다.

1976년 Grossberg는 많은 논문을 발표했으며,
그의 연구는 후에 Carpenter에 의해 ART(Adaptive resonance theory)로 발전을 하게 된다.

1982년 Kohonen은 Kohonen map이라고도 알려진 SOM(self-organization feature map)을 발표했다.
또한 Hopfield는 Hopfield 망을 발표하였다.

후에 SOM과 ART를 통하여 신경망을 자율학습(unsupervised learning) 분야에 적용을 할 수 있게 된다.

르네상스기- 1982년과 1984년에 저명한 물리학자 Hopfield는

널리 읽히는 신경망 관련 논문 2편을 발표하였으며,

전세계를 돌면서 강의를 통해 신경망에 대한 연구를 활성화 시키기를 촉구한다.

이는 많은 연구자들이 다시 신경망에 관심을 갖게 되는 계기가 되었다.

1986년, Rumelhart와 Hinton이 드디어 그 유명한 back-propagation 알고리즘을 발표하면서

신경망은 많은 문제들을 풀 수 있게 되었다.

1987년에는 최초로 신경망에 대한 국제 conference가 열리게 되고,

그 다음 해에는 신경망에 대한 국제 journal이 만들어지게 되었다.

1995년 LeCun과 Bengio는 CNN(Convolutional Neural Network)을 발표한다.

CNN을 이용하여 local invariant feature를 쉽게 추출이 가능하고,

기존 신경망의 많은 문제점을 극복할 수 있게 되었다.

뿐만 아니라, 이미지 인식 분야에서 탁월한 성능을 얻을 수 있게 되었다.

하지만 신경망이 갖는 복잡도나 적절한 hyper-parameter 설정이 없이는
좋은 결과를 기대할 수도 없고, 좋은 hyper-parameter 설정을 경험적인 방법에 많이 의지해야 하는 어려움이 있었다.

이로 인해 기계학습 분야에서 SVM(Support Vector Machine)이나
이것보다 훨씬 간단한 linear classifier 같은 알고리즘에 신경망이 점차 뒤로 밀리는 분위기가 되었다.

하지만, 2000년대 후반부터 부각된 딥러닝(deep learning) 때문에 다시 한번 신경망 연구에 불이 붙게 된다.

요약: 산술 연산과 논리 연산을 수행하는 간단한 신경망은 뉴런과 시냅스에 기반한 학습 법칙을 통해 발전하여, 뉴로컴퓨터에서 가중치를 자동으로 조절할 수 있게 되었습니다. 퍼셉트론은 패턴 인식 분야에 적용되었지만 선형적인 패턴만 인식할 수 있다는 한계로 인해 연구 지원이 줄어들었습니다. 이후 SOM(Self-Organizing Map)과 ART(Adaptive Resonance Theory)를 통해 자율 학습 분야의 적용 기반이 마련되었습니다. 역전파 알고리즘의 발표로 이미지 분야에도 신경망이 적용 가능해졌으며, 딥러닝의 발전으로 신경망 연구가 다시 활발해졌습니다.