Lec 08 - 딥러닝의 기본 개념: 시작과 XOR 문제, back-propagation과 deep!

AND/OR problem

and/or 문제는 linear 한 선을 만들면 되기 때문에! 처음 이 두개를 성공했을때, 엄청난 발전이 있을 것으로 생각했지만,,

XOR문제에 봉착한다... 같으면0, 다르면 1 되는 단순한 문제임에도 불구하고 ㅠ.ㅠ 선을 긋지못했당... 흑흑....

이 문제를 해결하기 위해서, Backpropagation(1974, 1982 by Paul Werbos, 1986 by Hinton) 알고리즘이 개발되었당.

예측값과 label의 error를 거꾸로 학습시키는 방법이당!

또다른 방법으로는 Convolutional Neural Networks(by LeCun) 알고리즘이 있다.

(출처: http://www.mdpi.com/1099-4300/19/6/242)

일부분을 잘라서 layer로 보내어 나중에 합치는 방법!

하지만, 또다른 문제에 봉착된당...

Backpropagation이 작은 layer들에서는 학습이 잘되는데, 많은 layer를 학습할때 뒤로  error를 보낼때, 의미가 ㅠ.ㅠ ......없어져버려서.. 학습이 잘 되지 않는 것이당...

그래서 다른 형태의 알고리즘 SVM, RandomForest 등이 나타나게 된당.

이 문제를 어떻게 해결 되었을까!!!!!!!!!!!

Breakthrogh(2006, 2007 by Hinton and Bengio)

- 처음 초기값을 잘 주면, 학습할 수 있다!!!!

- 깊은 신경망을 구축하면 문제들을 풀수 있다!!!! -> "Deep Nets", "Deep Learning"

Deep Learning의 출현으로

image, speech, nlp, game 등....... alphaGo.. 추천시스템 등등등 엄청나게 발전발전 하시게 된당.