Study/모두를 위한 딥러닝 시즌114 Lec 11-1,2 : ConvNet의 Conv 레이어 만들기 / max pooling과 full network Convolutional Network ConvNet은 아래와 같이 구성된다. Image를 하나의 입력으로 받는 것이 아니라, 이미지의 일부분씩 처리한다. 그 일부분을 Filter라고 하는데, Filter를 걸치게 되면 하나의 값을 뽑아내게 된다. Filter는 Wx+b를 이용해서 하나의 값으로 나타내게 된다. (Weight에 따라 결정되게 되겠다.)Filter에서는 W값이 변하지 않는! 똑같은 값을 가지고 옆으로 넘기면서 하나의 값들을 뽑아내게 된다. 예를 들어서 - 7x7x3 image가 3x3x3 filter를 걸치면, 5x5 output이 나오게 된다.(Stride 1)- Stride2의 경우는 3x3 output output의 사이즈는 NxN의 image에서 Filter FxF 라고 할때,(N-.. 2018. 5. 28. Lec10-4: 레고처럼 네트웍 모듈을 쌓기! 여태까지 network를 layer를 쭉 쌓아서 구성했는데, 다양한 방법으로 나타낼 수 있다. 1. Fast forward(2015) 결과값을 2단 뒤에 또 붙힐수있고, 2. Split & Merge 나눴다가 다시 합칠수도 있고, - convolutional network 출처: https://medium.com/@RaghavPrabhu/understanding-of-convolutional-neural-network-cnn-deep-learning-99760835f148 4. Recurrent Network 옆으로도 나갈 수도 있다. 출처: https://cdn-images-1.medium.com/max/1600/0*WdbXF_e8kZI1R5nQ.png unit을 ㅋㅋㅋ 다양한 형태로 구성할 수 있다!.. 2018. 5. 28. Lec10-2, 3: Weight 초기화 잘해보자/ Dropout, model 앙상블 여태까지 우리 초기화를 random(-1~1)으로 두고 학습을 시켰다. 먼저, weigth 초기값을 0으로 두자! chain rule 사용시 weigth가 사용되는데, 이렇게 되면 계속 기울기가 다 0이 되어버린다.왜 weigth 초기값이 중요한지 알겠는가! gradient가 사라져 버렷! 그러면 weight 초기값을 어떻게 주어야 될까? 2006년, "A Fast Learning Algorithm for Deep Belief Nets" 에서는 Restricted Boatman Machine(RBM)이 사용 된다. RBM STRUCTURE 먼저, Forward로 weight를 구해본다!그 다음,Backward로 x hat값을 구해본다! 그러면, 앞 forward의 x값과 backward의 x hat값이 .. 2018. 5. 23. Lec 10-1: Sigmoid 보다 ReLU가 더 좋아 NN for XOR 앞에서 우리는 activation function으로 sigmoid 를 썼다.(activation function은 일정이상값이 되면 activation이 되도록 하는 거기 때문에 activation function이라고 부른당.) Vanishing gradientbackpropgation은 vanishing gradient 문제를 가지고 있당. 2~3단 까지는 괜찮았지만, ㅠㅠ sigmoid는 1보다 작은 값을 항상 내놓기 때문에 layer가 많아 지면 많아질 수록 input에 대해 0.00000......이런식으로 값이 작아져 결과에 미치는 영향이 작아져버린다. 출처: http://cfile4.uf.tistory.com/image/22293C50579F7BBF1331FA 그래서 s.. 2018. 5. 23. Lec 09 - XOR 문제를 풀자 이 XOR문제를 풀어보자!!! Neural Network(NN) 1개가 아니라 2개 unit을 이용하여 XOR문제를 해결해 볼것임!!!그림으로 나타내면 다음과 같은데, 이러한 애들이 있다는 가정하에 문제를 풀어서 과연 XOR문제를 풀수 있는지 보려고한다! 이걸 하나로 풀어서 XOR값이 제대로 나오는지 확인해보장. 하나의 예로 처음 (0,0) -> XOR이 0 이 되는지 보면, 정답이 나옴....ㅋㅋㅋㅋㅋㅋㅋ 간단하다 x_1,x_2의 값에 sigmoid를 적용해서 0,1로 뽑고 그걸 넣어 문제를 풀어 나가면된당. 간단데스이러한 것을 Forward propagation이라고 한다. 다시 그림으로 표현하면 다음과 같은 NN(Neural network)이 되고......(그림으로 그리기 어렵다 ㅠㅠ흐긓그흑) 이.. 2018. 5. 17. Lec 08 - 딥러닝의 기본 개념: 시작과 XOR 문제, back-propagation과 deep! AND/OR problemand/or 문제는 linear 한 선을 만들면 되기 때문에! 처음 이 두개를 성공했을때, 엄청난 발전이 있을 것으로 생각했지만,,XOR문제에 봉착한다... 같으면0, 다르면 1 되는 단순한 문제임에도 불구하고 ㅠ.ㅠ 선을 긋지못했당... 흑흑.... 이 문제를 해결하기 위해서, Backpropagation(1974, 1982 by Paul Werbos, 1986 by Hinton) 알고리즘이 개발되었당.예측값과 label의 error를 거꾸로 학습시키는 방법이당! 또다른 방법으로는 Convolutional Neural Networks(by LeCun) 알고리즘이 있다.(출처: http://www.mdpi.com/1099-4300/19/6/242) 일부분을 잘라서 layer로 보.. 2018. 5. 15. 이전 1 2 3 다음
