Study28 Lec 09 - XOR 문제를 풀자 이 XOR문제를 풀어보자!!! Neural Network(NN) 1개가 아니라 2개 unit을 이용하여 XOR문제를 해결해 볼것임!!!그림으로 나타내면 다음과 같은데, 이러한 애들이 있다는 가정하에 문제를 풀어서 과연 XOR문제를 풀수 있는지 보려고한다! 이걸 하나로 풀어서 XOR값이 제대로 나오는지 확인해보장. 하나의 예로 처음 (0,0) -> XOR이 0 이 되는지 보면, 정답이 나옴....ㅋㅋㅋㅋㅋㅋㅋ 간단하다 x_1,x_2의 값에 sigmoid를 적용해서 0,1로 뽑고 그걸 넣어 문제를 풀어 나가면된당. 간단데스이러한 것을 Forward propagation이라고 한다. 다시 그림으로 표현하면 다음과 같은 NN(Neural network)이 되고......(그림으로 그리기 어렵다 ㅠㅠ흐긓그흑) 이.. 2018. 5. 17. Lec 08 - 딥러닝의 기본 개념: 시작과 XOR 문제, back-propagation과 deep! AND/OR problemand/or 문제는 linear 한 선을 만들면 되기 때문에! 처음 이 두개를 성공했을때, 엄청난 발전이 있을 것으로 생각했지만,,XOR문제에 봉착한다... 같으면0, 다르면 1 되는 단순한 문제임에도 불구하고 ㅠ.ㅠ 선을 긋지못했당... 흑흑.... 이 문제를 해결하기 위해서, Backpropagation(1974, 1982 by Paul Werbos, 1986 by Hinton) 알고리즘이 개발되었당.예측값과 label의 error를 거꾸로 학습시키는 방법이당! 또다른 방법으로는 Convolutional Neural Networks(by LeCun) 알고리즘이 있다.(출처: http://www.mdpi.com/1099-4300/19/6/242) 일부분을 잘라서 layer로 보.. 2018. 5. 15. Lec 07-2 - Training/Testing data set 이제, 이 학습된 모델을 평가하는 방법을 알아보자!!!!!!! Training set을 이용하여 모델을 학습을 시키고, 다시 Training set을 가지고 물어보게 되면 100% 다 맞추겠지용? 보통은 전체 Data가 있을때, 70%는 Training set, 30% Test set로 나눈다.Training set을 이용하여 모델을 학습시키고, 학습된 모델을 Test set으로 평가한다. Training, validation and test learning rate나 regulariztion strength를 조정할 필요가 있을때, 우리는 validation을 이용하여 조정하기도 한다. Online learningmodel을 추가로 학습시키는 것을 의미 Accuracy이미 정답이 있기 때문에! 예측한 .. 2018. 5. 15. Lec 07-1 - 학습 rate, Overfitting, 그리고 일반화 (Regularization) cost function을 최소화하는 방법으로 gradient descent를 이용하는데, 이때 우리는 임의의 learning rate를 이용했당. 학습을 잘 하게 하려면! learning rate를 잘 조정해야한다. learning rate는 하나의 step으로 보는데,1. step을 크게 조정하면 overshooting(계속 큰값으로 발산)이 나타난다.2. step을 엄청나게 작게 조정하면, 최소값에 도달하는데 너무나 오래걸리게 된다. 이 두가지를 피하기 위해선(잘 조정하기 위해서는) cost function을 계속 출력시켜서 값이 어떻게 변화하는지 관찰(?)해야한다.(보통 0.01으로 설정한다.. 여기에서 값을 보고 잘 맞추길..) Data preprocessingdata 값에 큰 차이가 생기게 되.. 2018. 5. 15. Lec 06 - Softmax Regression: 기본 개념 소개 및 cost 함수 Lec 06-1 - Softmax Regression: 기본 개념 소개 아래와 같은 ABC를 분류한다고 생각해 보자! 3개의 Binary Classification을 가지고 구현이 가능하다 이를 Y/N로 나타내면 되기 때문에, 우리는 Sigmoid를 이용하여 0~1사이의 값을 받아 분류할 수 있다. 실제 계산으로 나타내면, 아래 그림과 같아진다. 이처럼, 하나의 값이 아니라 A,B,C의 벡터 값으로 나오게 된다. 이제 우리는 0~1사이의 값으로 p(확률)값으로 나오게 바꿀 것이다!!!!!! 이를 하기 위해서 필요한 것은 softmax인데, Softmax를 이용하면, 각 확률로 나오게 되고! 이를 ONE-HOT encoding(tensorflow에서는 argmax)을 이용하여 제일 큰 값을 1로, 나머지를.. 2018. 5. 14. Lec 05-2 - Logistic Regression의 cost 함수 가설을 알아봤으니 ,다음으로 Cost를 알아보자! 가설이 sigmoid function을 이용하여 0~1사이의 값이 나오도록 하였기 때문에, 매끈한 모양이 아닌, 울퉁불퉁한 모양이 나타나게 된다. 출처: https://sebastianraschka.com/faq/docs/logisticregr-neuralnet.html 이렇게 된다면, 어디를 시작점으로 잡느냐에 따라서 최소점이 달라질 수 있다. 우리는 전체에서의 Global minimum을 찾고자 하는 것인데, local minimum에서 멈춰버릴 수도 있다. 이렇게 되면, 예측이 나빠지기 때문에, 우리는 더이상Gradient를 사용할수가 없다 ㅠㅠ 이제 새로운 Cost function이 필요해!!!!! 2가지 경우로 나누어 결정한다. (log를 사용하.. 2018. 5. 2. 이전 1 2 3 4 5 다음
