본문 바로가기
  • 紹睿: 자유롭고 더불어 사는 가치있는 삶

Study/모두를 위한 딥러닝 시즌114

Lec 07-2 - Training/Testing data set 이제, 이 학습된 모델을 평가하는 방법을 알아보자!!!!!!! Training set을 이용하여 모델을 학습을 시키고, 다시 Training set을 가지고 물어보게 되면 100% 다 맞추겠지용? 보통은 전체 Data가 있을때, 70%는 Training set, 30% Test set로 나눈다.Training set을 이용하여 모델을 학습시키고, 학습된 모델을 Test set으로 평가한다. Training, validation and test learning rate나 regulariztion strength를 조정할 필요가 있을때, 우리는 validation을 이용하여 조정하기도 한다. Online learningmodel을 추가로 학습시키는 것을 의미 Accuracy이미 정답이 있기 때문에! 예측한 .. 2018. 5. 15.
Lec 07-1 - 학습 rate, Overfitting, 그리고 일반화 (Regularization) cost function을 최소화하는 방법으로 gradient descent를 이용하는데, 이때 우리는 임의의 learning rate를 이용했당. 학습을 잘 하게 하려면! learning rate를 잘 조정해야한다. learning rate는 하나의 step으로 보는데,1. step을 크게 조정하면 overshooting(계속 큰값으로 발산)이 나타난다.2. step을 엄청나게 작게 조정하면, 최소값에 도달하는데 너무나 오래걸리게 된다. 이 두가지를 피하기 위해선(잘 조정하기 위해서는) cost function을 계속 출력시켜서 값이 어떻게 변화하는지 관찰(?)해야한다.(보통 0.01으로 설정한다.. 여기에서 값을 보고 잘 맞추길..) Data preprocessingdata 값에 큰 차이가 생기게 되.. 2018. 5. 15.
Lec 06 - Softmax Regression: 기본 개념 소개 및 cost 함수 Lec 06-1 - Softmax Regression: 기본 개념 소개 아래와 같은 ABC를 분류한다고 생각해 보자! 3개의 Binary Classification을 가지고 구현이 가능하다 이를 Y/N로 나타내면 되기 때문에, 우리는 Sigmoid를 이용하여 0~1사이의 값을 받아 분류할 수 있다. 실제 계산으로 나타내면, 아래 그림과 같아진다. 이처럼, 하나의 값이 아니라 A,B,C의 벡터 값으로 나오게 된다. 이제 우리는 0~1사이의 값으로 p(확률)값으로 나오게 바꿀 것이다!!!!!! 이를 하기 위해서 필요한 것은 softmax인데, Softmax를 이용하면, 각 확률로 나오게 되고! 이를 ONE-HOT encoding(tensorflow에서는 argmax)을 이용하여 제일 큰 값을 1로, 나머지를.. 2018. 5. 14.
Lec 05-2 - Logistic Regression의 cost 함수 가설을 알아봤으니 ,다음으로 Cost를 알아보자! 가설이 sigmoid function을 이용하여 0~1사이의 값이 나오도록 하였기 때문에, 매끈한 모양이 아닌, 울퉁불퉁한 모양이 나타나게 된다. 출처: https://sebastianraschka.com/faq/docs/logisticregr-neuralnet.html 이렇게 된다면, 어디를 시작점으로 잡느냐에 따라서 최소점이 달라질 수 있다. 우리는 전체에서의 Global minimum을 찾고자 하는 것인데, local minimum에서 멈춰버릴 수도 있다. 이렇게 되면, 예측이 나빠지기 때문에, 우리는 더이상Gradient를 사용할수가 없다 ㅠㅠ 이제 새로운 Cost function이 필요해!!!!! 2가지 경우로 나누어 결정한다. (log를 사용하.. 2018. 5. 2.
Lec 05 - Logistic Classification의 가설 함수 정의 Lec 05 - Logistic Classification의 가설 함수 정의 들어가기전, Linear regression에 대해 다시 복습해보자. Hypothesis: H(X) = WXCost: 학습데이터와 실제 가설을 세운 선이 얼마나 가깝고 먼지 측정(차이)의 평균 Weigth값을 찾는것Gradient decent: (learning rate: 한발자국에 얼마나 움직이는가) 오늘은 Binary Classification을 배운당.Classfication은 spam email 감지, facebook feed 등과 같은데에서 이용한다.원래 사용하던 패턴등을 파악하는데 사용하고 활용된다. Binary는 0,1(맞다, 아니다)로 나뉘는 경우를 말하는데 spam(1) / Ham(0)show(1) / hide(.. 2018. 5. 2.
Lec 04 - multi-variable linear regression multi-variable linear regression 여러개의 inputs이 있을때, 예를 들어서 퀴즈1, 퀴즈2, 중간 점수를 가지고 마지막 기말고사 점수를 예측하는 경우를 생각해보자! 이럴경우, Hypothesis는 아래와 같고 (x1=퀴즈1, x2=퀴즈2, x3=중간점수, y = 기말고사) Cost function또한 다음과 같다. n개의 inputs이 있다면 다음과 같아지는데, 수식이 점점 길게 늘어지기 때문에 우리는 Matrix multiplication을 사용한다!!!!!!!!! 실제 data에서 살펴볼 경우, 데이터가 한개만 존재할 수도 있지만, 여러개 (n)개가 존재할 수도 있다!!!각 data를 instance라고 불리우는데 아래와 같이 있다고 가정해 보자. 이런 경우, Matrix.. 2018. 4. 25.

티스토리툴바