Study28 [모델 성능 평가 척도] Confusion matrix / Learning curve / ROC curve 모델 성능 평가 척도1. Confusion matrix 예측값 Y(positive) N(negative) 실제값 Y TP(true positive) FN(false negative) N FP(false positive) TN(true negative)실제값: 데이터의 실제 카테고리예측값: 모델이 예측한 데이터의 카테고리1) Accuracy(정확도)TP + TN / TP+FN+FP+TN한계 : - 2class 문제에서 class yes에 해당하는 데이터는 9900건, class no에 해당하는 데이터는 100건이 존재할 경우모델이 모든 데이터를 class yes로 예측할 경우, class no를 예측하지 못했음에도 불구하고 정확도는 높게 나타난다.2) Precision(정밀도)Precision(p) = T.. 2018. 7. 9. [데이터 분석] 데이터 셋의 구성과 검증 방법 1. 데이터 셋 구성 1) Training set: 모델 훈련에 사용하는 데이터 셋2) Validation set: 모델 훈련에 적절한 지점을 찾기 위한 셋 (overfitting/underfitting을 방지) 3) Test set: 모델 성능을 평가하기 위해 사용하는 데이터 셋 2. 데이터 셋 구성을 통한 검증 방법1) Holdout: 1-1) Training set + Test set = 7 : 31-2) Training set이 작으면 모델 정확도의 분산이 커진다.1-3) Training set이 커지면 Test set으로 부터 측정한 정확도의 신뢰도 하락1-4) 단점을 극복하기 위해 hold out을 반복적으로 실행 (Random subsampling)2) Random subsampling:Ho.. 2018. 7. 9. Lec 11-1,2 : ConvNet의 Conv 레이어 만들기 / max pooling과 full network Convolutional Network ConvNet은 아래와 같이 구성된다. Image를 하나의 입력으로 받는 것이 아니라, 이미지의 일부분씩 처리한다. 그 일부분을 Filter라고 하는데, Filter를 걸치게 되면 하나의 값을 뽑아내게 된다. Filter는 Wx+b를 이용해서 하나의 값으로 나타내게 된다. (Weight에 따라 결정되게 되겠다.)Filter에서는 W값이 변하지 않는! 똑같은 값을 가지고 옆으로 넘기면서 하나의 값들을 뽑아내게 된다. 예를 들어서 - 7x7x3 image가 3x3x3 filter를 걸치면, 5x5 output이 나오게 된다.(Stride 1)- Stride2의 경우는 3x3 output output의 사이즈는 NxN의 image에서 Filter FxF 라고 할때,(N-.. 2018. 5. 28. Lec10-4: 레고처럼 네트웍 모듈을 쌓기! 여태까지 network를 layer를 쭉 쌓아서 구성했는데, 다양한 방법으로 나타낼 수 있다. 1. Fast forward(2015) 결과값을 2단 뒤에 또 붙힐수있고, 2. Split & Merge 나눴다가 다시 합칠수도 있고, - convolutional network 출처: https://medium.com/@RaghavPrabhu/understanding-of-convolutional-neural-network-cnn-deep-learning-99760835f148 4. Recurrent Network 옆으로도 나갈 수도 있다. 출처: https://cdn-images-1.medium.com/max/1600/0*WdbXF_e8kZI1R5nQ.png unit을 ㅋㅋㅋ 다양한 형태로 구성할 수 있다!.. 2018. 5. 28. Lec10-2, 3: Weight 초기화 잘해보자/ Dropout, model 앙상블 여태까지 우리 초기화를 random(-1~1)으로 두고 학습을 시켰다. 먼저, weigth 초기값을 0으로 두자! chain rule 사용시 weigth가 사용되는데, 이렇게 되면 계속 기울기가 다 0이 되어버린다.왜 weigth 초기값이 중요한지 알겠는가! gradient가 사라져 버렷! 그러면 weight 초기값을 어떻게 주어야 될까? 2006년, "A Fast Learning Algorithm for Deep Belief Nets" 에서는 Restricted Boatman Machine(RBM)이 사용 된다. RBM STRUCTURE 먼저, Forward로 weight를 구해본다!그 다음,Backward로 x hat값을 구해본다! 그러면, 앞 forward의 x값과 backward의 x hat값이 .. 2018. 5. 23. Lec 10-1: Sigmoid 보다 ReLU가 더 좋아 NN for XOR 앞에서 우리는 activation function으로 sigmoid 를 썼다.(activation function은 일정이상값이 되면 activation이 되도록 하는 거기 때문에 activation function이라고 부른당.) Vanishing gradientbackpropgation은 vanishing gradient 문제를 가지고 있당. 2~3단 까지는 괜찮았지만, ㅠㅠ sigmoid는 1보다 작은 값을 항상 내놓기 때문에 layer가 많아 지면 많아질 수록 input에 대해 0.00000......이런식으로 값이 작아져 결과에 미치는 영향이 작아져버린다. 출처: http://cfile4.uf.tistory.com/image/22293C50579F7BBF1331FA 그래서 s.. 2018. 5. 23. 이전 1 2 3 4 5 다음
