Lec 06 - Softmax Regression: 기본 개념 소개 및 cost 함수

Lec 06-1 - Softmax Regression: 기본 개념 소개

아래와 같은 ABC를 분류한다고 생각해 보자!

3개의 Binary Classification을 가지고 구현이 가능하다

이를 Y/N로 나타내면 되기 때문에, 우리는 Sigmoid를 이용하여 0~1사이의 값을 받아 분류할 수 있다.

실제 계산으로 나타내면, 아래 그림과 같아진다.

이처럼, 하나의 값이 아니라 A,B,C의 벡터 값으로 나오게 된다.

이제 우리는 0~1사이의 값으로 p(확률)값으로 나오게 바꿀 것이다!!!!!! 이를 하기 위해서 필요한 것은 softmax인데,

Softmax를 이용하면, 각 확률로 나오게 되고! 이를 ONE-HOT encoding(tensorflow에서는 argmax)을 이용하여 제일 큰 값을 1로, 나머지를 0으로 바꿔주면 된다!

이렇게 되면, 이제 예측한 값과 실제의 값이 얼마나 차이는 cost function을 설계해야한다. 그리고 이 cost function을 최소화 함으로써 우리의 학습을 마쳐야 하는뎅

여기에서는 Cross entropy를 이용한다.

Cross-entropy cost function!

Cross-entropy를 살펴보장!

식을 다시 정리하면, 아래와같이 나타나는데 우리가 주목해야되는것은 빨간 부분이다.

(출처: 구글 에서 검색하면 쉽게 그래프를 구할수있당...)

여러개가 나올경우 다음과 같이 계산하면된다 ( i(dataset)의 평균)

이 그림은 우리의 Logistic cost function 에서 봤었당

그럼이제, cost function의 최소값 W를 gradient descent 알고리즘을 사용하여 찾으면 된다! 2만 뿅