Lec 03 - Linear Regression의 cost 최소화 알고리즘의 원리 설명

cost 최소화 하자!

---

먼저 설명을 쉽게 하기 위하여 가설을 아래와 같이 생각해 보자.

 

cost function도 간략하게 아래와 같아진다.

이 값의 최소화 하는 값을 어떻게 구해야 할까?

다음과 같은 data가 있을때, 

x	y
1	1
2	2
3	3

1. W= 1일때, cost(W)는 얼마일까?

(1*1-1)^2 + (1*2-2)^2 + (1*3 - 3)^2/3 = 0

2. W=0 일때,

(0*1-1)^2 + (0*2-2)^2 + (0*3 -3)^2/3 = 4.67

3. W=2 일때, 

(2*1-1)^2 + (2*2-2)^2 + (2*3-3)^2/3 = 4.67

W= 3일때, .....1000일때 등등등

대충 엑셀로 그려보니까, 0이 가장작은 값이 되는 이런 모양이 되었다.

우리는 가장 작은 W를 찾아야 하는데!

가장 작은 W를 찾는 알고리즘은 Gradient descent algorithm가 있다.

---

경사를 따라 내려가는 알고리즘 Gradient descent algorithm

---

- 어느 지점에서 시작하든지 간에 경사도를 따라서 작은 값으로 내려가게 된다.

시작 지점에서 W값을 조금씩 바꿔가면서 가장 작은 cost(W,b)값을 찾아간다.

이를 미분하면, 아래와 같다고 한다.

 

우리는 Convex function이기 때문에, 항상 최소한 값을 얻을 수 있기 때문에, Gradient descent algorithm이 유요하다! 항상 고려해야한다.

* https://en.wikipedia.org/wiki/Convex_function