본문 바로가기
  • 紹睿: 자유롭고 더불어 사는 가치있는 삶
Lec 07-1 - 학습 rate, Overfitting, 그리고 일반화 (Regularization) cost function을 최소화하는 방법으로 gradient descent를 이용하는데, 이때 우리는 임의의 learning rate를 이용했당. 학습을 잘 하게 하려면! learning rate를 잘 조정해야한다. learning rate는 하나의 step으로 보는데,1. step을 크게 조정하면 overshooting(계속 큰값으로 발산)이 나타난다.2. step을 엄청나게 작게 조정하면, 최소값에 도달하는데 너무나 오래걸리게 된다. 이 두가지를 피하기 위해선(잘 조정하기 위해서는) cost function을 계속 출력시켜서 값이 어떻게 변화하는지 관찰(?)해야한다.(보통 0.01으로 설정한다.. 여기에서 값을 보고 잘 맞추길..) Data preprocessingdata 값에 큰 차이가 생기게 되.. 2018. 5. 15.
Lec 06 - Softmax Regression: 기본 개념 소개 및 cost 함수 Lec 06-1 - Softmax Regression: 기본 개념 소개 아래와 같은 ABC를 분류한다고 생각해 보자! 3개의 Binary Classification을 가지고 구현이 가능하다 이를 Y/N로 나타내면 되기 때문에, 우리는 Sigmoid를 이용하여 0~1사이의 값을 받아 분류할 수 있다. 실제 계산으로 나타내면, 아래 그림과 같아진다. 이처럼, 하나의 값이 아니라 A,B,C의 벡터 값으로 나오게 된다. 이제 우리는 0~1사이의 값으로 p(확률)값으로 나오게 바꿀 것이다!!!!!! 이를 하기 위해서 필요한 것은 softmax인데, Softmax를 이용하면, 각 확률로 나오게 되고! 이를 ONE-HOT encoding(tensorflow에서는 argmax)을 이용하여 제일 큰 값을 1로, 나머지를.. 2018. 5. 14.
Lec 05-2 - Logistic Regression의 cost 함수 가설을 알아봤으니 ,다음으로 Cost를 알아보자! 가설이 sigmoid function을 이용하여 0~1사이의 값이 나오도록 하였기 때문에, 매끈한 모양이 아닌, 울퉁불퉁한 모양이 나타나게 된다. 출처: https://sebastianraschka.com/faq/docs/logisticregr-neuralnet.html 이렇게 된다면, 어디를 시작점으로 잡느냐에 따라서 최소점이 달라질 수 있다. 우리는 전체에서의 Global minimum을 찾고자 하는 것인데, local minimum에서 멈춰버릴 수도 있다. 이렇게 되면, 예측이 나빠지기 때문에, 우리는 더이상Gradient를 사용할수가 없다 ㅠㅠ 이제 새로운 Cost function이 필요해!!!!! 2가지 경우로 나누어 결정한다. (log를 사용하.. 2018. 5. 2.
Lec 05 - Logistic Classification의 가설 함수 정의 Lec 05 - Logistic Classification의 가설 함수 정의 들어가기전, Linear regression에 대해 다시 복습해보자. Hypothesis: H(X) = WXCost: 학습데이터와 실제 가설을 세운 선이 얼마나 가깝고 먼지 측정(차이)의 평균 Weigth값을 찾는것Gradient decent: (learning rate: 한발자국에 얼마나 움직이는가) 오늘은 Binary Classification을 배운당.Classfication은 spam email 감지, facebook feed 등과 같은데에서 이용한다.원래 사용하던 패턴등을 파악하는데 사용하고 활용된다. Binary는 0,1(맞다, 아니다)로 나뉘는 경우를 말하는데 spam(1) / Ham(0)show(1) / hide(.. 2018. 5. 2.
Lec 04 - multi-variable linear regression multi-variable linear regression 여러개의 inputs이 있을때, 예를 들어서 퀴즈1, 퀴즈2, 중간 점수를 가지고 마지막 기말고사 점수를 예측하는 경우를 생각해보자! 이럴경우, Hypothesis는 아래와 같고 (x1=퀴즈1, x2=퀴즈2, x3=중간점수, y = 기말고사) Cost function또한 다음과 같다. n개의 inputs이 있다면 다음과 같아지는데, 수식이 점점 길게 늘어지기 때문에 우리는 Matrix multiplication을 사용한다!!!!!!!!! 실제 data에서 살펴볼 경우, 데이터가 한개만 존재할 수도 있지만, 여러개 (n)개가 존재할 수도 있다!!!각 data를 instance라고 불리우는데 아래와 같이 있다고 가정해 보자. 이런 경우, Matrix.. 2018. 4. 25.
Lec 03 - Linear Regression의 cost 최소화 알고리즘의 원리 설명 cost 최소화 하자! 먼저 설명을 쉽게 하기 위하여 가설을 아래와 같이 생각해 보자. cost function도 간략하게 아래와 같아진다. 이 값의 최소화 하는 값을 어떻게 구해야 할까? 다음과 같은 data가 있을때, x y 1 1 2 2 3 3 1. W= 1일때, cost(W)는 얼마일까? (1*1-1)^2 + (1*2-2)^2 + (1*3 - 3)^2/3 = 02. W=0 일때,(0*1-1)^2 + (0*2-2)^2 + (0*3 -3)^2/3 = 4.673. W=2 일때, (2*1-1)^2 + (2*2-2)^2 + (2*3-3)^2/3 = 4.67 W= 3일때, .....1000일때 등등등 대충 엑셀로 그려보니까, 0이 가장작은 값이 되는 이런 모양이 되었다. 우리는 가장 작은 W를 찾아야 하는데.. 2018. 4. 23.
Lec 02 - Linear Regression 의 Hypothesis와 Cost 설명 Linear Regression Linear Regression은, 먼저 Linear라는 가정이 있어야 한다. 이는 '공부한 시간이 많으면 성적이 높다', '아파트가 비싸면 좋을 것이다' 등등..과 같다. 우리는 주어진 data를 설명할 수 있는(?) 알맞는 선을 결정해야하며, 이 선을 찾는 것이 학습을 하는 것이다. 또한, 어떠한 선이 data를 잘 표현해 내는가, 까지 찾아야한다. 선(모델, 가설)이 좋은가를 알기 위해서는 실제 data와 선과의 거리를 측정하는 cost(loss) function을 계산해야하는데, 예측값과 실제값을 단순히 빼는을 생각할 수 있지만, 차이가 -,+로 나타나 계산하기 애매하다.따라서, 으로 나타내고 이렇게 되면 패널티를 더 받기 때문에, 학습은 더 잘된다! cost값은 .. 2018. 4. 23.
통계분석개론 :: 통계분석방법 차이 검정1) 2집단: t-test- one sample- lndependent기존약/신규약 -> 효과- Paired전/후 -> 변화량같은 group 내에서 2) 3집단 이상: ANOVA- one wayindependent sample t-test의 확장- two way두 group을 따로따로 t-test에서 둘을 혼합둘의 상호작용이 있는 경우! 연관성을 찾기 위해서 사용- repeated measured시간이 3개 이상인 경우paired sample t-test의 확장- two way repeated measured ( 가장많이 사용함) : two-way + repeated measured실험군/대조군 -> 통증실험전/실험후 3) t-test VS ANOVA- 3집단을 t-test: 1:2 1:3 2:.. 2018. 3. 28.
통계분석개론 :: 평균과 표준편차 평균(Mean) 일반적으로 산술평균이 가장 널리 쓰인다. - 가중평균(Weighted Mean)예) 기말/중간 고사중간고사가 70%, 기말고사가 30% 들어간다고 했을때, 평균 - 기하평균(Geometric Mean)합이 아닌 곱이 쓰이는 경우 예) 물가상승률과 같이 변화하는 비율을 나타낼때 사용년도 자본금 증가율 2010 100 2011 200 2배 2012 1600 8배 매년 평균 자본금의 평균 증가율은? 1) 산술평균 2) 기하평균 산술평균일 때는 평균 5배 증가이기 때문에, 100 -> 500 -> 2500 맞지 않는다.이럴때는, 기하평균을 이용하여야 하는 것이 맞다! - 조화평균(Harmonic Mean)평균 속도를 계산하거나 여러단위가 결합되었을 때 사용 예) Akm를 갈때는 시속 4km 올때.. 2018. 3. 28.

티스토리툴바