Data/데이터 분석·통계20 [(빅)데이터 교육] 데이터 분석의 기초 - 데이터 분석 개요 데이터 분석의 기초 (1) 데이터 분석 개요 - 한국데이터베이스진흥원데이터의 시대 Datafication분석이란 무엇인가?결정을 내리고 행동에 옮기기 위해 데이터, 통계 분석과 계량 분석, 설명 모델과 예측모델 등을 폭넓게 활용하는 것 빅데이터 시대의 통계적 사고기술의 융합, 측정의 혁명적 변화, 미래의 의사결정에 관한 관점 혹은 철학 -Steve Lohr, NYT 모집단과 표본빅데이터 시대에도 모집단과 표본이라는 개념이 필요한가?우리가 모든 데이터를 가지고 있다면 왜 표본을 추출해야하는가? 표본 추출은 분석의 난제를 일부 해결한다. 편의(bias)데이터로부터 발견한 어떠한 추론도 해당 사용자 집단 또는 어떤 특정한 날의 사용자들 이외의 다른 사람들에 대한 일반화된 결론으로 확대하는 것을 경계 표본추출표.. 2018. 6. 21. [(빅)데이터 분석] 데이터 분석의 이해 - 기계학습의 이해 및 데이터 분석 사례 기계학습의 이해 - What is the Machine Learning?1. Supervised Learning - Input Target 의 pair: 이산형 - ClassificationSVMk-NNNaive BayesDecision TreeRandom ForestLogistic RegressionNeural Network: 연속형 - RegressionLinear Regressionk-NNSVMRandom Forest2. Unsupervised Learning- 자율학습 input만: Clusterk-MeansHierarchical clusteringPCA(Principal Component Analysis)Neural Network: AssociationApriori3. reinforcement .. 2018. 6. 20. [(빅)데이터 교육] 데이터 분석의 이해 - 데이터 분석 방법론 (2) 데이터 분석 방법론 (2) - BIGDATA ACADEMY (한국데이터베이스진흥원)Data Preparing phase EDA(Exploratory Data Analysis)데이터를 있는 그대로 보고 탐색해가기1. Resistance2. Residual3. Re-expression4. Visualization Box plot - 데이터가 말하고자 하는 것을 이해하기 CDA(Confirmatory Data Analysis)유의성 검정/ 신뢰구간 추정 -> 통계적 Data Governance란?전사 차원의 데이터에 대한 정책, 지힘, 표준화 전략을 수집하고 이를 관리하기 위한 조직과 프로세스를 확립, 기업의 가치 창출을 지원하는 체계1. Data 품질관리2. Data 구조관리3. Data 관리 체계=> 데이.. 2018. 6. 20. [(빅)데이터 교육] 데이터 분석의 이해 - 데이터 분석 방법론 데이터분석에 관하여 공부할 기회가 생겼는데, 이왕 할꺼 열심히 해보려고 한다! 데이터 분석 방법론 - BIGDATA ACADEMY (한국데이터베이스진흥원)방법론(Methodology) 개개인의 역량과 경험에 의존하지 않고 누가 수행하던 "일정 수준의 질과 양"이 보장 될 수 있는 체계(시스템)업무 수행에 대한 최소한의 품질 보증(조직의 역량으로 분석 산출물이 만들어져야 한다) 구성요소 : 절차 / 방법 / 기법 / 표준산출물 - 방법론이 만들어지는 과정: 4단계 순환 1) 암묵적인 지식2) 형식지: 개인별 문서화3) 형식적 지식: 방법론4) 암묵지: 개인별 내제화 방법론 모델:1) 폭포수 모델: 복잡도가 낮고 사례가 많음2) 나선형: 요구사항 충족, 관리부족시 복잡도 상승3) 프로토타입 -> 조직의 특성.. 2018. 6. 20. 통계분석개론 :: 통계분석방법 차이 검정1) 2집단: t-test- one sample- lndependent기존약/신규약 -> 효과- Paired전/후 -> 변화량같은 group 내에서 2) 3집단 이상: ANOVA- one wayindependent sample t-test의 확장- two way두 group을 따로따로 t-test에서 둘을 혼합둘의 상호작용이 있는 경우! 연관성을 찾기 위해서 사용- repeated measured시간이 3개 이상인 경우paired sample t-test의 확장- two way repeated measured ( 가장많이 사용함) : two-way + repeated measured실험군/대조군 -> 통증실험전/실험후 3) t-test VS ANOVA- 3집단을 t-test: 1:2 1:3 2:.. 2018. 3. 28. 통계분석개론 :: 평균과 표준편차 평균(Mean) 일반적으로 산술평균이 가장 널리 쓰인다. - 가중평균(Weighted Mean)예) 기말/중간 고사중간고사가 70%, 기말고사가 30% 들어간다고 했을때, 평균 - 기하평균(Geometric Mean)합이 아닌 곱이 쓰이는 경우 예) 물가상승률과 같이 변화하는 비율을 나타낼때 사용년도 자본금 증가율 2010 100 2011 200 2배 2012 1600 8배 매년 평균 자본금의 평균 증가율은? 1) 산술평균 2) 기하평균 산술평균일 때는 평균 5배 증가이기 때문에, 100 -> 500 -> 2500 맞지 않는다.이럴때는, 기하평균을 이용하여야 하는 것이 맞다! - 조화평균(Harmonic Mean)평균 속도를 계산하거나 여러단위가 결합되었을 때 사용 예) Akm를 갈때는 시속 4km 올때.. 2018. 3. 28. 이전 1 2 3 4 다음
