[ADsP] 1과목 데이터 이해 - (2) 데이터의 가치와 미래

- 데이터의 가치와 미래

- 빅데이터의 이해

데이터 자체의 특성변화: Volume, Variety, Velocity

분석 기술적 변화: 데이터 처리, 저장, 분석 기술 및 아키텍쳐, 클라우드 컴퓨팅

인재, 조직 변화: 데이터 중심 조직

- 사전처리 -> 사후처리

- 표본조사 -> 전수조사

- 질 -> 양

- 인과관계 -> 상관 관계 : 상관관계분석이 주는 인사이트가 인간관계에 의해 미래 예측을 압도해 갈 것

- 빅데이터의 가치와 영향

빅데이터의 가치 산정이 어려운 이유

1) 데이터 활용 방식: 재사용, 재조합(mashup), 다목적용 개발

2) 새로운 가치 창출

3) 분석 기술 발전

영향

투명성 제고로 연구개발 및 관리 효율성 제고

시뮬레이션을 통한 경쟁력 강화

고객 세분화 및 맞춤 서비스

알고리즘을 활용한 의사결정 보조 혹은 대체

비즈니스 모델과 제품, 서비스의 혁신

- 비즈니스 모델

활용사례

1) 구글: 로그데이터를 활용하여 패이지랭크 알고리즘 검색결과 개선

2) 월마트: 구매패턴을 분석하여 상품 진열

3) 정부: 실시간 교통정보수집, 기후정보 등 모니터링하여 안전확보 활용

4) 개인: 사회관계망 분석, 등

기본 테크닉

1) 연관 규칙: 상관관계 파악

2) 유형분석: 분류, 그룹나누기, 특성에 따라 분류

3) 기계학습: 알려진 특성을 활용해 예측

4) 회귀분석: 독립변수를 조작하여, 종속변수가 어떻게 변화하는지 -> 두 변수의 관계 파악

구매자의 나이가 구매차량의 타입에 어떤 영향을 미칠것인가?

5) 감정 분석

6) 소셜네트워크분석

7) 유전자 분석: 최적화가 필요한 문제를 자연선택, 돌연변이등과 같은 메커니즘을 이용하여 진화(evolve)시켜 나가는 방법

- 위기 요인과 통제 방안

빅데이터의 시대의 위기 요인

1) 사생활 침해

2) 책임 원칙 훼손

3) 데이터 오용

통제 방안

1) 동의에서 책임으로

2) 결과 기반 책임 원칙 고수

3) 알고리즘 접근 허용

미국 연방거래 위원회 '소비자 프라이버시 보호 3대 권고사항'

- 미래의 빅데이터

1) 데이터: 모든것의 데이터화

2) 기술: 인공지능, 알고리즘

3) 인력: 데이터 사이언티스트, 알고리즈미스트