빅데이터 개요
- 2. 내용 ● 빅데이터 ● 시장 현황 ● 관련 기술 2
- 3. 빅데이터 ● 예전에는 장기적으로 저장되지 않거나 분석되 지 않던 데이터 – 예, ● 모든 사용자의 활동 로그 ● 장비들의 상태 정보 – 과거엔 불가능했던 영역 – 기술적 / 경제적 / 분석 기술 3
- 4. 현재 빅데이터가 가능한 이유 ● 모든 사건에 대한 기록 가능 – 디지털 저장 가능 ● 경제적 타당성 – 1980년 1Gb 약10억 → 2010년대 약 100원 ● 분석 기술 – 의미있는 시간에 빅데이터 분석 가능 ● 3V – Variety: 저장되지 않던 다양한 정보가 저장되고 – Volume: 방대한 데이터 저장이 경제적으로 가능 – Velocity: 분산병렬처리로 빠른 분석이 가능 4
- 5. 과거 → 빅데이터 ● 과거 – 샘플링 – 누락된 개별 데이터로 인한 부정확한 분석/예측 ● 빅데이터 – 전수조사 가능 – 분석/예측 정확성 향상 5
- 6. 적용 방향 2가지 ● BI (Business Intelligence) – 모든 정형/비정형 데이터 분석 목적 – 기존 분석 인프라 혁신에 초점 – 서비스 제공자 중심 ● OI (Operational Intelligence) – 머신 데이터에 대한 정보 처리 – IT 운용 통찰(예측) 얻는데 목적 ● 예, 장비 장애 발생 예측 6
- 7. 사례 ● 석유시추선 (SAS 자료) – 모든 부품 상태 정보 보관 → 장애 징후 패턴 분석 – 장애 징후 이용, 부품 교체 준비 선대응 ● 이전, 장애 발생 → 부품 수송 → 수리까지 7일 ● 장애로 인한 손실을 최소화 – 적용 결과 ● 고장으로 인한 정지일 80% 감소, 생산량 5% 증가 ● 운영비용 7억$ 감소 7
- 8. 사례 ● VISA 카드: 카드부정사용강지시스템 – 회원의 이용패턴에서 벗어난 사용 분석 ● 독감 예방, 구글 트렌드 – 검색어 분석으로 독감 주의보/예방 ● 오바마 캠프 선거 마케팅 – 트위터/페이스북 이용한 유권자 정보 분석 – 다양한 시나리오 적용한 모의 시험 매일 6.6만 번 ● 분석 통한 유권자 별 설득 성공 확률 계산 ● IBM 소셜감성지수(Social Sentiment Index) 8
- 9. 시장 규모 ● 전망 – 기업들의 빅데이터 시장 규모 (가트너) ● 2012년 280억$ → 2013년 340억$ ● 빅데이터 수요 – 금융 25%, 서비스 15%, 제조업15%, 정부12%, 교육11% – 북미 59%, 유럽 19%, 아태지역 17% – 대기업 63%, 중소기업 25% – 정부의 도입 ● 오바마 행정부 2억$ 예산 투입: Data-driven gov – 데이터를 기반으로 정책 결정 9
- 10. 빅데이터 기술 ● 기반 기술은 이미 마련 – 저장, 프로세싱: 하둡/Map Reduce 및 관련 기술들 ● 상용 솔루션도 하둡과의 연동 지원 ● 주목 기술(테크크런치 2012년 10월) – Storm(실시간 프로세싱 시스템) + Kafka(메시징 시스템) – Drill, Dremel: Peta 규모 데이터의 탐색, 애드혹 쿼리 – R: 분석/통계 도구 – Gremlin: 그래프 분석 (소셜 분석) – SAP HANA: 인 메모리 분석 플랫폼 ● 기타 – D3: 시각화 10
- 11. 한국 시장 ● 불투명! 시장 규모 전망 없음 – 2012년 성공사례 희박, 아직은 파일럿 수준 – KT/SKT CDR 분석 적용 중 ● 한국 시장의 특징 – 규모 작음, 소품종 대량 생산임 ● 국내 금융 IT 투자의 감소 예상 (KRG 보고서) – 2012년 -0.7% 성장, 올해 -0.3% 예상 – 증권/카드, 캐피털 업종 10% 이상 축소 전망 ● 새 정부의 IT 사업 계획 불확실 11
- 12. 한국 시장에서의 가능성 ● 어쨋든 데이터는 계속 증가 (특히 모바일) ● 가능성있는 영역 – 빅데이터 기반 분석/예측 영역 ● 정부기관, 의료, 에너지, 소셜 분석, 공장 – 저장 기술은 이미 선점 됨 ● 장애물 – 능력자 부족: 데이터 과학자, 기술 전문가 절대부족 – 기업내 결정권자의 인식/지원 부족 → 투자 X – 레거시 연동: “SQL 지원이 안 되서.....” 12
- 13. 기타 자료 ● IDC, Experton Group, Symantec의 빅데이터 관련 조사 – http://blogs.sap.com/innovation/big-data/big- data-facts-figures-022187 13