뷰어로 보기

[IT&테크 정보] 빅데이터란? 2018.10.31 09:44

앱센터
조회 수 : 11 추천 수 : 0

2012년 오바마 선거캠프의 빅데이터 활용 전략은 최고의 무대를 연상케하는 웅장한 뮤지컬 같았습니다. 데이터 수집 과정과 팀원 모집 과정, 데이터 플랫폼 구축과 데이터 분석, 그리고 그것을 실제 선거에 적용하는 과정에 이르기까지 하나하나가 빅데이터 최고의 성공 사례였습니다.


1.JPG

성공적인 데이터 활용은 IT기술과 데이터 그리고 인간의 영감이 융합하여 성과를 내는 것이며, 지속적으로 그것을 발전시켜 나가는 과정이다.


예전의 빅테이터란 대용량 데이터라는 의미가 조금 더 강했다면 최근에 와서는 데이터를 효과적으로 처리하고 분석하는 기술이 더해져서 사용되는것 같습니다.


여기서, 빅데이터란?


0.JPG

빅데이터는 기존 데이터보다 너무 방대하여 기존의 방법이나 도구로 수집/저장/분석 등이 어려운 정형 및 비정형 데이터들을 의미합니다. 그림 1과 같이 1분 동안 구글에서는 200만 건의 검색, 유튜브에서는 72시간의 비디오, twitter에서는 27만 건의 트윗이 생성됩니다. 세계적인 컨설팅 기관인 매켄지(Mckinsey)는 빅데이터를 기존 데이터베이스 관리도구의 데이터 수집, 저장, 관리, 분석하는 역량을 넘어서는 규모로서 그 정의는 주관적이며 앞으로도 계속 변화될 것이라고 언급하고 있습니다. 어떤 그룹에서는 빅데이터를 테라바이트 이상의 데이터라고 정의하기도 하며 대용량 데이터를 처리하는 아키텍처라고 정의하기도 합니다.


0-1.JPG

빅데이터의 특징으로는 크기(Volume), 속도(Velocity), 다양성(Variety)을 들 수 있습니다. 크기는 일반적으로 수십 테라 바이트 혹은 수십 페타바이트 이상 규모의 데이터 속성을 의미합니다.

속도는 대용량의 데이터를 빠르게 처리하고 분석할 수 있는 속성입니다. 융복합 환경에서 디지털 데이터는 매우 빠른 속도로 생산되므로 이를 실시간으로 저장, 유통, 수집, 분석처리가 가능한 성능을 의미합니다. 다양성(Variety)은 다양한 종류의 데이터를 의미하며 정형화의 종류에 따라 정형, 반정형, 비정형 데이터로 분류할 수 있습니다.

빅데이터 플랫폼

0-4.JPG

빅데이터 플랫폼은 빅데이터 기술의 집합체이자 기술을 잘 사용할 수 있도록 준비된 환경입니다. 기업들은 빅데이터 플랫폼을 사용하여 빅데이터를 수집, 저장, 처리 및 관리 할 수 있습니다. 빅데이터 플랫폼은 빅데이터를 분석하거나 활용하는 데 필요한 필수 인프라(Infrastructure)인 셈인 것입다. 빅데이터 플랫폼은 빅데이터라는 원석을 발굴하고, 보관, 가공하는 일련의 과정을 이음새 없이(Seamless) 통합적으로 제공해야 합니다. 이러한 안정적 기반 위에서 전처리된 데이터를 분석하고 이를 다시 각종 업무에 맞게 가공하여 활용한다면 사용자가 원하는 가치를 정확하게 얻을 수 있을 것입니다.


 빅데이터 핵심 기술


0-2.JPG

빅데이터를 다루는 처리 프로세스로서 병렬 처리의 핵심은 분할 점령(Divide and Conquer)입니다. 즉 데이터를 독립된 형태로 나누고 이를 병렬적으로 처리하는 것을 말합니다. 빅데이터의 데이터 처리란 이렇게 문제를 여러 개의 작은 연산으로 나누고 이를 취합하여 하나의 결과로 만드는 것을 뜻합니다. 대용량의 데이터를 처리하는 기술 중 가장 널리 알려진 것은 아파치 하둡(Apache Hadoop)과 같은 Map-Reduce 방식의 분산 데이터 처리 프레임워크입니다.


빅데이터 활용 사례

0-3.JPG

2014년 월드컵과 2016년 올림픽을 준비하는 리우데자네이루는 지능형운영센터(IOC)를 통해 도시 관리와 긴급 대응 시스템을 갖추었습니다. IBM의 분석 솔루션이 적용된 지능형운영센터에는 교통, 전력, 홍수, 산사태 등의 자연재해와 수자원 등을 통합 관리할 수 있는 체계가 갖추어져 있습니다. IBM이 제공한 고해상도 날씨 예측 시스템은 날씨와 관련한 방대한 데이터를 분석해 폭우를 48시간 이전에 예측합니다. 싱가포르는 차량의 기하급수적인 증가로 인한 교통체증을 줄이기 위해 교통량 예측 시스템을 도입하였습니다. 싱가포르는 이 시스템을 통해 85% 이상의 정확성으로 교통량을 측정하고 있습니다.


앞선 시간에 소개드렸던 인공지능, 머신러닝, 딥러닝과 함께 빅데이터 역시 4차산업혁명 시대의 중요한 핵심 키워드 입니다.  다양한 분야에서 빅데이터를 활용하는 요즘, 빅데이터에 대해 알아두면 좋겠죠?!! 추후에는 좀 더 심도깊은 내용을 가지고 만나도록 하겠습니다  :) 




[출처]국립중앙과학관 - 빅데이터

Comment '0'
댓글 쓰기 권한이 없습니다.
List of Articles
번호 제목 글쓴이 조회 수 날짜sort
65 [IT&테크 정보] 머신러닝 활용 사례를 알아봅시다! file 앱센터 11 2018.11.07
» [IT&테크 정보] 빅데이터란? file 앱센터 11 2018.10.31
63 [IT&테크 정보] 인공지능, 머신러닝, 딥러닝 - 무엇이 다를까? file 앱센터 30 2018.10.24
62 [IT&테크 정보] 디지털콘텐츠에도 한류가? 콘텐츠 수출! file 앱센터 31 2018.10.17
61 [IT&테크 정보] 4차 산업혁명 시대의 기술 '딥러닝' file 앱센터 53 2018.10.10
60 [IT&테크 정보] 뜨거운 감자 제로레이팅 규제! 제로레이팅이란 무엇일까? file 앱센터 46 2018.10.03
59 [IT&테크 정보] '돼지저금통은 옛말' 키즈 디지털 저금통 대세 file 앱센터 51 2018.09.19
58 [IT&테크 정보] 스몸비족 사고 방지를 위한 바닥 신호등 file 앱센터 55 2018.09.12
57 [IT&테크 정보] 안전을 지켜주는 모바일앱 2편! 사이버안전 및 생활편의 부문 file 앱센터 30 2018.09.04
56 [IT&테크 정보] 안전을 지켜주는 모바일앱 1편! 범죄와 안전사고 부문 file 앱센터 46 2018.08.29
Tag
Write
first 1 2 3 4 5 6 7 last
Top