뷰어로 보기

[IT&테크 정보] 빅데이터란? 2018.10.31 09:44

앱센터
조회 수 : 230 추천 수 : 0

2012년 오바마 선거캠프의 빅데이터 활용 전략은 최고의 무대를 연상케하는 웅장한 뮤지컬 같았습니다. 데이터 수집 과정과 팀원 모집 과정, 데이터 플랫폼 구축과 데이터 분석, 그리고 그것을 실제 선거에 적용하는 과정에 이르기까지 하나하나가 빅데이터 최고의 성공 사례였습니다.


1.JPG

성공적인 데이터 활용은 IT기술과 데이터 그리고 인간의 영감이 융합하여 성과를 내는 것이며, 지속적으로 그것을 발전시켜 나가는 과정이다.


예전의 빅테이터란 대용량 데이터라는 의미가 조금 더 강했다면 최근에 와서는 데이터를 효과적으로 처리하고 분석하는 기술이 더해져서 사용되는것 같습니다.


여기서, 빅데이터란?


0.JPG

빅데이터는 기존 데이터보다 너무 방대하여 기존의 방법이나 도구로 수집/저장/분석 등이 어려운 정형 및 비정형 데이터들을 의미합니다. 그림 1과 같이 1분 동안 구글에서는 200만 건의 검색, 유튜브에서는 72시간의 비디오, twitter에서는 27만 건의 트윗이 생성됩니다. 세계적인 컨설팅 기관인 매켄지(Mckinsey)는 빅데이터를 기존 데이터베이스 관리도구의 데이터 수집, 저장, 관리, 분석하는 역량을 넘어서는 규모로서 그 정의는 주관적이며 앞으로도 계속 변화될 것이라고 언급하고 있습니다. 어떤 그룹에서는 빅데이터를 테라바이트 이상의 데이터라고 정의하기도 하며 대용량 데이터를 처리하는 아키텍처라고 정의하기도 합니다.


0-1.JPG

빅데이터의 특징으로는 크기(Volume), 속도(Velocity), 다양성(Variety)을 들 수 있습니다. 크기는 일반적으로 수십 테라 바이트 혹은 수십 페타바이트 이상 규모의 데이터 속성을 의미합니다.

속도는 대용량의 데이터를 빠르게 처리하고 분석할 수 있는 속성입니다. 융복합 환경에서 디지털 데이터는 매우 빠른 속도로 생산되므로 이를 실시간으로 저장, 유통, 수집, 분석처리가 가능한 성능을 의미합니다. 다양성(Variety)은 다양한 종류의 데이터를 의미하며 정형화의 종류에 따라 정형, 반정형, 비정형 데이터로 분류할 수 있습니다.

빅데이터 플랫폼

0-4.JPG

빅데이터 플랫폼은 빅데이터 기술의 집합체이자 기술을 잘 사용할 수 있도록 준비된 환경입니다. 기업들은 빅데이터 플랫폼을 사용하여 빅데이터를 수집, 저장, 처리 및 관리 할 수 있습니다. 빅데이터 플랫폼은 빅데이터를 분석하거나 활용하는 데 필요한 필수 인프라(Infrastructure)인 셈인 것입다. 빅데이터 플랫폼은 빅데이터라는 원석을 발굴하고, 보관, 가공하는 일련의 과정을 이음새 없이(Seamless) 통합적으로 제공해야 합니다. 이러한 안정적 기반 위에서 전처리된 데이터를 분석하고 이를 다시 각종 업무에 맞게 가공하여 활용한다면 사용자가 원하는 가치를 정확하게 얻을 수 있을 것입니다.


 빅데이터 핵심 기술


0-2.JPG

빅데이터를 다루는 처리 프로세스로서 병렬 처리의 핵심은 분할 점령(Divide and Conquer)입니다. 즉 데이터를 독립된 형태로 나누고 이를 병렬적으로 처리하는 것을 말합니다. 빅데이터의 데이터 처리란 이렇게 문제를 여러 개의 작은 연산으로 나누고 이를 취합하여 하나의 결과로 만드는 것을 뜻합니다. 대용량의 데이터를 처리하는 기술 중 가장 널리 알려진 것은 아파치 하둡(Apache Hadoop)과 같은 Map-Reduce 방식의 분산 데이터 처리 프레임워크입니다.


빅데이터 활용 사례

0-3.JPG

2014년 월드컵과 2016년 올림픽을 준비하는 리우데자네이루는 지능형운영센터(IOC)를 통해 도시 관리와 긴급 대응 시스템을 갖추었습니다. IBM의 분석 솔루션이 적용된 지능형운영센터에는 교통, 전력, 홍수, 산사태 등의 자연재해와 수자원 등을 통합 관리할 수 있는 체계가 갖추어져 있습니다. IBM이 제공한 고해상도 날씨 예측 시스템은 날씨와 관련한 방대한 데이터를 분석해 폭우를 48시간 이전에 예측합니다. 싱가포르는 차량의 기하급수적인 증가로 인한 교통체증을 줄이기 위해 교통량 예측 시스템을 도입하였습니다. 싱가포르는 이 시스템을 통해 85% 이상의 정확성으로 교통량을 측정하고 있습니다.


앞선 시간에 소개드렸던 인공지능, 머신러닝, 딥러닝과 함께 빅데이터 역시 4차산업혁명 시대의 중요한 핵심 키워드 입니다.  다양한 분야에서 빅데이터를 활용하는 요즘, 빅데이터에 대해 알아두면 좋겠죠?!! 추후에는 좀 더 심도깊은 내용을 가지고 만나도록 하겠습니다  :) 




[출처]국립중앙과학관 - 빅데이터

Comment '0'
댓글 쓰기 권한이 없습니다.
List of Articles
  1. 22 Aug 2019 09:44 [IT&테크 정보] 전기 비행기, 화석연료 비행기 대체할 수 있을까 지난 2010년 내셔널 지오그래픽은 흥미로운 통계를 공개했다. 항공기 추락 사고 사망자보다 화석연료 비행기의 배기가스로 인한 사망자 수가 더 많다는 연구결과다. 매년 전 세계에서 추락 사고로 숨지는 사람은 약 1000여 명, 사망 원인이 배기가스인 사망자는 1만 명에 달한다. 성층권에서 운행되는 항공기의 배기가스는 기후변화... by : 앱센터
  2. 13 Aug 2019 11:19 [IT&테크 정보] 로봇 바리스타가 타주는 커피 맛은?...알바 로봇군단 카페 점령 로봇군단이 대중 삶 속 깊이 파고든다. 특히 외식사업에서 로봇 적용이 활발하다. 기술 적용 지향점도 다양해졌다. 타인과 비대면을 강조한 ‘언택트’ 혹은 비용 절감에 초점을 맞춘 서비스가 있는가 하면 ‘인간과 공존’ 및 감성로봇에 방점을 둔 서비스도 생겨나기 시작했다. (티로보틱스와 디스트릭트홀딩스가 서울 성동구 아... by : 앱센터
  3. 05 Aug 2019 16:27 [IT&테크 정보] 운전자 시선까지 추적...한눈 팔거나 눈감으면 삑~ 2012~2017년 경찰청과 교통안전공단의 통계 분석에 따르면 우리나라에서 발생하는 교통사고는 4건 중 1건꼴로 버스와 영업용 승합차, 화물차, 택시 등 사업용 차량이 포함됐다. 사업용 자동차 주행거리는 하루 평균 115㎞로 비사업용(35㎞)의 3배다. 1만대당 사고는 이들 사업용 자동차가 307건으로 비사업용의 4.5배에 달한다. 1만대당... by : 앱센터
  4. 05 Aug 2019 16:24 [IT&테크 정보] AI가 쓴 가짜뉴스, AI로 잡는다 인공지능(AI)이 직접 글을 쓰는 시대가 도래했다. AI의 글은 뛰어난 문학 작품에 비할 바는 못 되지만 적어도 사람이 쓴 것처럼 흉내낼 수준은 된다. 이제는 글의 저자가 기계인지, 사람인지 구분조차 어려운 상황이 됐다. 다만 AI가 글의 영역에 침투하면서 문제가 생겼다. 허위 내용의 뉴스나 칼럼 등에 AI가 동원돼 피해... by : 앱센터
  5. 29 Jul 2019 18:14 [IT&테크 정보]뒤차에 LED로 메시지 보내봐! 운전자끼리의 대화는 깜빡이로 한다. 좌회전이나 우회전을 하기 전 방향지시등으로 내 진로를 알려주고, 고맙거나 미안할 때 깜빡이를 잠깐 켜기도 한다. 가끔 창문 밖으로 손을 뻗어 먼저 지나가라는 사인을 주는 경우도 있다. 이 정도면 운전자끼리 대화는 충분하다. 굳이 차를 세워 직접 이야기를 나눌 필요는 없다. ​하지만 ... by : 앱센터
  6. 22 Jul 2019 14:10 [IT&테크 정보] '아이언맨 슈트' 가능케한 웨어러블 로봇 기술 어디까지? 최근 막 내린 영화 ‘어벤저스’의 주요인물 토니 스타크(로버트 다우니 주니어 분)는 영화 속에서 상당히 이질적인 존재다. 신체능력으로만 따지면 일반인 수준이다. 그러나 강화인간, 돌연변이, 초능력자, 심지어 외계 신까지 판치는 영화 속 세상에서 줄곧 악당을 상대하는 맨 앞줄에 섰다. 그가 입은 ‘아이언맨 슈트’가 이를 가... by : 앱센터
  7. 22 Jul 2019 14:06 [IT&테크 정보] 잃어버린 강아지, '지문' 대신 '코'로 찾는다 반려동물과 함께 지내는 이라면 ‘동물등록제’에 관해 한 번쯤은 들어봤을 것이다. 동물등록제는 동물을 보호하고 유실·유기를 방지하기 위해 시행됐다. 등록된 강아지라면 길을 잃더라도 마이크로칩(REID·무선전자개체식별장치)을 통해 주인의 정보를 확인, 빨리 집으로 돌아갈 수 있게 해준다. 문제는 2019년 현재, 동물등록률이 30... by : 앱센터
  8. 15 Jul 2019 11:34 [IT&테크 정보] QR코드로 호텔 침대커버 위생상태 알 수 있다? 최근 중국에서 QR코드를 이용해 호텔 침대 커버나 이불, 수건 등의 세탁 여부를 파악할 수 있는 기술이 등장했다. 중국 매체 환구망은 이러한 기술을 도입한 친환경 세탁 기지가 지난 4일 우한시에서 영업을 시작했다고 보도했다. 이 기지는 우한시 내 여러 호텔로부터 들어오는 각종 세탁물에 초고주파 무선인식(RFID) 칩과 Q... by : 앱센터
  9. 08 Jul 2019 16:50 [IT&테크 정보] '구글 자율주행 웨이모, 자율주행차에 승객 태운다' 구글 자율주행 웨이모, 자율주행차에 승객 태운다 구글의 자율주행차 사업체 웨이모(Waymo)가 이제 캘리포니아 도로의 자율주행차에 승객을 태울 수 있게 됐다. 미 IT 매체 테크크런치는 구글의 자율주행 계열사 웨이모가 미국 캘리포니아주로부터 자율주행차에 승객을 태워도 된다는 허가를 받았다고 보도했다. 캘리포니아주는 웨이... by : 앱센터
  10. 01 Jul 2019 16:44 [IT&테크 정보] '스마트 스피커'가 심장마비 구한다...심정지 감지 사람 생명까지 구하는 똑똑한 스피커가 등장한다. 심장 마비가 일어나는 순간을 알아차리고 위급한 상황으로부터 사람의 생명을 구한다. 그야말로 스마트한 스피커의 탄생이다. 심장마비는 위급한 질환이다. 증상이 시작되고 5분이 지나면 그때부터 뇌가 손상된다. 신속하게 조치를 취하지 않으면 생명을 앗아간다. 워싱턴대학교 연구팀... by : 앱센터
Tag
Write
first 1 2 3 4 5 6 7 8 9 10 last
Top