요즘의 세태를 일컬어 ‘빅데이터(Big Data) 시대’라는 말이 회자되고 있다. 빅데이터란 기존에 데이터를 관리하는 도구로는 처리할 수 없는 대용량의 데이터 집합체를 의미한다. 또한 이러한 대용량의 데이터를 분석해 정보를 추출하고, 이를 활용해 부가가치를 창출하는 기술을 가리켜 빅데이터라고 부르기도 한다. 빅데이터는 세계경제포럼이 인류의 미래 발전을 선도할 핵심 기술로 선정했을 만큼 최근 들어 가장 각광받고 있는 분야 중 하나다.

빅데이터가 관심을 끌고 있는 것은 정보기술(IT)이 발달하고 디지털 기기가 보편화돼 사람들이 생성해내는 데이터의 양(Volume)이 과거와는 비교할 수 없을 정도로 방대해진 결과에 기인한다. 실제로 데이터 전문매체인 ‘BDT Insights’에 따르면 현재 지구상에 존재하는 모든 데이터의 90%가 최근 2년에 걸쳐 생성되었고, 앞으로도 데이터의 양은 2년마다 2배씩 증가할 것으로 전망되고 있다. 빅데이터가 가지고 있는 또 하나의 특징은 생성되는 데이터의 종류에 있다. 과거에는 숫자로 표현되는 전통적인 형식의 데이터가 주를 이뤘다면 최근에는 문서, 사진, 동영상 등으로 데이터의 형태가 다양화했고 그 양 또한 상상을 초월하는 수준이라는 것이다. 일례로 BDT Insights가 분석한 바에 따르면 페이스북 이용자들이 하루에 올리는 텍스트와 사진의 크기는 500TB(=51만2000GB)에 이르고, 유튜브에는 분당 100시간 분량의 동영상이 업로드되고 있다고 한다. 과거와는 다른 데이터의 양과 종류로 대변되는 빅데이터의 특징은 데이터의 빠른 전송을 의미하는 속도(Velocity)와 합쳐져 ‘3V’로 정의된다. 즉, 빅데이터 시대를 살아가고 있는 우리는 인터넷의 보편화와 관련 기술의 발달로 인해 데이터의 생산과 사용이 간편해져 다양한 형태의 데이터를 하루에도 수없이 쏟아내고 있다는 것이다. 이쯤 되면 인간이 생각하고 행동하는 모든 일이 모두 데이터화되고 있다고 해도 과언이 아닌 상황이다.

금요일, 맥주는 기저귀 판매대 옆에

사정이 이렇자 기업들이 빅데이터에 주목하기 시작했다. 데이터를 분석하면 시장 상황을 예측할 수 있고, 이를 기업의 의사결정 과정에 반영하면 수익 창출에 도움이 될 것으로 판단했기 때문이다. 이러한 기업들의 생각은 이미 관심 차원을 넘어 현실화되고 있고, 경영 현장 곳곳에서 적용되고 있다. 대표적인 사례로 미국 메이저리그의 오클랜드 어슬레틱스 구단을 꼽을 수 있다. 오클랜드의 구단주 빌리 빈은 ‘머니볼 이론’으로 불리는 빅데이터 분석을 통해 만년 하위권에 머물던 팀을 정상권으로 도약시켰다.

그는 타자들의 데이터를 분석하는 과정에서 출루율과 장타율이 종래에 각광받던 홈런, 타율, 타점보다 승리에 더 큰 영향을 미친다는 사실을 발견했다. 그리고 출루율과 장타율을 중심으로 선수들을 구성한 결과, 메이저리그 최고인 20연승의 대기록을 작성할 수 있었다. 더욱 놀라운 점은 오클랜드의 연봉 총액이 리그 최하위 수준이었다는 점으로, 빈 단장은 데이터 분석에 입각해 선수를 선발하고 기용함으로써 최소의 비용으로 최대의 효과를 거둘 수 있었다. 이러한 오클랜드의 성과는 올해도 계속돼 2014년 8월10일 현재 오클랜드는 6할이 넘는 승률로 메이저리그 전체 1위를 달리고 있다.

이 외에도 빅데이터 분석을 통해 성공을 거둔 사례는 어렵지 않게 찾아볼 수 있다. 온라인 거래업체 아마존은 고객들의 구매 이력을 분석, 해당 고객이 다음에 구매할 가능성이 높은 품목을 예측해 추천하는 시스템을 구축했다.

동시에 아마존은 추천 품목에 사용할 수 있는 할인쿠폰을 함께 제공했고, 이를 통해 높은 실적 향상을 거둘 수 있었다. 미국 최대의 할인매장 업체 월마트는 구매 기록 분석을 통해 금요일 저녁 기저귀 심부름을 나오는 남편들이 기저귀와 함께 맥주를 구매한다는 사실을 발견하고 맥주를 기저귀 판매대 옆에 진열해 매출을 신장시켰다.

수익창출 ·공공서비스 제공 기회

이뿐만이 아니다. 오늘날 빅데이터는 공공부문의 행정서비스를 개선하는 데에도 활발히 활용되고 있다. 대표적인 경우가 버락 오바마 미국 대통령으로, 그는 지난 대선에서 SNS 이용 기록과 신용카드 사용내역 등을 토대로 유권자를 그룹화했고, 각 그룹이 선호할 만한 공약을 개발해 홍보함으로써 승리의 발판을 마련할 수 있었다. 우리나라에서는 서울시가 심야버스의 노선을 확정하는 데 빅데이터 분석을 활용한 것으로 알려져 있다. 심야 시간대 통화 정보와 택시의 주행 노선을 분석해 시민들의 주요 이동 경로를 파악했고, 이를 심야버스의 노선 결정에 적극 반영했다. 최근에는 과거의 범죄 데이터를 분석해 향후 범죄가 발생할 가능성이 높은 장소와 시간대를 예측하고, 이를 토대로 순찰인력을 배치함으로써 범죄를 예방하는 데에도 빅데이터를 활용하고 있다.

이처럼 정보화 사회의 부산물인 빅데이터는 새로운 수익 창출의 기회인 동시에, 효과적인 공공서비스를 제공하는 데에도 기틀이 되고 있다. 물론 데이터의 수집과 관리 과정에서 나타날 수 있는 개인정보 유출과 그로 인한 또 다른 빅 브러더(big brother·감시권력)의 탄생을 우려하는 목소리도 존재하는 것이 사실이다. 하지만 빅데이터 사용의 긍정적인 측면과 이에 대한 사회 전체의 관심을 고려할 때, 빅데이터에 대한 수요는 앞으로 꾸준히 증가할 것으로 예상된다. 문제는 데이터를 쌓아놓기만 해서는 안 된다는 점이다. 구슬도 꿰야 보배이듯 빅데이터도 정밀하고 과학적으로 분석해야 의미 있는 정보가 되고 가치 있는 결과를 도출할 수 있다. 빅데이터 분석가가 필요한 이유가 바로 여기에 있다.

2015년 440만개 관련 직종

빅데이터 분석가는 빅데이터를 수집하고 분석하는 일을 담당하는 사람을 말한다. 즉, 빅데이터를 가공해 그 속에 숨어 있는 일정한 패턴을 밝혀내고, 이를 통해 사람들의 행동이나 미래에 나타날 현상을 예측함으로써 부가가치를 창출하는 역할을 수행하는 것이 빅데이터 분석가인 셈이다. 빅데이터 분석가가 되기 위해서는 수학과 통계학 그리고 컴퓨터에 대한 전문지식을 보유하고 있어야 한다. 또한 방대한 데이터 속에 숨은 의미를 추출해내야 하는 직업의 특성상 창의력도 필수적이다. 더불어 빅데이터 분석가들이 주로 기업체에 종사하고 있다는 점에서 경제와 경영에 대한 기본적인 식견도 요구된다.

미국의 리서치기관 ‘가트너’는 2015년까지 글로벌 IT산업 부문에서 총 440만개의 빅데이터 관련 일자리가 창출될 것으로 전망했다. 과거 산업화 시대에 석유가 했던 역할을 현대 정보화 시대에는 빅데이터가 대신할 것으로 기대되기 때문이다. 하지만 현재 우리나라에서 빅데이터 전문가라고 부를 만한 사람은 100여명에 불과한 것으로 알려지고 있다.

이러한 상황이 지속되면 빅데이터 분야에서의 우리의 경쟁력은 뒤처질 수밖에 없다. 정부와 기업, 교육기관 등이 나서 빅데이터 분석가를 적극 양성해야 할 때다. IT 강국의 명성이 빅데이터 분야에서도 통할 수 있기를 기대해 본다.

● 빅데이터

기존에 데이터를 관리하는 도구로는 처리할 수 없는 대용량의 데이터 집합체를 의미한다. 또한 이러한 대용량의 데이터를 분석해 정보를 추출하고, 이를 활용해 부가가치를 창출하는 기

술을 가리켜 빅데이터라고 부르기도 한다.

● 탄소배출권거래중개사

빅데이터를 가공해 그 속에 숨어 있는 일정한 패턴을 밝혀내고, 이를 통해 사람들의 행동이나 미래에 나타날 현상을 예측함으로써 부가가치를 창출하는 사람을 말한다.

정원식 < KDI 전문연구원 kyonggi96@kdi.re.kr >