[강홍민 기자의 직업의 세계]내 관심사, 귀신같이 찾아내는 이 직업

"데이터가 정보가 되고 돈이 되는 시대죠" 데이터 엔지니어 정형기“최근 데이터가 그야말로 폭증하고 있어요. 데이터를 소비하는 소비자들은 더 다양하고 빠른 데이터를 원하고 있죠. 앞으로는 데이터를 활용하는 범위가 지금보다 더 넓어질 것이고 그렇게 되면 데이터 엔지니어가 더 중요해지지 않을까요.”

바야흐로 ‘데이터 시대’다. 우리의 행동 하나 하나가 모두 데이터가 되고, 그 데이터가 쌓여 정보가 되고, 돈이 되는 시대다. 앱에서 살까 말까 고민하다 장바구니에 담아뒀는데 ‘오늘만 할인’이라는 문구와 함께 그 제품의 쿠폰이 도착하는가 하면, 어제 검색했던 여행지가 현지 사진과 함께 ‘지금 떠나볼까요’라는 설레는 푸시 알림으로 뜬다. 내가 관심있는 정보를 어떻게 귀신같이 알고 보여주는지 신기하다. 이런 고객맞춤형 서비스의 핵심은 데이터다. 서비스 이용자들의 패턴을 데이터로 분류하고, 분석해 결과값을 도출해 내는 방식이다. 데이터의 중요도가 높아지면서 대기업은 물론 중견·중소기업, 스타트업에서도 데이터 전문가 모시기에 열을 올리고 있다. 500만 건의 누적 여행 일정을 기초 데이터로 활용해 최적의 데이터를 산출하는 일을 하는 정형기 트리플 데이터팀장(42)을 만나 ‘데이터 엔지니어’의 세계에 대해 들어 봤다.

▶이제는 데이터를 활용하지 않는 산업군이 없다고 할 정도로 데이터 활용이 일반화돼 있는 것 같아요.

“이커머스는 물론이고, 제조업이나 공공기관을 봐도 데이터를 활용하지 않는 기업은 거의 없습니다. 엔터테인먼트업계에서도 시시각각 변하는 수요와 팬들의 반응을 살피기 위해 광범위한 데이터를 활용하기 시작했죠. 앞으론 ‘데이터 드리븐’이라는 단어는 더 이상 필요 없어질 것 같아요. 데이터를 활용하는 사업 전략은 이제 기본이 됐어요.”

▶일부에서는 데이터 시대가 아주 빨리 왔다고도 하는데, 이유는 뭐라고 생각하세요.

“데이터 자체가 폭증이라고 할 만큼 굉장히 빠르게 늘고 있어요. 게다가 데이터를 소비하는 소비자들은 더 다양하고 빠른 데이터를 원하고 있고요. 때문에 데이터를 활용하는 범위가 지금보다 더 넓어질 것이고 데이터 엔지니어의 역할도 더 중요해지지 않을까 생각합니다.”

▶보통 기업에서 데이터를 활용한다고 했을 때 어떤 것들이 데이터가 되고, 어떤 데이터가 좋은 데이터인지 판단할 수 있는 가이드가 있나요.

“어떤 데이터를 지표로 뽑을지에 대해선 데이터 전문가들과 실무 담당자들이 논의를 거쳐 정하는데요. 저희 트리플을 예를 들면, 우선 활동 유저에 대한 지표를 어떤 기준으로 할지를 정했어요. 이유는 데이터 파트 외 다른 직군에서도 데이터를 확인하기 때문에 기준을 어떻게 정하느냐에 따라 데이터 값이 달라지거든요. 그래서 내부 토론을 거쳐 서비스에서 중요하다고 생각하는 이벤트 16가지를 선정했고, 데이터가 쌓이는 곳 14개를 정해 놓은 거죠.”

▶어떤 항목들을 선정했나요.

“예를 들어 이용자가 리뷰나 스크랩, 일정 생성 등의 카테고리를 이용하면 데이터가 쌓일 수 있게 정해 놨어요.”

▶데이터를 활용한다는 것은 기업에 어떤 이점을 가져다 줄까요.

“미리 예측할 수 있다는 점이죠. 산업군마다 차이는 있겠지만 결국 데이터는 돈이고, 그 돈의 흐름을 데이터로 정리, 분석할 수 있게 되는 거죠. 가구나 가전제품 등 구매 주기가 아주 긴 제품의 제조사들 역시 소비자 데이터를 쌓아 놓고 분석해 활용하고 있으니까요. 최근 생겨나고 있는 스타트업만 보더라도 데이터 담당팀을 먼저 꾸리고 있어요. 데이터를 쌓아 놓으면 경쟁사와 차별화할 수 있다고 생각하는 거죠.”

▶기업 입장에서는 데이터를 잘 활용하면 이길 수 있는 전략의 포인트가 되겠네요.

“네. 맞습니다.” "데이터가 기업 경영의 바탕... 관련 직무 수요 높아져"▶그럼 최근 기업에서 데이터 엔지니어를 비롯해 데이터 관련 전문가를 많이 채용하겠군요.

“예전에 비해 많아졌죠. 기업이나 팀마다 차이가 있는데, 데이터 분야 내에서도 엔지니어, 모델러, 분석가 등으로 직무가 나뉩니다. 대기업은 데이터 직무가 세분화돼 있겠지만 스타트업이나 작은 기업은 엔지니어나 모델러가 전반적인 데이터 관련 업무를 하는 곳이 많죠.”

▶기업에서 데이터 엔지니어가 하는 역할은 구체적으로 무엇인가요.

“기업에서 데이터 통계 지표를 활용해 의사결정에 이르는 구성원을 데이터 소비자라고 하는데요. 이 데이터 소비자가 통계 지표를 요구할 때 어떤 형태로, 어떻게 사용할지를 미리 파악해 데이터를 준비해 두는 일을 합니다. 예를 들어 몇 명의 이용자가 상품을 조회했고 예약은 몇 명이 했는지, 결제금액은 얼마인지, 취소는 몇 명이나 했는지 등의 데이터를 산출하는 일이죠. 또 어떤 미디어를 통해 신규 유저가 유입되는지와 가입 후 페이지 방문 등 서비스 관련 주요 활동을 지표로 볼 수 있게 만들기도 합니다. 한마디로 데이터 영역을 전문으로 담당하는 소프트웨어 엔지니어라고 생각하시면 됩니다.”

▶데이터 수집 및 관리는 어떤 방식으로 이뤄지나요.

“데이터 창고라 불리는 ‘데이터 웨어하우스’라는 곳이 있는데요. 이곳에선 물류창고에 물건을 넣는 것처럼 데이터를 입고, 분류, 진열하는 일을 합니다. 재료가 되는 데이터를 구해 와 바로 찾아 사용할 수 있게 분류한 뒤 이 재료들로 만들어진 완성품을 잘 진열하는 것이죠. ‘스테이징 영역(데이터 입고)’은 보통 서비스 론칭과 동시에 통계 데이터 지표를 보기 위해 개발이 어느 정도 단계에 오르면 데이터팀에 공유합니다. 엔지니어는 서비스에 사용되는 데이터베이스, 파일, 로그 등 모든 데이터를 파악하고 적재된 데이터의 종류에 맞게 추출하는 일을 하게 되죠.”

▶데이터 입고 시스템 개발 시 고려해야 할 점이 있을 것 같아요.

“서비스 시스템에 부하를 주지 않기 위한 방법을 고민하는데요. 데이터 이동량을 최소화하거나 읽기 전용 복제본 데이터를 만들거나 하는 것들이죠. 이 영역의 데이터는 휘발성으로 관리하고 일정 기간이 지나면 삭제합니다. 그리고 ‘데이터 웨어하우스 영역(데이터 분류 창고)’인데요. 쉽게 말해 창고에 물건을 쌓아 두고 칸별로 정리하는 것처럼 필요한 데이터를 여러 사람이 찾아 쓸 수 있게 관리하는 겁니다. ‘데이터 마트(데이터 진열)’는 마트 진열대처럼 필요한 사람들이 쓸 수 있게 데이터를 가공해 제공하는 역할인데요. 이곳에서는 데이터를 사용하는 소비자라면 그 기준을 이해하고 데이터를 볼 수 있게 구조화해 놨어요. 마치 마트에 카테고리별 구획이 나눠져 있고, 찾아갈 수 있도록 안내를 해 주는 것처럼 말이죠. 또 자영업자들이 큰 대형마트에 와서 물건을 구입하듯이 데이터 마트에 올라온 데이터를 분석가들이 가져가 분석하기도 합니다.”

▶전문가가 아닌 일반 직무에서 데이터를 다루기엔 어려울 수 있겠다는 생각도 드네요.

“맞습니다. 데이터 전문 직군들은 익숙하지만 일반 직군들은 데이터에 대한 두려움이 있을 수 있죠. 그래서 데이터 샌드박스 기능을 도입해 직접 데이터를 만들어 볼 수 있는 체험 실습 공간도 운영 중입니다. 이곳에서는 데이터를 활용하다가 실수해도 기존 통계 시스템에 영향이 없도록 분리해 관리하기 때문에 부담이 없죠. 무엇보다 현업에서의 관점으로 데이터를 바라보기 때문에 새로운 인사이트가 나오기도 하고요.”

▶데이터 엔지니어를 비롯해 데이터 파트의 직군은 타 부서와 협업을 많이 하겠네요.

“서비스 기획, 마케팅 등 각 부서별 담당자와 주로 협업을 하죠.”

▶서비스 기획이나 마케팅 담당자는 주로 문과 출신이 많을 텐데 사용하는 언어나 관점이 달라 생기는 에피소드도 있을 것 같아요.

“말씀하신 대로 문과 출신이 많아요. 커뮤니케이션 방법이 달라 서로 부딪히는 경우가 없진 않죠. 저희뿐만 아니라 내부에 데이터팀이 있는 기업은 다들 고민하는 부분일 거예요. 저희 팀원들에게도 늘 데이터팀이 처음으로 만나는 고객이 내부 팀원이라는 말을 하죠. 특히 데이터 엔지니어의 역할은 고객용 서비스를 만드는 게 아니라 뒤에서 묵묵히 내부의 직원들을 지원해 주는 것이라는 점을 잊지 말라고요. 경쟁 상대가 아닌 파트너라는 점을 강조해요.”

▶데이터를 다루는 직군은 아무래도 꼼꼼하고 날카로울 것 같다는 선입견이 있는 것 같은데 어떠세요.

“아무래도 데이터를 맞춰야 하니까 그런 것 같은데요. 그 얘길 하시니 떠오르는 사건이 있어요,(웃음) ‘46원 사건’인데요. 제가 트리플로 온지 얼마 안 됐을 무렵, 데이터를 새로 구축했는데 기존 통계랑 안 맞는 걸 알게 됐죠. 저희 팀에서 계산한 매출이 46원 많았죠.”

▶46원이요? 그 정도면 그냥 넘어가도 될 일 같은데.

“내부에서도 시스템이 바뀌면서 그럴 수 있다고 정리가 됐어요. 근데 직업병 때문인지 뭔지는 모르겠지만 그걸 해결해야겠더라고요. 그래서 누가 시키지도 않았는데 결제 창을 하나씩 다 열어 확인하기 시작했어요.”

▶직업병이군요.(웃음) 그래서 원인은 찾았나요.

“다행히도요.(웃음) 고객이 호텔에서 계산할 당시 환율이 다르게 적용된 거였죠. 환율을 어떻게 계산했느냐에 따라 달라지는데, 소수점이 잘못 쌓여 46원이 만들어졌더라고요. 그 이후 내부에서 데이터가 문제가 발생했을 땐 다른 팀에서 저희 팀의 말을 더 신뢰하는 분위기로 바뀌었어요.(웃음)”

▶데이터 엔지니어가 되기 위해선 집념이 필요해 보이네요. 그밖에 갖춰야 할 조건도 있을 것 같아요.

“저희 직업은 묵묵함과 끈기가 필요해요. 대외적인 서비스를 하는 게 아니라 내부 고객인 동료들과 경영진을 위한 의사결정 지표를 만드는 직군이라 주목받는 일이 거의 없어요. 흔히 든 자리보다 난 자리가 티가 나는 직군이라고 하죠. 응급실 의료진처럼 늘 바쁘고 삶과 죽음의 최전선에 있지만 환자들은 응급실 의료진을 기억하진 않거든요. 저희도 비슷한 것 같아요. 누가 알아주진 않지만 이 일에 자부심을 가지고 묵묵히 할 수 있는 끈기가 필요하죠.”

▶데이터 엔지니어가 되려면 컴퓨터 관련 전공은 필수인가요.

“그렇죠. 저도 전자정보통신공학을 전공했는데 컴퓨터공학과 전자공학에서 다루는 과목을 같이 배웠죠. 아무래도 컴퓨터 언어를 배울 수 있는 컴퓨터공학이나 정보통신, 전자공학과 전공자가 유리합니다. 기본적으로 데이터베이스 시스템에서 자료를 처리하는 용도로 사용되는 언어인 SQL(Structured Query Language)을 잘 다뤄야 해요. 여기에 빅데이터 플랫폼을 다룰 수 있는 능력과 파이썬이나 자바스크립트를 활용한 코딩 능력도 필요하고요. 데이터베이스 관련 자격증이나 정보처리기사 자격증도 도움이 됩니다.”

▶이 직업의 장점을 꼽는다면요.

“데이터만 보면 기업 서비스 영역을 한 눈에 알 수 있어요. 서비스 전반에 걸친 데이터와 흐름을 파악할 수 있는 것이죠. 그리고 공통 인프라 조직에 가깝기 때문에 특정 서비스가 잘 안 된다고 하더라도 업무 자체가 안정적입니다. 무엇보다 현재, 그리고 앞으로도 기업에서의 데이터는 성장과 직결되기 때문에 저희 몸값이 높아진다는 점이죠.(웃음)”

▶반면 단점도 있을 것 같아요.

“백조가 우아하게 물 위에 떠 있기 위해선 물장구를 쉼없이 쳐야 하잖아요. 저희 직업도 비슷한 것 같아요. 보이지 않는 곳에서 묵묵히 일해야 하는 직업이라 스포트라이트를 받거나 드라마틱한 성취감이 있진 않거든요. 그리고 타 부서에 비해 보상이 그리 크지 않다는 건 단점일 수 있겠네요.”

▶데이터 엔지니어를 비롯해 데이터 관련 직무의 비전은 어떻게 보시나요.

“일반 기업을 비롯해 제조업이나 공공기관까지 데이터를 활용하지 않는 회사는 거의 없습니다. 앞으론 ‘데이터 드리븐’이라는 단어는 더 이상 필요없어질 거예요. 데이터를 활용한 사업 전략이 당연하게 여겨질 테죠. 그렇게 되면 데이터 관련 직무의 중요도는 더 높아질테고요.”

한경잡앤조이 강홍민 기자 khm@hankyung.com