정부가 2025년까지 총 160조원을 투자해 일자리 190만개를 만든다는 구상을 담은 '한국판 뉴딜' 종합계획을 발표함에 따라, '빅데이터(Big Data)'가 주목받고 있다.

'그린 뉴딜'과 '고용사회안전망 강화'와 함께 한 축이 되는 '디지털 뉴딜'에는 58조2000억원이 투입돼 90만3000개의 일자리가 만들어지며, 빅데이터는 '디지털 비대면 산업', '사회간접자본(SOC) 디지털화'와 함께 디지털 뉴딜의 핵심이라고 볼 수 있다.

빅데이터와 관련, 정부는 공공데이터 14만개를 공개해 '데이터 댐'을 구축하고, 8400여개 기업에 '데이터 바우처'를 제공하기로 했다. 특히 100만명의 '바이오 빅데이터'로 희귀 난치병 극복과 새 부가가치화에 나서고, 1·2·3차 전 산업에 5세대 이동통신(5G)과 AI를 융합하기로 했다.

또한 행정안전부는 올해 상반기 '공공 빅데이터 청년인턴십' 2기 참가자 100명을 모집한 데 이어, 3차 추경(추가경정예산)을 통해 600명을 더 뽑기로 했다. 공공분야 빅데이터 관련 분야에서 취업을 준비하는 청년들에게 전문교육과 취업컨설팅, 실무경험 기회 등을 제공하는 사업으로, 최종 선발되면 8월부터 2개월간 공공 빅데이터 기획·분석 등 전문교육을 받은 뒤 전국 중앙부처와 지방자치단체, 공공기관 등에 배치돼 3개월간 근무하게 된다.

◆ 빅데이터, 벌써 10년은 지난 개념

2000년대 초반, 전 세계적으로 '인터넷 붐'이 일면서 미국의 구글과 같은 신흥 기업들이 폭발적으로 성장했고, 인터넷 상의 데이터 양도 급증했다. 여기에 스마트폰이 보급화되면서, 소셜미디어(SNS) 등을 통해 개개인이 언제든 데이터 생산과 소비를 할 수 있게 됐다. 이러한 개인 정보에 기업들의 관심이 집중되면서 빅데이터 전문가에 대한 수요층이 생겨났다.

빅데이터는 2010년부터 사람들에게 인식되기 시작했고, 국내에서는 2011년부터 정부의 관심을 받으며 화두에 올랐다. 과거와 비교해 데이터 자체가 거대해졌고, 대용량의 데이터를 처리하기 위한 기술과, 프로세스, 방법론과 사람이 필요해지기 시작한 것이다.

전문가들은 빅데이터를 정보화 사회의 원유(Oil)에 비유한다. 기름이 없으면 기계가 작동하지 못하고 부가가치가 높은 각종 제품을 만들어내지 못하듯, 디지털 시대에 빅데이터만큼 중요한 자산은 없다는 것이다. 빅데이터 분석기술은 구매자 정보나 위치 정보, 센싱 정보, SNS 등 디지털로 저장된 엄청난 양과 다양한 형태의 정보를 분석, 많은 문제들을 해결하며 새로운 가치를 창출하는 기술을 말한다.

빅데이터는 현재 통신, 의료, 금융, 제조 등 생활 곳곳 다양한 분야에서 활용되고 있다. 특히 공공부문에서의 데이터 개방은 많은 데이터를 손쉽게 분석해 보다 합리적인 의사결정에 도움을 주고 있다. 이와 함께 최근 빅데이터 산업이 미래예측과 전략수립 분야에서 급부상하고 있다. 빅데이터로부터 유용한 정보를 추출하고, 그 결과로부터 지식집약형 서비스와 정책을 창출하는 새로운 사회·경제적 패러다임이 도래한 것이다.

일례로 서울시는 자정 이후 가장 붐비는 택시노선 데이터를 분석하고, 버스 어플리케이션 등에 기반해 심야버스 노선을 배치함으로써 시민들로부터 큰 호응을 얻었던바 있다. 또한 경찰청은 범죄유형에 따른 지역, 시간대별 범죄다발지역과 위험도를 통합 분석한 결과, 범죄율을 줄이는 효과를 봤다.

관세청과 국세청은 역외탈세 정보를 공유하는 것만으로 연간 1000억원에 가까운 세수 증대효과를 냈다. 기상청은 호우, 풍랑, 강풍, 한파 등 기상 예측 프로그램을 무료로 제공해 국내 항공업체가 항공기 이륙과 운항, 착륙 등에 활용하도록 돕고 있다.

기업이든 개인이든 경쟁사회에서 승자가 되기 위해서는 사람들이 어떤 분야에 관심이 있는지, 자주 찾는 정보는 무엇인지, 한번 찾으면 얼마 동안 머무는지 등의 빅데이터를 부가가치가 높은 자산으로 만들어야 하는 과제가 생겼다. 이 일을 업으로 삼는 빅데이터 전문가들은 다양하고 방대한 데이터 속에서 가장 '빅'(big)한 가치를 찾아내는데 열중하고 있다.

◆ 빅데이터 전문가라는 직업

빅데이터 전문가는 엄청난 양의 빅데이터를 의미 있는 분석결과로 도출하는 일을 한다.

주요 업무는 실시간 쏟아지는 빅데이터를 어디에, 어떻게 활용할 것인지 기획하는 일에서부터 시작된다. 예를 들어, 모바일 쇼핑몰을 운영한다면 요즘 수요층이 즐겨찾는 키워드는 무엇이고, 어느 사이트에서 얼마나 머물며, 실제 구매할 때는 가격과 상품 평가 중 어떤 요인이 영향을 미치는지 등을 사전에 분석하는 것이다.

일단 기획안을 세웠다면 분석할 빅데이터의 자원을 찾고, 프로그램을 짠 뒤 통계적으로 분석하는 작업을 거쳐야 한다. 대용량의 데이터를 처리하는 플랫폼을 통해 빅데이터를 처리한 뒤에는 결과물을 시각화한다. 결과물을 다양한 분야에서 활용하려면 통제 변인 등 키워드를 바꾸면 된다.

빅데이터 전문가는 최신 유행이나 트렌드를 많이 다루기 때문에 세계 각 기업이나 분야별 시장동향을 수시로 파악할 수 있어야 한다. 또 세계 각국의 빅데이터와 관련한 새로운 기술과 내용, 기사와 논문 등을 신속하게 찾아내는 것도 중요하다. 인터넷에 떠도는 자신들의 회사 관련 검색어와 댓글을 분석하거나, 자사제품과 서비스에 대한 고객 반응을 실시간 파악해 즉각 대처하는 것도 일상적인 일이다.

또한 온라인몰 등 쇼핑업계와 카드사들은 구매이력 정보와 위치기반 서비스(GPS) 등을 결합해 근거리 맛집 등 소비자가 정보를 원하면 적절한 시기에 적합한 장소로 안내한다. 정부와 공공기관 입장에서 빅데이터는 시민이 요구하는 서비스를 제공하는데 도움을 준다.

해외에서는 빅데이터전문가를 데이터 사이언티스트(Data Scientist)라는 확장된 의미로 이해하는 편이다. 데이터 사이언티스트가 반드시 갖춰야할 역량으로는 '호기심'을 꼽으며, 빅데이터에 대한 이론적 지식과 분석 기술 등 하드웨어적 스킬을 더한다면 기술과 역량을 종합적으로 갖춘 인재가 될 수 있다고 보고 있다.

빅데이터 전문가는 경제, 통계, 심리 등 다방면에 고도의 지식을 갖추고 호기심과 아이디어가 풍부한 사람, 오랜 분석과정을 끈기 있게 견디는 사람에게 적합한 직업이다. 대기업의 빅데이터 관리부서, 검색포털사이트 업체, 사설 데이터분석 업체 등 다양한 기업으로 진출할 수 있다.

전문가가 되기 위해서는 통계학, 컴퓨터공학, 산업공학 등을 통해 기술적인 베이스를 갖추고 경영학이나 마케팅 분야의 지식과 경험을 쌓아두면 기술적인 베이스와 융합해 시너지 효과를 발휘할 수 있다. 각 대학의 빅데이터 관련 학사나 석·박사 과정에서 준비할 수 있으며, 빅데이터활용센터나 빅데이터아카데미에서도 전문가를 양성하고 있다.

◆ 관련직업 ① 빅데이터 분석가

빅데이터 분석가는 대량의 빅데이터를 관리하고 분석한 결과를 바탕으로 통계모델을 만들고, 사람들의 행동패턴이나 시장경제 등을 예측할 만한 정보를 제공한다. 구체적으로는 데이터 수집, 데이터 저장 및 분석, 데이터 시각화 등을 통한 정보 제공 등의 과정을 담당한다.

이들의 업무는 빅데이터를 어떻게 추출하고, 어디에 활용할 것인지 기획을 하는 일부터 시작한다. 기획을 통해 분석할 빅데이터 자원이 확보되면 품질을 관리해 빅데이터 플랫폼을 개발하고, 실제 빅데이터를 분석하는 작업을 거친다. 대용량의 데이터를 처리하는 플랫폼 개발 및 빅데이터 분석 업무를 할 때는 다양한 알고리즘을 분석하고 이를 시각화하는 일을 해야 한다.

이렇게 나온 분석 자료들은 다양한 분야에서 사용된다. 기업에서는 신제품 출시를 앞두고 빅데이터 분석 결과로 중요한 의사 결정을 하기도 하고, 생산이나 마케팅 전략을 짤 때 유용한 자료로 활용하기도 한다. 이밖에도 사기방지, 위험관리, 보안 등을 위한 자료로도 쓰이고 있다.

이 일을 하려면 대학에서 컴퓨터공학, 통계학 등을 전공하는 것이 도움이 된다. 현재 국내에서는 데이터 분석가, 통계분석가 등이 빅데이터 분야에서 활동 중이며, 재직자 대상의 전문 교육이 이루어지고 있는 실정이다. 기존 IT업계 종사자를 대상으로 하는 교육을 받거나, 최근 개설된 교육 과정 등을 통해 교육을 받고 진출할 수 있다.

빅데이터는 데이터마이닝이나 인공지능 분야의 기계학, 통계학 등의 학문들과 연관성 있는 직업 분야에서 연구 경험이 있는 사람들의 진출이 활발하다. 데이터 과학은 컴퓨터 공학과 통계학 등 다양한 관련 학문이 통합돼 있기 때문에, 기본적으로 통계학에 대한 지식과 비즈니스 컨설팅에 대한 이해, 데이터 분석을 위한 설계 기법 활용 등에 관한 전문적인 역량이 필요하다.

이와 함께 흩어져 있는 데이터를 모아 가공하는 데이터 처리 능력, 분석에 필요한 모형을 만들고 결과를 도출하는 분석 능력, 해당 업종에 대한 이해라는 세 가지 능력도 중요하다.

최신 트렌드를 다루기 때문에 최신 동향 등도 수시로 파악해야 하고, 최근 트렌드 및 빅데이터와 관련한 새로운 기술 내용, 관련 기사나 논문 등을 발빠르게 파악하려는 노력도 필요하다. 의사소통 능력, 협업, 리더십, 창의력, 규율, 열정이라는 요소도 겸비된다면 데이터 과학이 예술의 경지로 승화될 수 있다.

◆ 관련직업 ② 공간빅데이터전문가

4차 산업혁명의 핵심 기술들이 국토, 도시, 지역 등 공간에 집중되고 있다. 이에 정부는 드론, 자율주행차, 공간정보, 스마트시티, 제로에너지빌딩, 리츠 등이 포함된 7대 신산업을 육성하는 계획을 수립하기도 했다. 특히 공간정보는 다른 분야의 인프라로서의 역할과 자체적인 산업 육성을 통해 경제 활성화에 기여할 수 있다는 점에서 중요성이 부각되고 있다.

현재 사람 및 차량의 이동정보와 같은 다양한 센서정보, 통계정보, 신용카드 매출 정보, CCTV 정보 등 여러 가지 형태의 정보들이 디지털의 형태로 누적·저장되고 있다. 이러한 정보는 공간정보와 분석·결합해 다양하게 활용될 수 있다.

또한 최근 수치지도, 지적도, 지형도, 위성영상, 항공사진, DEM 정보 등과 같이 기본 공간정보의 축적과 함께 OpenAPI 등을 통해 외부에 서비스되는 과정에서 점차 데이터의 크기가 커지고 있다. 공간빅데이터 분석 기술의 활용 방안은 무궁무진하다.

정부는 내년까지 14만2000개 공공 데이터를 개방하고 기관 간 데이터 연계를 돕는 공동 빅데이터 분석 시스템을 구축하기로 했다. 이러한 가운데 국토교통부는 그간 국가행정망에서만 서비스되던 공간빅데이터 분석 플랫폼에 대한 인터넷망 전환을 실시, 대국민 공식 서비스로 전환하기로 했다. 이에 따라 50여개의 공간정보 분석 라이브러리, 소셜 분석, 지오코딩, 통계 분석 등 다양한 기능을 제공되고, 이를 활용할 수 있는 전문가가 필요한 상황이다.

국토교통부는 선문대학교 빅데이터연구소와 협업체계를 구축해 공간빅데이터 분석 전문가를 양성하기로 했다. 양측은 공간빅데이터 구축 프로세스 개발 및 공간정보 솔루션에 대한 검증과 UX(사용자경험) 개편방안에 대한 공동 연구를 진행하기로 했다. 또 선문대는 재학생이 참가할 수 있는 공간빅데이터 분석 특성화 교육과정을 세운다.

◆ 관련직업 ③ 데이터시각화디자이너

데이터 시각화(data visualization)란 데이터 분석 결과를 쉽게 이해할 수 있도록 도표라는 시각적 수단을 통해 정보를 효과적으로 전달하는 것을 말한다. 수많은 데이터를 한 장의 그림으로 요약한 인포그래픽(infographic)이나, 문서에 사용된 단어의 빈도와 중요도를 시각적으로 표현한 단어 구름(워드클라우드, word cloud) 등이 대표적이다.

데이터 시각화 디자이너는 데이터를 풍부하게 활용하고, 분석부터 시각화까지 전 과정에 참여한다. 데이터 분석결과를 효과적이고 이해하기 쉽게 전달하도록 핵심요소를 타이포그래피, 그리드, 색상 등 시각적으로 표현한다.

다양한 형태의 데이터와 분석결과를 시각화하기 위해서는 먼저 표현규칙 및 사용자 관점의 시각화 요건을 정의한다. 시각화 요건에 따른 사용자 시나리오를 작성하고, 핵심요소 및 그래픽요소를 이용해 스토리보드를 기획한다. 기획된 스토리보드에 따라 시각화를 구현하기 위한 도구와 기술을 선택하고 정보시각화를 위한 접근방법을 결정한다. 분석의 핵심내용을 단순하고 명확하게 전달할 수 있도록 구조적으로 시각화한다.

이후에는 추가정보를 이용해 시각화한 그래프를 보정하고, 시각표현을 극대화해 품질을 높이기 위해 타이포그래피, 그리드, 색상, 아이소타이프 등 그래픽디자인을 적용한다. 정보사용자의 행동이나 조작에 따른 반응, 정보시각화의 변화 등으로 정보와 정보사용자 간의 관계확장을 위해 사용자 참여를 유도하는 인터렉션 기능을 구현한다. 최종 디자인된 시각화결과물이 시각적으로 적절하게 구현되었는지도 확인한다.

이들은 데이터 관련 작업의 모든 과정을 이해하면서도 의미 있는 인사이트를 파악해내고, 이를 효과적으로 전달할 수 있는 스토리텔링을 설계할 수 있어야 한다. 설계된 스토리텔링을 시각화 작업을 통해 구현하는 역량까지 갖춘 융합 인재라고 할 수 있다. 기본적으로 프로그래밍을 다룰 수 있는 공학적인 능력과 디자인 감각이 함께 있어야 한다. 또한 최신 기술을 습득해 세계적 수준의 경쟁력을 갖춘 글로벌 역량, 팀웍의 시너지로 데이터 웍스를 수행할 수 있는 프로젝트 수행 역량도 필수다.

데이터 디자이너가 되기 위해서는 컴퓨터공학, 컴퓨터과학 및 정보통신 관련 학과에서 공부하는 것이 좋다. 이와 함께 디자인 감각도 중요하기 때문에, 디자인 계열 수업도 함께 들으면서 디자인 감각을 키우는 것이 필요하다. 시각디자인, 컴퓨터그래픽디자인 등의 전공도 관련 전공이라고 할 수 있다. 무엇보다 다양한 데이터 시각화 경험을 쌓는 것이 필요하다.

◆ 관련직업 ④ 데이터베이스개발자, 데이터엔지니어

데이터를 효과적으로 관리하기 위해서는 데이터를 분석·설계해 데이터베이스 관리시스템(DBMS)을 구축하고 효과적으로 관리·운영하는 사람이 필요하다. 데이터베이스(DB) 개발자는 데이터베이스를 설계하고, 최적화를 위한 관리 업무를 수행한다.

데이터베이스 개발자는 방대한 데이터들을 효율적으로 처리, 관리할 수 있는 오라클, MSSQL, My SQL, 인포믹스, 사이베이스, DB2 등의 툴을 이용해서 정형화된 데이터를 구축한 데이터베이스 관리시스템을 설계·개발하고 관리한다. 또한 고객의 금융 정보와 같은 자료를 저장하고 조직화하는 특화된 소프트웨어를 사용해 해당 자료를 고객이 원할 때 활용할 수 있도록 하고, 허가되지 않은 접근으로부터 보호한다.

이들은 데이터베이스의 범위와 용도, 주 이용자, 용량, 저장 공간, 처리속도 등을 고려해 데이터 베이스를 설계·기획·구축한다. 이 과정에서 데이터베이스 사용자 등록 관리, 자료에 대한 백업 및 복구 절차, 데이터베이스의 보안정책 등을 고려해 설계한다. 자료 관리에 대한 총체 적인 컨설팅 업무를 수행하기도 한다.

데이터베이스의 모델링을 통한 논리적·물리적인 데이터베이스의 구조설계, 자료의 수집과 분류를 통한 데이터 가공, 입력, 편집 등도 수행한다. 데이터베이스의 관리적인 측면에서 데이터베이스의 성능을 모니터링하고, 성능 향상을 위한 시스템 점검 및 보완을 담당하며, 기존의 데이터베이스를 업그레이드하거나 신규 데이터베이스 개발·구축 시 데이터베이스를 분석·설계하고 테스트를 실시한다.

또한 데이터베이스를 신규로 구축 하거나 변경할 때 사용자에 대한 교육과 기술지원을 실시하며, 데이터베이스 시스템의 고장 및 사용상의 문제가 발생하게 되면 이를 복구한다. 데이터베이스 시스템의 기술적·환경적 변화에 따라 시스템 업그레이드를 계획하고, 데이터베이스 사용자의 불편 및 요구사항을 수시로 수집하여 차후 시스템의 변경 및 업그레이드 시 이를 반영토록 한다.

데이터베이스의 구축·설계를 위해 고객과 회의하는 일이 잦고, 고객의 기업체에 파견되어 근무하기도 한다. 데이터베이스 구축 시 문제가 발생하지 않도록 신경써야 하므로 정신적 스트레스가 있을 수 있다.

데이터베이스 개발자가 되기 위해서는 일반적으로 전문대학 및 대학교에서 컴퓨터공학, 전산학, 수학 등을 전공하고 진출한다. 각종 데이터베이스 관리시스템을 비롯해 데이터베이스의 운영과 관련한 하드웨어 및 소프트웨어에 대한 지식이 필요하다. 데이터를 분석·설계해 데이터베이스관리시스템을 구축하고 효과적으로 관리해야 하므로, 혁신적이고 분석적이며 꼼꼼한 성격의 사람에게 적합하다. 전산, 기술 설계, 기술 분석 등의 능력이 요구되며, 컴퓨터와 전자공학, 통신 등의 지식을 갖춘 사람에게 적합하다.

데이터베이스 개발자는 전문데이터베이스 제작업체나 데이터베이스 유통업체, 정보컨설팅업체, 시스템통합(SI)업체, 대량의 데이터를 관리하고 유통하는 공공기관 등에 진출, 데이터베이스 관리 및 구축·설계 업무를 담당한다. 업체에서는 채용 시 프로그래밍이나 데이터베이스 설계 등 관련 전문지식과 풍부한 실무경험을 가진 경력자를 우대하는 편이다. 경력이 쌓이면 데이터베이스와 관련한 컨설팅과 문제해결 방법을 전문적으로 제시하는 IT컨설턴트로 진출하거나 IT 기술영업원으로 진출하기도 한다.

한편, 데이터엔지니어는 빅데이터서비스 운영지침에 따라 제공서비스를 모니터링하여 서비스의 가용성, 연속성 등을 관리하고 서비스 변경내역을 관리한다.

이들은 서비스 제공의 안정성을 보장하기 위해 서비스 성능관리기준에 따라 서비스 성능을 측정한다. 서비스 성능개선을 위해 성능지연발생 시 근본원인을 파악하고 제거한다. 또한 서비스 가용성 관리기준에 따라 가용성을 측정하고, 서비스 가용성 관리기준 미준수 시 근본원인을 분석한다.

서비스 가용성 향상을 위해 서비스 가용성을 저해하는 근본원인을 제거하고, 서비스 품질보증을 위해 서비스 변경내역을 관리한다. 사용자 및 서비스 운영자 변화관리를 위해 서비스 변경 발생 시 변경된 내용을 전파한다. 변경내용이 안정적으로 적용되었는지 확인하기 위해 제공서비스를 모니터링한다.