[유재석의 비틀어 보기] 빅데이터⑭ 책 ‘빅데이터, 승리의 과학’에 담긴 교훈

*내재화·데이터사이언티스트 육성의 필요성 제고

‘내재화·데이터사이언티스트가 왜 빅데이터에 필요한가요?’

국내에서 빅데이터를 운영한다는 사례를 보면 ‘고객관계관리(CRM)’·‘빅데이터 플랫폼 설치’만으로 설명된다. 하지만 ‘빅데이터, 승리의 과학’은 내재화와 데이터사이언티스트가 이보다 더 중요하다는 것을 실제 사례를 통해 보여준다. 

‘빅데이터, 승리의 과학’은 지난 2012년 미국 대통령 선거에서 오바마 캠프가 지지자들의 데이터를 효율적으로 관리해 재선에 성공한 과정을 담은 책이다. 특히 이 책은 방대한 데이터의 관리·분석에 대해 상세하게 설명하고 있다.

오바마 캠프는 세계적인 온라인 마켓 아마존의 클라우드 컴퓨팅 기술과 대용량 데이터 오픈소스 플랫폼인 하둡을 이용해 선거운동을 펼쳤다. 이를 통해 수천대의 컴퓨터가 있어야 분석이 가능한 대용량 데이터의 저장 및 분석을 저렴한 가격과 실시간에 가까운 속도로 진행했다.

대용량 데이터가 일단 저장·분석된다면 개개인의 생각과 행동 패턴을 읽고 이들에 대해 맞춤형으로 접근할 수 있는 마이크로 타기팅이 가능하다.

‘빅데이터, 승리의 과학’은 오바마 캠프의 선거운동 때 진행됐던 마이크로 타기팅을 위해 형식과 내용이 각기 다른 데이터들을 효율적으로 분석할 수 있는 내재화 과정과 가설을 제시하는 데이터사이언티스트의 역할에 대해 설명했다.

오바마 캠프는 대선을 위해 최고기술책임자(CTO)로 하퍼 리드를 영입했다. 그를 통해 실리콘밸리의 IT개발자들이 캠프로 속속 모여들었다.

이들은 내재화 작업부터 시작했다. 2억명 이상의 유권자 정보를 저장해 놓은 서로 다른 형식의 데이터베이스를 연동시켰으며 저장된 데이터를 실시간 수준으로 분석하는 고속 컴퓨팅 환경을 조성했다. 또한 캠프 내 타 부서와의 정보 공유를 가속화 시켰다.

이를 통해 그 동안 각 부서가 갖고 있어 별개로 나뉜 1300만 명 오바마캠프 홈페이지 가입자의 성향 및 현재 출산 여부까지도 찾아내 이들을 향한 맞춤형 공약 이메일을 보낼 수 있었다.

당시 오바마 캠프가 갖고 있는 데이터는 온·오프라인을 망라하고 2억5000만명의 유권자의 1인당 500~1000개 항목에 달하는 수준이었다. 

캠프 내 데이터사이언티스트들은 주어진 데이터를 바탕으로 오바바 지지에 대해 적극적·미온적·중도층 등으로 세분화해 이들에 대한 맞춤형 메일을 보내는 작업을 진행했다.

국내의 기업과 정부기관은 빅데이터 프로젝트에 착수했다고 크게 홍보하고 있다. 하지만 이들은 빅데이터로 무엇을 할 것인지에 대해서는 그다지 집중하지 않는 것으로 보인다. 

단순히 빅데이터가 최신 기술이라서 이를 도입하기보다는 특정한 가설·목적 하에 데이터를 수집하고 분석해야 그에 맞는 인사이트를 얻을 수 있다는 것을 이 책은 강조하고 있다.