데이터가 폭발하는 거대한 변화의 소용돌이 속에서
우리는 어떻게 살아갈 것인가?
제3의 물결을 잇는 가치와 혁신의 원천,
경제ㆍ사회ㆍ과학ㆍ기술 분야를 지배하는 새로운 패러다임, 빅 데이터!
일하고 생각하는 방식이 바뀌고 있다. 빅 데이터를 통해 우리는 이전에 알 수 없었던 것들을 찾아내고, 거시적인 통찰력을 갖추고, 패턴이나 상관성을 읽어내어 데이터 스스로 진실을 드러내게 할 수 있다. 모든 것의 데이터화는 그동안 정보로 취급하지 않았던 것들까지 새로운 방식으로 활용할 수 있게 해준다. 이제 빅 데이터는 우리의 경제 상황과 사회, 그리고 삶을 급속도로 변화시키고 있다. 불확실하지만 스마트한 정보가 넘치는 시대에 우리는 무엇을 어떻게 준비할 것인가.

빅 데이터 혁명에 관한 긍정적이고 실용적인 시각
엄청나게 많은 복잡하고 헝클어진 정보들을 이용해 쇼핑 패턴부터 독감 발병에 이르기까지
수많은 예측을 가능하게 하는 놀라운 방법들!

중고차 중에서 어떤 색깔의 차량이 가장 상태가 좋을까? 뉴욕의 공무원들은 폭발 위험이 가장 높은 맨홀 뚜껑을 어떻게 알아낼까? 구글은 대체 어떻게 신종 플루의 발병을 예측했을까?
이런 질문에, 그리고 훨씬 더 많은 질문에 답하기 위한 핵심 열쇠가 바로 ‘빅 데이터’다. 빅 데이터란 방대한 양의 정보를 고속 처리하여 즉시 분석하고, 그로부터 놀라운 결론을 도출해내는 능력이다. 이 능력이 알려진 것은 얼마 되지 않았다. 이 새로운 방법을 사용하면 항공권 가격부터 수백만 권의 책까지 무수한 현상을 검색 가능한 형태로 바꿀 수 있다. 빅 데이터는 급성장한 컴퓨터 연산능력을 이용해 지금까지 한 번도 알지 못한 것들을 알게 해준다. 인터넷의 발명, 심지어 인쇄기의 발명에 견줄 만한 혁명이 시작된 것이다. 앞으로 몇 년 동안 빅 데이터는 비즈니스, 정치, 교육, 건강, 혁신을 생각하는 방식을 바꿔놓을 것이다. 빅 데이터는 새로운 위협이 될 수도 있다. 지금과 같은 사생활은 사라지고 빅 데이터가 제시하는 미래 행동 예측에 기초하여 아직 저지르지도 않은 일에 대해 처벌받게 될지도 모른다.
빅 데이터에 정통한 두 전문가는 이 책에서 빅 데이터가 무엇이며, 그것이 우리의 삶을 어떻게 바꿔놓을지에 관해 분명하고 놀라운 설명을 한다. 빅 데이터가 가져올 위험으로부터 우리를 지킬 수 있는 방법은 무엇일까? 이 책은 차세대 빅 트렌드를 명쾌하고 재미있게 읽어내는 첫 대작이다.

빅 데이터가 갖는 과학적ㆍ사회적 가치뿐만 아니라 빅 데이터가 어느 정도의 경제적 가치의 원천이 될 수 있을까? 빅 데이터 세상은 다양한 방식으로 비즈니스와 과학 분야뿐만 아니라 헬스케어, 정부, 교육, 경제, 인문, 사회에 이르기까지 모든 분야를 뒤흔들 것이라는 예측은 이제 우리의 현실이 되었다. 물론 아직은 빅 데이터의 여명기이지만. 그렇다면 우리는 적극적으로 변화의 시대를 맞이할 준비를 서둘러야 한다.
빅 데이터의 핵심은 예측에 있다. 빅 데이터를 인공지능이라는 컴퓨터 과학이나 기계 학습의 일부로 설명하는 사람들도 있다. 하지만 그것은 잘못된 판단이다. 빅 데이터는 엄청난 양의 데이터에 수학을 적용해 확률을 추론하려는 노력이다. 어떤 이메일이 스팸 메일일지, 무단횡단 중인 사람의 궤도와 속도로 보아 그 사람이 제때 길을 건널지, 무인 자동차가 언제 속도를 살짝 늦춰야 할지 등과 같은 것들이다. 이런 시스템이 잘 작동하는 것은 예측에 필요한 데이터를 많이 공급받기 때문이다. 시스템이 스스로 개선될 수 있도록, 더 많은 데이터가 들어오면 어느 것이 최상의 신호이고 패턴인지 기록해나가게끔 설계되어 있기 때문이다.
미래에, 어쩌면 생각보다 빠른 미래에 지금은 순전히 인간의 판단 영역에 속하는 것들이 컴퓨터 시스템에 의해 보강되거나 대체될 것이다. 운전이나 데이트 상대 고르기뿐만 아니라 훨씬 더 복잡한 일들까지도.
지금도 아마존은 우리에게 맞는 책을 추천해주고, 구글은 가장 적절한 웹사이트부터 순서대로 보여준다. 페이스북은 나의 선호를 알고 있고, 링크드인은 내가 누구와 연줄이 닿는지 꿰뚫고 있다. 똑같은 기술이 질병 진단과 치료법 추천에도 적용될 것이다. 어쩌면 실제 범죄가 일어나기도 전에 ‘범죄자’를 찾아내게 될지도 모른다. 인터넷이 컴퓨터에 통신 기능을 부가하여 세상을 완전히 바꿔놓았듯, 빅 데이터도 컴퓨터에 지금까지와는 차원이 다른 양적 측면을 부가해 우리 생활의 기본 양상을 바꿔놓을 것이다.

원인을 알 필요는 없다, 데이터 스스로 진실을 드러내게 하라!
원인 대신 패턴이나 상관성을 찾아내어 새로운 이해와 통찰의 세계로 데려다놓는 빅 데이터 시대

빅 데이터는 세상을 수량화하여 이해하고 싶은 인류의 탐험에 큰 진전이 이루게 해줄 것이다. 이전에는 측정ㆍ저장ㆍ공유ㆍ분석할 수 없었던 것들이 끊임없이 데이터화되고 있다. 조그만 일부분이 아니라 방대한 양의 데이터, 덜 정밀하지만 더 많은 데이터를 이용한다면 새로운 이해의 길이 열린다. 사회는 오랫동안 선호되어온 인과관계를 버리고 상관관계의 편익에 의존할 것이다. 인과관계의 메커니즘을 이해하고 싶은 인류의 이상은 자기만족적 환상이며 빅 데이터는 이 환상을 뒤집어엎을 것이다.
우리가 굳게 믿고 있던 확실성이 또 한 번 바뀌고 있다. 이번에는 더 확실한 증거에 의해 기존의 확실성이 대체되고 있다. 그렇다면 이제 직관과 신념, 불확실성에게는 무슨 역할이 남을까? 증거에 반해 행동하고 경험에서 배우는 일은 이제 다시 일어나지 않을까? 지금의 사회와 인간관, 진보는 이성을 기초로 한 것이다. 인과성에서 상관성으로 세상이 바뀌는데 이런 것들의 기반이 송두리째 흔들리지 않고서야 다음으로 넘어갈 수 없을 것이다. 지금 우리는 어디쯤 서 있는지, 어떻게 여기까지 왔는지를 설명하고 우리 앞에 놓인 혜택과 위험에 대한 시급한 가이드를 제공하는 것이 이 책의 목적이다.
앞으로 빅 데이터는 새로운 경제적 가치와 혁신의 원천이 된다. 빅 데이터의 부상은 곧 정보 분석 방법의 변화를 불러오고 우리가 사회를 이해하고 조직하는 방법을 바꿔놓을 것이다. 새로운 세상은 더 많은 데이터를 분석할 수 있다. 이전의 샘플링 방식으로 도저히 알아낼 수 없는 하위 범주와 하위 시장들을 찾게 되는 것이다. 두 번째 변화는 방대한 데이터를 들여다보게 됨으로써 정밀성에 대한 욕구가 줄어들 것이다. 빅 데이터는 들쭉날쭉하고, 속성이 서로 다르며, 전 세계 수많은 서버에 산재해 있는 경우가 많다. 그래서 빅 데이터를 사용할 때는 센티미터 단위, 원 단위, 분자 단위까지 현상을 이해하기보다 일반적 방향성으로 만족해야 할 때도 많을 것이다. 이것은 정밀성을 전부 내다버린다는 것이 아니라 정밀성만 고집하지 않는다는 뜻이다. 미시적 차원의 정확성을 잃는 대신 거시적 차원의 통찰력을 얻는 것이다. 이러한 변화에서 ‘인과관계 추구’라는 오래된 습관에서 멀어지는 결과를 낳는다. 빅 데이터 세상에서는 인과관계에 얽매일 필요가 없다. 패턴이나 상관성을 찾아내어 새로운 이해와 귀중한 통찰을 얻으면 된다. 상관성은 어떤 일이 정확히 왜 벌어지고 있는지를 설명하지 못할지도 모르지만 그 일이 지금 일어나는 중이라고 경고해줄 수는 있다. 어떤 현상의 원인을 항상 알아야 할 필요는 없다. 데이터 스스로 진실을 드러내게 하면 된다.

왜 그런 결정을 내리게 되었는지 이유를 설명할 수 없다고?
누가 범죄를 저지르고, 심장마비에 걸릴 것인지를 알아내는 알고리즘이 등장하고
비즈니스와 시장, 사회의 본질이 변화하면서 새로운 제도와 규칙 마련해야

인간은 수천 년 동안 데이터를 분석해왔다. 고대 메소포타미아에서 글이 발달한 것은 관리들이 정보를 파악하고 기록할 효율적 도구가 필요했기 때문이다. 성서 시대 이후 여러 정부는 주민들에 관한 데이터를 수집하기 위해 인구조사를 실시했다. 지난 200년간 보험 계리사들은 리스크를 알아내거나 피하기 위해 많은 데이터를 수집했다. 그러나 아날로그 시대에는 데이터를 수집하고 분석하는 데 엄청난 비용과 시간이 소요됐다. 새로운 의문점이 생기면 데이터를 새로 수집해야 했고 처음부터 다시 분석해야 하는 경우가 많았다.
디지털화의 도래로 효율적 정보처리에 큰 진척이 일어났다. 아날로그 정보를 컴퓨터가 읽을 수 있게 만들자, 더 쉽고 저렴하게 정보를 저장하고 처리할 수 있었고 효율성이 극적으로 개선되었다. 한때는 1년이 걸렸던 정보 수집과 분석 과정이 이제는 며칠 내, 혹은 훨씬 더 짧은 기간에 가능해졌다. 다른 것들은 별반 달라지지 않았다. 데이터를 분석하는 사람들은 데이터가 단일 목적으로만 가치 있다고 가정하는 아날로그 패러다임에서 벗어나지 못한 경우가 너무 많았다. 우리가 사용하는 프로세스가 이런 편견을 지속시켰다. 디지털화가 빅 데이터로의 이행에 중요한 역할을 한 것은 사실이지만 컴퓨터의 존재만으로는 빅 데이터가 생겨날 수 없었다.
데이터화란 하늘 아래 모든 것에 관한 정보를 수집하는 일로, 개인 위치 정보나 엔진의 떨림, 교량이 받는 하중처럼 여태껏 한 번도 정보라고 생각해보지 않았던 것들까지 정보로 수집해 수량화할 수 있는 데이터 형식으로 변환하는 것을 말한다. 이렇게 되면 ‘예측 분석’과 같은 새로운 방식으로 정보를 활용할 수 있다. 열이나 진동에 기초해 엔진이 곧 고장 날 것인지를 감지하는 것이다. 이렇게 하면 정보에 내포된 잠재적 가치를 끌어낼 수 있다.
그렇다면 빅 데이터로 인해 비즈니스와 시장, 사회의 본질이 어떻게 변화할까? 20세기에는 땅이나 공장과 같은 물리적 인프라에서 브랜드나 지적재산 같은 무형 인프라로 가치의 이동이 일어났다. 이제 그 이동은 데이터에까지 확장되고 있다. 데이터는 기업의 중요 자산이자 경제의 필수적 인풋, 새로운 비즈니스 모델의 기반이 되고 있다. 정보 경제의 석유가 된 것이다. 데이터가 기업 재무제표에 표시되는 것도 시간문제다.
정확하고 인과 원칙을 따르는 소규모 정보에 기초해 의사 결정을 내리는 제도의 변화도 불가피해졌다. 우리가 가진 데이터는 어마어마한 규모이고 빠르게 처리될 수 있으며 부정확성이 용인된다. 데이터의 방대한 크기 때문에 인간이 아닌 기계가 결정을 내리는 경우가 늘어난다. 이것은 빅 데이터의 어두운 이면이다.
컴퓨터 시대 초기에 정책 입안자들은 기술이 사생활을 위협할 수 있다는 사실을 알아챘고, 이후 사회는 개인 정보를 보호하기 위한 많은 규칙을 만들어냈다. 이런 법칙들이 빅 데이터 시대에는 쓸모없어진다. 사람들이 기꺼이 온라인상에서 정보를 공유하기 때문이다. 개인 정보는 온라인 서비스의 핵심 기능이지 예방이 필요한 취약 지대가 아니다.
한편 개인들에게 위험 요소는 사생활 보호가 아니라 확률이 될 것이다. 누가 심장마비에 걸릴지(그래서 보험료를 더 내야 할지), 주택 담보 대출금을 못 갚게 될지(그래서 대출을 거절당할지), 범죄를 저지를지(그래서 미리 체포되어야 할지) 등을 알고리즘이 예측하게 될 것이다. 그리고 자유의지의 역할과 데이터가 휘두르는 독재 사이에 윤리 문제가 대두될 것이다. 개인의 자유의지가 빅 데이터에 우선해야 하는가? 통계가 그렇지 않다고 말할 때도? 인쇄술이 발명된 후에야 언론의 자유를 보장하는 법률이 만들어졌다. 그전에는 글로 된, 보호해야 할 언론이 거의 없었기 때문이다. 마찬가지로 빅 데이터 시대에는 개인의 존엄성을 보호하기 위한 새로운 규제가 요구될 것이다.
앞으로 다가올 세상은 데이터에 기초한 예측이 난무하는 세상이다. 왜 그런 결정을 내리게 되었는지 아무도 이유를 설명할 수 없을지 모른다. 의사가 환자에게 알 수 없는 이유를 따르라는 말 외에는 자신의 의료 행위를 정당화할 수 없다면 어떻게 될까? 빅 데이터에 기초해 진단을 내린다면 분명 그렇게 될 텐데……. 사법 체계의 기준이 ‘상당한 이유’에서 ‘확률적 이유’로 바뀌어야 할 것인가? 그렇다면 인간의 자유와 존엄성에는 무슨 일이 생길까?
빅 데이터 시대에는 새로운 원칙이 필요하다. 그것들은 스몰 데이터 세상에서 만들어지고 고수되어온 가치들 위에 세워질 것이다. 하지만 오래된 규칙들을 새로운 환경에 맞게 수정하는 정도로는 충분치 않을 것이며, 이전에 없던 원칙들이 무더기로 필요하다는 것을 알게 될 것이다.
빅 데이터는 무수한 방식으로 사회에 혜택을 가져올 것이다. 기후 변화 대처, 질병 근절, 바람직한 정부 구조 개발, 경제 발전 등 긴급한 전 지구적 문제를 해결하는 데 일조할 것이다. 하지만 기술의 활용은 각종 제도와 함께 우리 자신도 바꿔놓을 것이므로 철저한 대비책이 뒤따라야 한다.

≪이 책에 쏟아진 찬사들≫

ㆍ당분간 확실한 사실 한 가지는, 당분간 빅 데이터에 관한 논의는 이 책을 중심으로 진행될 것이라는 점이다. _포브스닷컴

ㆍ이 책의 저자들은 ‘빅 데이터’가 실리콘밸리에서만 통용되는 유행어 수준을 뛰어넘는다고 확신한다. 현재 진행 중인 데이터 열병의 이점과 해악에 관해 이토록 균형 있는 관점으로 누구나 알기 쉽게 말해주는 책은 없다. _≪월스트리트 저널≫

ㆍ중요한 통찰과 정보를 제공하는 책이다. _≪북리스트≫

ㆍ정보사회의 기술적 경이를 찬양하는 책은 많다. 하지만 이 책은 정보 그 자체에 관한 독창적 분석을 담고 있다. 수조 개의 검색어와 전화 통화, 클릭, 질문, 구매 목록 등과 같은 것들 말이다. 컴퓨터가 제공하는 어마어마한 상관성이라는 가능성과 그것을 이용하는 사업가들에 관해 흥미진진하고 열정적인 이야기가 펼쳐진다. _≪커커스 리뷰≫

ㆍ빅 데이터는 기업 경영자들이나 기술에 정통한 정치인들이 자주 들먹이는 용어지만 시민의 자유를 옹호하는 이들에게는 걱정을 안기는 단어다. 이게 모두 무슨 얘기인지 알고 싶다면 이 책을 읽어보라. 빅 데이터라는 광범위한 주제에 관해 포괄적이면서도 흥미로운 소개를 받게 될 것이다. 빅토르 마이어 쇤버거와 케네스 쿠키어는 빅 데이터의 축복과 우리의 자유를 동시에 누릴 수 있는 현명한 방안들을 제시한다. 생생한 사례들로 넘치는 이 책을 통해 빅 데이터 폭발은 이제 막 시작되었다는 사실을 분명히 알게 될 것이다. _≪보스턴 글로브≫

ㆍ모든 것에 대한 시각을 바꿔놓는 책은 10년에 한두 권 나온다. 이 책이 바로 그런 책이다. 이제 사회는 빅 데이터가 가져올 변화에 대해 생각해보기 시작했다. 이 책은 그 중요한 시작을 알린다. _로렌스 레식(하버드대 로스쿨 교수)

ㆍ이 책은 오늘날의 정보 폭발이 세상에 대한 우리의 기본적 이해 방식을 근본적으로 어떻게 바꿔놓을지를 잘 보여준다. 앞으로 회사들은 어떻게 가치를 창출하고, 정책 입안자들은 무엇을 경계하고, 모든 이가 어떻게 인지모델을 바꿔야 할지 과감하고 분명한 주장을 유려한 문체로 표현하고 있다. _조이 이토(MIT 미디어랩 연구소장)

ㆍ비즈니스 세계의 미래를 결정지을 핵심 트렌드에 관해 남보다 먼저 알고 싶다면 반드시 읽어야 할 책이다. _마크 베니오프(세일즈포스닷컴 회장)

ㆍ빅 데이터 혁명에 관한 긍정적이고 실용적인 시각을 제시한다. 우리가 알아야 할 커다란 변화는 이미 시작되었고, 더 큰 변화가 우리를 기다리고 있다. _코리 닥터로우(보잉보잉닷컴 공동 편집자)

ㆍ물은 축축하지만 개별 물 분자가 축축한 것은 아니듯, 빅 데이터를 사용하면 개별 데이터로는 알 수 없는 정보를 알 수 있다. 엄청나게 많은 복잡하고 헝클어진 정보들을 이용해 쇼핑 패턴부터 독감 발병에 이르기까지 수많은 예측을 가능하게 하는 놀라운 방법들이 펼쳐진다. _클레이 서키(뉴욕 대학교 교수, 칼럼니스트)

ㆍ빅 데이터를 둘러싼 미스터리와 과대 선전을 단칼에 정리하는 책이다. 업계에 속한 사람이라면 누구나 반드시 읽어야 할 책이며 IT, 공공정책, 정보기관, 의료계에 속한 사람들에게도 필독서다. 단순히 미래가 궁금한 사람이 읽어도 좋다. _존 실리 브라운(전 제록스 수석연구원, 제록스 팔로알토 연구센터장)

ㆍ정보를 활용하는 새로운 방식에 관한 통찰력이 넘치는 책이다. 이 책에 제시된 미래는 설득력이 있다. 빅 데이터를 사용하거나 빅 데이터의 영향을 받는 사람이라면 반드시 읽어야 할 책이다. _제프 조너스(IBM 엔티티 애널리틱스 수석연구원)

≪저자와의 인터뷰≫

1. 이 책을 쓰기 위해 어떤 과정이 필요했는가?
쿠키어는 그동안 ≪이코노미스트≫의 유럽과 아시아, 미국 지부에서 일하며 기술과 비즈니스에 관한 기사들을 써왔기 때문에 데이터 관련 커뮤니티에 끈이 잘 닿아 있다. 쇤버거는 이전에 하버드 대학, 지금은 옥스퍼드 대학에서 정보 경제를 연구하고 있으며 지난번에 출간한 책 『잊어질 권리』가 호응을 얻었다. 그래서 우리는 이만하면 이 분야에 길이 남을 만한 책을 한 권 쓸 수 있겠다고 판단했다. 집필 과정에서는 빅 데이터 선구자들에 관해 알려지지 않은 이야기를 찾고 싶었다. 그래서 많은 인터뷰를 했고 끈기 있게 파고들었다. 우리는 커다란 발상의 전환을 다루면서도 좋은 사례와 많은 성공담을 통해 흥미진진한 책이 되도록 애썼다.
2. 두 사람은 빅 데이터의 치어리더 역할을 자처하는가?
전혀 그렇지 않다. 우리는 빅 데이터의 전령일 뿐 전도사는 아니다. 빅 데이터 시대는 이미 도래했으며 우리는 그 동인이 무엇이고 예상 궤적은 어떠할지 살펴볼 뿐이다. 우리가 일하는 방식과 생활하는 방식에 어떤 변화가 생길지 한번 생각해보는 것이다. 다시 한 번 강조하지만 근본적인 변화는 데이터를 계산하는 기계가 아니라 데이터 그 자체, 그리고 그것을 활용하는 방식에 있다.
3. 빅 데이터의 새로운 활용 방식들 중 가장 놀라게 한 것은 무엇인가?
폭발하는 맨홀을 예측하거나, 실시간으로 인플레이션을 추적하는 일, 조산아들의 생명을 구하는 것이라고 답할 수도 있다. 하지만 우리가 가장 놀랐던 부분은 빅 데이터를 활용하는 방식이 이토록 다양하다는 사실 그 자체다. 빅 데이터는 이미 우리의 일상을 바꾸고 있었다. ‘빅 데이터’라고 하면 많은 사람들이 인터넷 경제를 떠올린다. 아마 구글과 페이스북이 워낙 많은 데이터를 보유하고 있기 때문일 것이다. 하지만 그렇게 생각하면 핵심을 놓치게 된다. 바로 빅 데이터는 모든 곳에 존재한다는 사실 말이다.
4. 그러면 이 책은 주로 경제적 효율에 관한 내용인가?
빅 데이터가 경제적 효율성을 증진하는 것은 사실이지만, 그것은 전체 이야기 중 작은 부분에 불과하다. 수십 명의 빅 데이터 선구자들과 인터뷰를 거듭할수록 깨닫게 되는 것은 빅 데이터가 헬스케어, 교육뿐만 아니라 도시 개발에서 독감 확산에 이르는 사회적 변화 예측까지 도움을 주고 있다는 사실이다. 빅 데이터는 모든 경제 분야와 모든 생활 영역을 휩쓸고 있다.
5. 그러면 빅 데이터에는 ‘긍정적인 측면’만 있는가?
전혀 그렇지 않다. 이 책에도 ‘빅 데이터의 어두운 면’이 언급되듯, 매우 걱정스러운 부분들이 있다. 정말 난감한 부분은 문제의 핵심이 당초 우리가 생각했던 것처럼 감시나 사생활 문제가 아닐 수도 있다는 점이다. 빅 데이터가 오용될 수 있는 경우에 관해 면밀히 살펴본 결과 ‘성향’이 훨씬 더 큰 문제점이라는 사실을 알 수 있었다. 즉 빅 데이터의 예측을 토대로 경찰력을 동원하거나 처벌하는 일이 벌어질 수 있다. 기관들이 데이터의 한계를 제대로 인식하지 않고 맹목적으로 데이터에 의존하는 ‘데이터 숭배’ 현상이 일어날지도 모른다.
6. 이런 ‘어두운 면’에 대한 해결책은 무엇인가?
우선 어두운 면이 무엇인지 제대로 알아야 한다. 우리는 빅 데이터의 위험을 최소화하거나 완화할 수 있는 구체적인 방법에 관해 많이 고민했다. 그 결과 투명성을 확보하고 인간의 자유의지를 보장하며 사생활과 개인 정보의 이용 사이에 균형을 이룰 수 있는 방법을 몇 가지 생각해냈다. 이것은 매우 심각한 문제이며, 우리가 즉시 행동에 나서지 않는다면 머지않아 이미 늦어버릴 것이다.