신호와 소음
예측이 실패하는 이유는 데이터의 부족이 아니다. 정보가 많다고 해서 예측이 쉬워지는 것은 아니다. 정보가 하나 둘 많아지면 오히려 불필요한 소음의 양도 늘어난다는 점을 간과해선 안된다. 문제는 우리가 가지고 있는 선입견과 데이터를 겸허하게 수용하지 않는 독단에서 비롯된다. 이런 문제를 해결하려면 예측을 끊임없이 갱신해야 한다고 네이트 실버는 강조한다.
데이터 분석이 제대로 체화된 회사는 지표변화의 ‘이유’를 우선 알고 싶어 한다.- by송길영
들어가며
정보의 양은 그 정보로 어떻게 해야 할지 이해하는 깨달음의 증가 속도보다, 또 유용한 정보와 그렇지 않는 정보를 가려내는 역량의 증가 속도보다 훨씬 빠르게 증가 했다.
세익스피어 연극은 흔히 운명에 초점을 맞춘다. 그의 작품이 그토록 비극적인 것은 바로 주인공들이 원하는 것과 운명 사이의 간극 때문이다. 자기의 운명을 그냥 받아들이지 않고 스스로 통제하겠다는 생각은 중요한 목표였다. <율리우스 카이사르>에서 세익스피어는 키케로의 목소리를 빌려 우리에게 경고한다. “ 사람들은 자기 식대로 사물을 추론한다. 그 사물의 목적을 지워버린다” 사람이 자기운명의 주인이라는 생각이 점차 퍼지고 있다. 예언은 예언자나 점쟁이가 쓰는 말이었고 예측은 전형적으로 불확실성의 조건에서 계획을 세우는 일을 의미했다.
예측은 신중함, 지혜, 부지런함을 전제로 하며 우리가 사용하는 통찰이라는 단어와 비슷하다.
빅 데이터의 시대에 예측은 그다지 잘 맞지 않는다는 사실이다.
미국인을 예외적 존재로 규정할 수 있는 한 가지 기준이 있다면 그건 바로 자기 운명은 자기 스스로 통제할 수 있다는 카시우스의 발상을 신봉한다는 점이다. 9.11테러나 진주만 공습은 미국인에게 ‘알려지지 않는 미지“였다. 최근의 글로벌 금융위기를 들러싼 예측도 온통 엉터리였다. 우리는 우리의 예측모델을 순진하게 신봉하게 되고 그 모델들이 우리가 여러 가설을 설정하고 선택하는 데서 얼마나 형편없는지를 제대로 깨닫지 못하는 바람에 재앙과도 같은 결과를 맞아야 했다.
우리는 예측하기를 좋아한다.
인간의 정신은 민첩하다. 반복적 양상을 잘 포착하여 기회나 위협에 즉각적으로 반응한다.
신경과학자 토마스 포조는 “ 인간은 반복 양상을 발견하려는 욕구가 다른 어떤 동물들보다 강합니다.... 사람들은 무작위의 소음속에서 양상을 발견하는 일을 늘 해오고 있습니다.”
인간의 생물학적 본능은 정보가 홍수처럼 넘쳐나는 현대 세상에 언제나 멋들어지게 적응하지는 않는다. 여러 편견을 알아차리고 적극적으로 나서지 안는 한, 새로 보태지는 정보가 가져다주는 편익은 지극히 최소한에 머물 수 있다.
한편 정보의 양이 하루에 2.5퀸틸리언 바이트식 늘어난다고 해도 유용한 정보의양은 그렇게 빠른 속도로 늘어나지 않는다. 정보 대부부은 그저 소음일 뿐이다. 객관적 진리의 양은 상대적으로 일정하다. 이제 우리는 멈추어 서서, 예측을 둘러싼 심각한 문제에 우리가 직면해 있음을 인정할 필요가 있다.
왜 예측의 대부분은 빗나가고 몇몇은 적중하는가
우리는 결코 완벽하게 객관적인 예측을 할 수 없다는 것을 불편하게 받아들일지도 모른다.
그럼에도 예측이 언제나 주관적 관점으로 오염된다는 점은 분명한 사실이다.
예측이 중요한 이유는 주관적 실체와 객관적 실체를 이어주기 때문이다. 포퍼는 어떤 가설이든 예측이라는 수단을 매개로 실제 현실에서 검증할 수 있어야한다고 말했다. 이는 우리가 검증하지 않는 견해 가운데 많은 게 잘못된 것일 수도 있음을 뜻한다. 우리가지금 우리 자신이 깨닫지도 못하는 많은 착각 속에서 살고 있음은 의심할 여지가 없다.
내가 제시하는 해법은 태도의 변화를 전제한다. 이 태도는 ‘베이즈 정리’라 불리는 이론으로 구체화한다. 이는 우리가 가지고 있는 여러 생각과 검증하는 방법에 대해 다르게 생각해야 함을 의미한다. 확률과 불확실성을 좀 더 편안한 마음으로 받아들여야 하며, 또한 우리가 문제 삼고자하는 가정이나 믿음을 좀 더 조심스럽게 살펴보아야 함을 의미한다.
어떻게 하면 내안에 숨어 있는 편견에 휘둘리지 않고 나의판단을 자료에 올바르게 적용할 수 있을까? 예측의 질이 높아질 때와 낮아질 때는 언제 인가? 과거를 지침으로 활용하려는 우리의 욕구와, 미래는 다를 것이라는 우리의 인식을 어떻게 하면 하나로 엮을 수 있을까?...
신호는 진리다. 소음은 우리가 진리에 다가서지 못하게끔 우리의 정신을 산만하게 한다.
1. 예측에 대한 근본적인 의문들
1) 경제 붕괴, 왜 전문가들은 예상하지 못했는가?
2008년 10월 주식시장은 자유낙하 중이었다. 최근 5주 동안 30% 가까이 떨어졌다. 주택 가격은 40% 가까이 허공으로 사라져버렸다. 나는 이 금융위기를 예측의 처참한 실패라고 보는 인식이 가장 정확하다고 생각한다. 예측실패에는 많은 공통점이 있다. 이 책은 세상을 실제로 존재하는 게 아닌 우리가 바라는 대로 바라보고 이야기하는 여러 신호에 초점을 맞춘다. 우리는 불확실성을 끔찍하게 싫어한다.
금융위기의 실체를 파악하고 싶다면 우리는 모든 잘못의 연유가 되는 최악의 예측 오류를 가려내는 일부터 시작해야 한다.
신용평가사 줄스 크롤은 ‘감시’부족을 신용평가사들의 최대실수로 지적했다. ‘그 사람들은 멍청이가 아닙니다. 그들은 음악이 멈추길 바라지 않았던 겁니다.’ 주택 거품 가능성과 이 거품이 꺼질 가능성이 신용평가사들의 노다지 장사에 위협으로 작용했다. 사실 신용 평가사들이 주택 거품 가능성을 진지하게 생각해 봤음은 확실하다. 하지만 그들은 그게 별 문제가 되지는 않으리라는 결론을 내렸다. 이런 상황은 주택 거품을 완전히 놓쳤을 경우보다 몇 가지 점에서 훨씬 더 심각하다. 어쩌면 유일하게 더 큰 위협은 우리가 어떤 것을 통제하고 있다고 생각하지만 실은 전혀 그렇지 않은 경우이다. 이련 유형의 위험이 ‘알려지지 않는 미지’의 범주에 속한다. 우리는 이 같은 경우에 자신을 속이게 된다.
위험에 대해 먼저 살펴보자. 위험에 가격을 설정할 수 있다.- 프랭크 나이트
불확실성은 반면에 측정하기 어려운 위험이다. 신용평가사들은 연금술을 부려 불확실성을 위험처럼 보이거나 느껴지게끔 왜곡했다.
제1막 – 주택 거품, 내 집을 둘러싼 환상
제2막 – 레버리지, 하우스 푸어를 양산하다.
인터미션 – 공포와 탐욕사이의 피드백. 서머스는 미국경제가 일련의 피드백 회로로 구성되어
있다고 본다. 서머스의 견해로는 통상 부정적 피드백이 미국 경제를 지배하면서 경제가 너무 과열되지도 않고 또 너무 식지도 않게 조절한다. 서머스는 가장 중요한 피드백이 공포와 탐욕사이의 피드백이라고 생각한다.
제 3막 – 파멸, 새로운 상황이 펼쳐지다.
어쩌면 백악관이 저지른 좀 더 근본적인 실수는 예측이 잘못될지도 모르는 우발적 사태에 모든 경제 주체들이 대비하도록 하지 못한 데 있는지 모른다.
네 가지 실패
주택 거품을 빈약한 지표라고 잘못 생각한 실패다.
신용평가사들이 그들의 예측 모델이 주택가격 폭락이 현실화 될 위험에 대해 잘못된 여러가정을 설정하고 있었으며 또한 잘못된 자신감이 있었다는 데 있다.
주택 위기가 글로벌 금융위기를 촉발할 수 있다는 데 대한 인식부족이라는 광범위한 실패다.
금융위기가 초래할 여러 경제 문제의 범위를 예측하지 못한 실수다. 이들 네 가지 예측의 실패 속에는 공통점이 하나 있다. ‘표본 외’다 주택 가격 폭락은 표본외 사건이었고, 신용평가사들이 운용하던 모델들은 이런 조건 아래에서 지급불능의 위험을 산정하는 데 아무 소용이 없었다. 우리는 우리의 예측모델이 세상을 단순화한 것이라는 사실을 잊어먹는다. 또는 의도적으로 무시한다. 우리가 실수를 한다면 바로 이 사실 때문임을 우리는 잘 알고 있다. 정보화시대에 우리가 직면한 위험 가운데 하나는 지식의 양이 아무리 넘쳐나더라도 우리가 실제로 아는 것과 우리가 안다고 생각한다는 것 사이의 격차는 점점 벌어지고 있다는 것이다. 금융위기는 이처럼 그리고 예측실패의 대부분은 이처럼 잘못된 확신에서 비롯한다. 정밀한 예측이 정확한 예측으로 가장한다.
