서울백북스

조회 수 2595 추천 수 0 댓글 2
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부
 

베이즈이론에 관한 두 권의 책 "불멸의 이론", "신호와 소음" 가운데 한 권만 읽으시려면 "신호와 소음"을 읽으십시오. "신호와 소음"이 더 잘 쓴  책입니다. 다만, "신호와 소음"은 예측에만 초점이 맞추어져 있습니다. 베이즈 정리를 삶에 전면적으로 적용할 수 있다는 이야기는 하지 않습니다. "불멸의 이론"은 베이즈이론이 살아가는 데에 더 큰 영향을 끼칠 수 있다는 것도 이야기하지만 책 자체는 산만합니다. "불멸의 이론" 책은 양이 1/2이었더라도 저자가 하고 싶었던 말을 다 할 수 있었을 것 같습니다.


"모든 명제는 참 아니면 거짓이다. 확률은 참거짓을 따질 수 없는 특별한 경우에 적용하는 것이다." 이렇게 생각하신다면 베이즈 정리 때문에 왜 이 야단인지 이해하시기 어려울 것입니다.


  1. 나는 좋은 사람이다.

  2. OOO는 나쁜 사람이다.


이 명제가 참입니까, 거짓입니까? 1번 명제가 참이라고 내가 믿는다고 해도, 나를 아는 다른 사람들이 모두 그렇게 믿을까요?  


  • 교과서에 적힌 것은 참이다.


시험보는 학생들은 그렇다고 대답해야 좋은 점수를 받을 수 있을테지만, 정말로 100% 참이라고 믿으십니까?


  • 개편 전 교과서에 적힌 것은 참이다.

  • 20년 전 교과서에 적힌 것은 참이다.


이것이 100% 참이라고 대답하시는 분은 없을 것입니다. 100% 참인 교과서를 고친다는 것은 말이 안되지요. 그런데, 학생이 배울 때는 교과서에 적힌 것이 참인데, 언제 그렇지 않은 것으로 바뀌는 것입니까?


베이즈 정리는 다르게 생각하라고 합니다. 100% 참, 100% 거짓(=0% 참)인 것은 없고, 다만 우리가 그것을 0~100%의 다른 정도로 믿는 것이고 우리의 경험, 증거에 바탕해서 그 믿음을 수정할 필요가 있다고 합니다. 어떤 사건 때문에 " OOO는 나쁜 사람"이라고 생각하게 되었더라도, 그 사람의 행동을 계속 지켜 보고 나서 생각을 바꿀 수 있어야 하겠지요.


베이즈 정리는, 어떤 조건이 주어졌을 때의 확률, "조건부 확률"을 계산하기 위한 공식입니다. "모든 명제는 참 아니면 거짓이다. 확률은 참거짓을 따질 수 없는 특별한 경우에 적용하는 것"이라고 생각하신다면, 베이즈 정리의 위력을 이해하실 수 없습니다. "100% 진실도 없고, 100% 거짓(=0% 진실)도 없다"고 생각해야 베이즈 정리의 위력을 이해할 수 있습니다. 어떤 명제가 참일 초기 확률을 100%, 0% 로 설정하면 어떤 증거를 들이대어도 그 초기 확률이 바뀌지 않습니다.


그리고 가지고 있는 정보에 따라 확률이 다를 수 있다는 것도 인정하실 필요가 있습니다. 아래에 설명할 몬티 홀 문제에서 몬티 홀 쇼에 참여한 사람은 3개의 문 중 하나 뒤에 자동차가 있을 확률이 1/3이라고 말할 수밖에 없지만 (그 3개의 문을 구분할 아무런 정보가 없으므로), 쇼의 진행자에게는 그 확률이 1/3이 아닙니다. 진행자는 어느 문 뒤에 자동차가 있는지 이미 알고 있습니다.


베이즈 정리는 조건부 확률을 계산하기 위한 공식입니다.



모든 가능한 경우 중에 그 일이 일어나는 경우의 수를 세는 것이 확률이라고 이해하신다면 (주사위의 눈 6 가지 중에 1이 나오는 경우는 1가지 이므로 1이 나올 확률이 1/6이라고 이해하신다면), 이 공식도 같은 방식으로 이해하실 수 있습니다.


1000명 중 14명이 유방암에 걸리는데, 유방암에 걸린 환자 중 75%에 대해 양성 판정을 내리고, 유방암에 걸리지 않은 사람 중 10%에 대해 양성판정을 내리는 유방암진단법으로 양성 판정을 받은 사람이 실제로 유방암에 걸려 있을 확률이 얼마인지 이 공식으로 계산할 수 있습니다.


이 진단법으로 양성이나 음성 판정을 받기 전에, 어떤 사람이 유방암에 걸려있을 확률은  (1000명 중에 14명이 유방암환자라고 했으므로, 다른 정보가 없다면) 1.4%입니다.


유방암 환자 중 양성 판정


14명 × 75% = 10.5명

유방암 환자 중 음성 판정


14명 × 25% = 3.5명

비환자 중 양성 판정


986명 × 10% = 98.6명

비환자 중 음성 판정


986명 × 90% = 887.4명


양성판정을 받은 사람이 유방암에 걸려 있을 확률은, 양성 판정 받은 사람 중에 유방암에 걸린 사람의 비율이므로 위 표에 따라 아래처럼 계산하면 9.6%입니다. 강수 확률 10% 일기예보에 우산 들고 나가시는 분은 없을 것입니다. 양성판정을 받고 공연히 마음을 졸이느니, 이런 (부정확한) 검사는 받지 않는 편이 나을 수도 있습니다.



이 공식을 아래처럼 다시 쓸 수 있습니다. 이 공식은 유방암에 걸려 있을 확률 1.4%(초기확률)을, 그 유방암검사 양성판정이라는 조건에서 유방암에 걸려 있을 확률(사후 확률)로 수정하는 공식으로 이해할 수도 있습니다. 베이즈의 주관적인 확률로 해석하면, 내가 유방암에 걸렸다는 “믿음”의 정도를 1.4%에서 9.6%로 수정하는 것입니다.     


베이즈 정리에서 초기 확률을 0%로 놓으면 어떤 조건에서 계산해도 사후 확률은 항상 0%입니다. 한편, 초기 확률을 100%로 놓고 계산하면, 100% 초기 확률을 부여한 경우 이외의 다른 경우는 고려하지 않기 때문에, 사후 확률은 100%에서 바뀌지 않습니다. 초기 확률에 100%, 0% 대신 그 사이의 어떤 값을 설정하고 베이즈 정리를 통해 충분한 증거를 적용하면, 초기확률에 상관없이 같은 사후 확률에 도달할 수 있습니다.


몬티홀 문제에 베이즈 정리가 어떻게 적용되는지 봅시다.


몬티 홀 문제

위키백과, 우리 모두의 백과사전.

세 개의 문 중에서 1번 문 뒤에 차가 있을 것이라 선택했을 때, 진행자는 3번 문 뒤에는 염소가 있음을 보여주면서 1번 문 대신에 2번문을 선택하겠냐고 물었다.

몬티 홀 문제(Monty Hall problem)는 미국TV 게임 쇼 《Let's Make a Deal》에서 유래한 퍼즐이다. 퍼즐의 이름은 이 게임 쇼의 진행자 몬티 홀의 이름에서 따온 것이다. 퍼즐의 내용은 다음과 같다.

세 개의 문 중에 하나를 선택하여 문 뒤에 있는 선물을 가질 수 있는 게임쇼에 참가했다. 한 문 뒤에는 자동차가 있고, 나머지 두 문 뒤에는 염소가 있다. 이때 어떤 사람이 예를 들어 1번 문을 선택했을 때, 게임쇼 진행자는 3번 문을 열어 문뒤에 염소가 있음을 보여주면서 1번 대신 2번을 선택하겠냐고 물었다. 이때 원래 선택했던 번호를 바꾸는 것이 유리할까?

이때 진행자는 자동차와 염소가 어떤 문에 있는지 알고 있기 때문에, 진행자가 자동차가 있는 문을 여는 일은 발생하지 않는다.


몬티 홀 쇼 진행자가 3번 문을 열기 전에는, 쇼에 참여한 사람한테 3개의 문 중 어느 것이 가장 유리한지 판단할 정보가 없었으므로 문 뒤에 자동차가 있을 확률은 모두 똑같이 1/3이고, 참가자는 그 중 1번을 선택했습니다. 그러나, 쇼 진행자에게는 그 확률이 1/3이 아닙니다. 진행자는 어느 문 뒤에 자동차가 있는지 이미 알고 있습니다.


베이즈 정리를 적용해서 쇼 진행자가 3번 문을 연 다음에 확률이 어떻게 바뀌는지 따져봅시다.


1번 문에 자동차가 있고, 3번 문을 열 확률

(진행자는 문 2개 중 1개를 선택할 수 있습니다.)


1/3 × 1/2

2번 문에 자동차가 있고, 3번 문을 열 확률

(진행자는 3번 문을 열 수밖에 없습니다.)


1/3 × 100%

3번 문에 자동차가 있고, 3번 문을 열 확률


1/3 × 0%


따라서, 3번 문이 열린 조건에서 1번 문 뒤에 자동차가 있을 확률은 아래처럼 계산해서 1/3이고,


3번 문이 열린 조건에서 2번 문 뒤에 자동차가 있을 확률은 아래처럼 계산해서 2/3이고,


3번 문이 열린 조건에서 3번 문 뒤에 자동차가 있을 확률은 아래처럼 계산해서 0입니다.


따라서, 정답은 처음의 1번 선택을 고집하는 것보다, 2번으로 선택을 바꾸는 것이 더 유리하다는 것입니다. 폴 에르되시 같은 일급 수학자조차 “왜 선택을 바꿔야하는지 이해하지 못 하겠다”고 했으니 바로 이해가 안 되더라도 조급해 하지 마시고 곰곰이 생각해 보십시오 (http://www.dongascience.com/news/view/1039/opinion). 제가 베이즈 정리를 이해하는 데에는 10년이 넘게 걸린 것 같습니다.


문이 3개가 아니라 10개인 경우를 생각해 봅시다. 10개의 문 중 1번을 선택했는데 쇼 진행자가 3~10번까지 8개의 문을 열었다고 생각해 봅시다. 10개의 문 중 어느 것이 가장 유리한지 판단할 정보가 없었으므로 쇼 참가자의 입장에서 문 뒤에 자동차가 있을 확률은 모두 똑같이 1/10이고, 참가자는 그 중 1번을 선택했었습니다.


베이즈 정리를 적용해서 쇼 진행자가 3~10번 문을 연 다음에 확률이 어떻게 바뀌는지 따져봅시다.


1번 문에 자동차가 있고, 3~10번 문을 열 확률

(진행자는 문 9개 중 1개를 열지 않고 남겨둘 수 있습니다.)


1/10 × 1/9

2번 문에 자동차가 있고, 3~10번 문을 열 확률

(진행자는 3번 문을 열 수밖에 없습니다.)


1/10 × 100%

3번 문에 자동차가 있고, 3~10번 문을 열 확률


1/10 × 0%

4번 문에 자동차가 있고, 3~10번 문을 열 확률


1/10 × 0%

...


따라서, 3~8번 문이 열린 조건에서 1번 문 뒤에 자동차가 있을 확률은 아래처럼 계산해서 1/10이고,


따라서, 3~8번 문이 열린 조건에서 2번 문 뒤에 자동차가 있을 확률은 아래처럼 계산해서 9/10입니다.


쇼가 지금까지 이렇게 진행된 것을 모르는 사람이, 3~8번 문을 연 후에 쇼에 들어왔다고 해 봅시다. 이 사람 눈에 보이는 것은 아직 열리지 않은 문 2개와, 염소가 보이는 열려 있는 문 8개입니다. 이 사람에게는 다른 정보가 없으므로, 1번과 2번 문 뒤에 자동차가 있을 확률은 각각 1/2입니다.


정리해 봅시다. 가지고 있는 정보에 따라 확률이 다르고, 최선의 선택도 다릅니다.

  • 쇼에 지금 들어온 사람에게 (1번과 2번 문을 구분할 정보가 없는 사람에게)
    1번 문 뒤에 자동차가 있을 확률은 1/2,
    2번 문 뒤에 자동차가 있을 확률은 1/2입니다.

  • 처음에 1번 문을 고르고, 쇼 진행자가 3~8번 문을 열어준 것을 본 쇼 참가자에게
    1번 문 뒤에 자동차가 있을 확률은 1/10,
    2번 문 뒤에 자동차가 있을 확률은 9/10입니다.

  • 쇼 진행자는 이미 어느 문 뒤에 자동차가 있는지 알고 있으므로,
    1번 문 뒤에 자동차가 있을 확률은 0% 또는 100%,
    2번 문 뒤에 자동차가 있을 확률은 100% 또는 0%입니다.

'지식의 상태를 측정'하는 것이 확률이라는 베이즈 이론의 관점을 이해하시겠습니까? 아무 지식이 없으면 (쇼에 지금 들어온 사람처럼) 모든 가능성이 똑같다는 것이 최선의 예측입니다. 충분한 지식을 가진 사람은 (쇼 진행자처럼) 100% 확신할 수 있습니다. 불충분한 지식을 가진 사람은 (1번을 선택하고 3~8번 문이 열리는 것을 본 쇼 참가자처럼, 책 “신호와 소음”에 소개된 스포츠 도박사 불가리스처럼) 가진 정보를 최대한으로 사용해서 최선의 선택을 해야 합니다. 주식 투자에 실패하는 이유의 상당수는, 새로운 정보에도 불구하고 처음의 선택을 계속 최선의 선택이라고 고집하기 때문입니다.


10개의 문 중에 1번을 선택했는데, 쇼 진행자가 4~10번까지 7개의 문을 열었다고 생각해 봅시다. 10개의 문 중 어느 것이 가장 유리한지 판단할 정보가 없었으므로 문 뒤에 자동차가 있을 확률은 모두 똑같이 1/10이고, 참가자는 그 중 1번을 선택했었습니다.


베이즈 정리를 적용해서 게임쇼 진행자가 4~10번 문을 연 다음에 확률이 어떻게 바뀌는지 따져봅시다.



1번 문에 자동차가 있고, 4~10번 문을 열 확률

(진행자는 문 9개 중 열지 않은 문 2개를 선택할 수 있습니다.)


1/10 × 1 / 9C2

2번 문에 자동차가 있고, 4~10번 문을 열 확률

(진행자는 문 8개 중 1개를 선택할 수 있습니다.)


1/10 × 1/8

3번 문에 자동차가 있고, 4~10번 문을 열 확률

(진행자는 문 8개 중 1개를 선택할 수 있습니다.)


1/10 × 1/8

4번 문에 자동차가 있고, 4~10번 문을 열 확률


1/10 × 0%

...


따라서, 4~8번 문이 열린 조건에서 1번 문 뒤에 자동차가 있을 확률은 아래처럼 계산해서 1/10이고,


따라서, 4~8번 문이 열린 조건에서 2번 문 뒤에 자동차가 있을 확률은 아래처럼 계산해서 9/20이고,


따라서, 4~8번 문이 열린 조건에서 3번 문 뒤에 자동차가 있을 확률은 아래처럼 계산해서 9/20입니다.


이런 식으로 10개의 문에서 하나를 선택했는데, 쇼 진행자가 문을 6개 열어준 후의 확률, 문을 5개 열어준 후의 확률, 문을 4개 열어준 후의 확률, 문을 3개 열어준 후의 확률, 문을 2개 열어준 후의 확률, 문을 1개 열어준 후의 확률을 모두 계산할 수 있습니다. 계산을 모두 해 보시면, 문을 몇 개를 열었든  (0개를 열었든, 1개를 열었든, …, 7개를 열었든, 8개를 열었든) 쇼 참가자가 맨 처음에 선택한 1개의 문 뒤에 자동차가 있을 확률은 1/10이고, 선택하지 않은 9개의 문 뒤에 자동차가 있을 확률은 모두 합해서 9/10입니다.


문을 하나씩 더 열 때마다 엄밀한 방식으로 사후 확률을 알아내려면 지루한 계산을 해야 합니다. 컴퓨터가 등장하기 전에 베이즈 정리를 실제 문제에 적용하기는 어려웠을 것입니다. 실제 문제는 몬티 홀 쇼처럼 규칙이 간단하지도 않고 다루어야 할 정보의 양도 많습니다. 이제 지루한 계산은 컴퓨터에 맡길 수 있기 때문에 베이즈 정리를 실제 문제에 적용할 수 있습니다. IBM 왓슨 컴퓨터가 퀴즈 쇼 “제퍼디!”에서 사람과 겨루어 이길 때는, 약 80 kW의 전력을 사용하여 2880개의 CPU가 15테라바이트(=15,000기가바이트)의 메모리를 사용하여 이렇게 지루한 계산을 하고 있었을 것입니다.


서울 백북스 2014년 10월 31일 모임에서 제가 발표했던 자료를 보완해서 첨부했습니다.


고원용


  • ?
    박용태 2014.11.21 19:41
    아주 유익한 강연이었습니다.
  • ?
    김제원 2014.11.21 19:41
    감사합니다.

    불멸의 이론을 읽는 내내 베이즈 정리의 핵심적인 내용을 이해할 수 없어서 답답했고, 결국은 반 정도 읽다가 그만 두었습니다.

    정리해주신 글을 찬찬히 따라가보니 훨씬 더 깊게 이해가 됩니다. 10년이 걸리셨던 걸 단순간에 다 이해한다는건 염치가 없는 일인지라... 아직 다 퍼펙트하게 이해가 되진 않습니다^^.

    적어도, 새로운 정보를 얻으면 사후확률이 업데이트 된다는 말이 무슨 뜻인지는 알 것 같습니다. (몬티홀 문제를 보고 나니).