이 이야기는 로빈 도스(Robin Dawes)가 쓴 『카드로 만든 집(House of Cards)』에 소개된 매우 흥미로운 사례입니다. 우리는 흔히 전문가들이 사람을 보는 특별한 능력을 가지고 있다고 생각합니다. 오랜 경험을 가진 의대 교수라면 누가 훌륭한 의사가 될지 알아볼 수 있을 것 같고, 심리학자라면 누가 재범을 저지를 가능성이 높은지 판단할 수 있을 것 같습니다. 실제로 많은 사회 제도는 이러한 믿음 위에 세워져 있습니다. 대학 입시의 면접도 그렇고, 기업의 채용 면접도 그렇고, 범죄자의 가석방 심사 역시 비슷한 전제를 가지고 있습니다. 하지만 인간의 직관에 대한 이러한 믿음은 과연 사실일까요?
1979년 미국 텍사스 주는 휴스턴의 텍사스 의과대학 정원을 150명에서 200명으로 늘리는 법안을 통과시켰습니다. 학교 측은 이미 2,200명의 지원자 중에서 약 800명을 선발 대상으로 추려 놓은 상태였고, 이들을 대상으로 면접을 실시하여 0점에서 7점까지 점수를 부여했습니다. 이후 면접 점수를 바탕으로 상위권 학생들을 선발하여 입학 절차를 마무리하였습니다.
그런데 예상치 못한 문제가 발생했습니다. 정원 확대가 뒤늦게 결정되면서 학교는 추가로 50명의 학생을 더 선발해야 했습니다. 그러나 이미 우수한 지원자들은 대부분 다른 의과대학에 등록한 상태였습니다. 결국 학교가 선택할 수 있었던 사람들은 면접 순위가 700등에서 800등 사이에 위치한 학생들뿐이었습니다. 더욱 놀라운 사실은 이들 중 43명이 텍사스 의과대학뿐 아니라 다른 어떤 의과대학에서도 입학 허가를 받지 못했던 학생들이었다는 점입니다.
상식적으로 생각하면 이들은 원래 선발된 학생들보다 훨씬 능력이 떨어질 것으로 예상됩니다. 실제로 여러 의과대학의 면접관들이 공통적으로 그렇게 판단했던 사람들입니다. 만약 면접이 미래의 능력을 예측하는 의미 있는 도구라면, 이 두 집단 사이에는 상당한 차이가 나타나야 했습니다.
그러나 이후 Robert DeVaul이 수행한 추적 연구의 결과는 매우 놀라웠습니다. 원래 선발된 학생들과 추가 선발된 학생들 사이에는 의과대학 2학년 성적, 4학년 성적, 레지던트 1년차 성적에서 의미 있는 차이가 발견되지 않았습니다. 여기서 흥미로운 점은 단순히 통계적으로 유의한 차이가 없었다는 수준이 아니라는 것입니다. 실제 성적 자체가 거의 동일한 수준이었습니다. 의사 면허 취득률 역시 양 집단 모두 82%로 완전히 같았습니다.
| 구분 | 원래 선발군 | 추가 선발군 |
|---|---|---|
| 면접 순위 | 상위권 | 하위권 |
| 의대 평가 | 우수 | 대부분 탈락 |
| 2년차 성적 | 동일 | 동일 |
| 4년차 성적 | 동일 | 동일 |
| 레지던트 성적 | 동일 | 동일 |
| 의사 면허 취득률 | 82% | 82% |
이 결과는 매우 불편한 질문을 던집니다. 과연 면접관들은 무엇을 평가하고 있었던 것일까요? 수백 명의 학생을 평가하고, 누가 더 훌륭한 의사가 될 것인지를 판단하려 했지만, 결과적으로 그 판단은 미래의 성과를 거의 예측하지 못했습니다. DeVaul은 결국 의과대학 면접이 학생의 미래 능력을 평가하는 데 별다른 가치가 없다고 결론지었습니다.
흥미로운 점은 이러한 현상이 의대 입시에만 국한되지 않았다는 것입니다. 한때 미국에서는 심리학자와 전문가들의 면접 평가를 범죄자의 가석방 여부를 결정하는 중요한 자료로 활용했습니다. 사람들은 전문가들이 오랜 경험을 통해 인간 행동을 이해하고 있으며, 따라서 누가 다시 범죄를 저지를 가능성이 높은지를 잘 예측할 수 있을 것이라고 생각했습니다. 그러나 John Carroll 등의 연구 결과는 이러한 기대와 상당히 달랐습니다. 가석방 심사위원들의 평가와 실제 재범 여부 사이의 상관계수는 약 0.06에 불과했습니다. 사실상 예측력이 거의 없었다고 보아도 무방한 수준입니다. 반면 과거 범죄 횟수나 범죄 이력과 같은 몇 가지 단순한 정보만을 이용하여 계산한 통계적 예측은 상관계수 0.22를 나타냈습니다. 폴 미울(Paul Meehl)이 강조한 통계적 예측 방식이 전문가의 면접 평가보다 훨씬 더 정확했던 것입니다.
이러한 연구들이 보여주는 것은 특정 전문가 집단의 무능함이 아닙니다. 오히려 인간이 자신의 판단 능력을 얼마나 쉽게 과신하는가 하는 문제입니다. 우리는 사람을 직접 만나고 대화하면 상대방을 이해할 수 있다고 믿습니다. 경험이 많아질수록 그러한 자신감은 더욱 커집니다. 그러나 실제 연구 결과는 인간의 직관이 생각보다 훨씬 부정확하다는 사실을 반복적으로 보여주고 있습니다.
그렇다면 왜 우리는 단순한 통계 모델보다 전문가의 직관을 더 신뢰하고 싶어 할까요. 그것은 인간이 통제감의 환상을 선호하기 때문입니다. 냉정한 숫자와 확률 앞에서 인간의 운명이 결정되는 것은 불편합니다. 반면 “경험 많은 교수가 눈빛을 보고 내 잠재력을 알아봤다”는 서사는 인간을 기계 부품이 아닌 존엄한 주체로 느끼게 합니다.
전문가 집단도 이 믿음을 쉽게 포기하지 않습니다. 전문가 집단은 자신의 존재 이유를 지키기 위해 데이터를 거부하려는 유혹을 받습니다. 만약 몇 개의 변수로 계산된 수식이 20년 경력의 심리학자보다 더 정확하다면, 심리학자의 권위는 흔들립니다. 그래서 전문가 집단은 데이터를 “비인간적이다”, “맥락을 모른다”고 비판하며 자신의 직관을 미화하는 방어 기제를 작동시킬 수 있습니다.
이 연구들이 보여주는 인간 직관의 한계는 단순히 의대 입시나 가석방의 문제로 끝나지 않습니다. 이는 우리 사회가 권력을 어떻게 평가하는가와도 직결됩니다.
앞서 우리는 사회공학자들이 복잡한 사회를 몇 개의 추상 개념으로 환원해 파괴한다고 비판했습니다. 오바마를 “의로운 진보”로, 메르켈을 “이로운 보수”로 포장하는 이미지 정치 역시 냉정한 외교·안보 데이터를 외면한 채 “인격적 품격”이라는 직관적 인상에 사로잡힌 현상이었습니다.
텍사스 의대 교수들이 면접에서 학생의 눈빛과 태도를 보고 판단했지만 실제 성적은 그 판단과 다르게 나타났던 것처럼, 엘리트 평론가들도 정치인의 연설과 태도를 보고 “이 사람은 훌륭하다”고 판단할 수 있습니다. 그러나 실제 그 정치가 남긴 데이터, 이를테면 에너지 의존도, 국방비, 산업 기술 유출, 동맹 구조, 사회적 분열의 지표는 전혀 다른 이야기를 할 수 있습니다.
전문가의 직관이 데이터보다 못할 수 있듯이, 지식인의 도덕적 직관 역시 냉혹한 결과물보다 못할 수 있습니다. 진정한 경험주의란 전문가를 무시하는 태도가 아닙니다. 아무리 훌륭해 보이는 전문가와 아무리 선해 보이는 지도자라 할지라도, 그들의 직관을 결과물이라는 잣대에 세워 다시 검증하는 태도입니다.
직관을 검증하지 않고 신뢰하는 순간, 우리는 또다시 카드로 만든 집 위에 서게 됩니다.