![[재현성 위기 사례 ⑤] 우리는 왜 틀린 것을 사실이라고 믿는가](/_next/image?url=%2Fimages%2Fwhy-we-believe-falsehoods-as-facts.png&w=3840&q=75)
우리는 왜 틀린 것을 사실이라고 믿는가
재현성 위기가 보여준 인간 판단의 한계
앞선 글들에서 살펴본 저명한 연구들은 결코 처음부터 황당하거나 터무니없는 주장이 아니었습니다.
노인을 연상시키는 단어를 보면 걸음걸이가 느려진다는 실험은 인간이 무의식적 자극의 영향을 받는다는 기존 심리학 지식과 잘 맞아떨어졌습니다. 자제력을 사용하면 다음 과제에서 의지력이 약해진다는 자아 고갈 이론은 누구나 매일 경험하는 피로와 충동 억제의 어려움을 명쾌하게 설명해 주었습니다. 암 생물학의 전임상 연구들 역시 특정 유전자와 단백질이 종양 성장을 조절하는 그럴듯한 생물학적 기전을 제시했습니다.
연구자들은 데이터를 의도적으로 조작하거나 사기를 칠 필요가 없었습니다. 실제 실험에서 통계적으로 유의한 차이가 관찰되었고, 동료 연구자들의 엄격한 심사를 거쳐 최고의 학술지에 논문이 게재되었으며, 이를 인용한 후속 연구들도 계속 이어졌습니다.
그런데 독립된 다른 연구자들이 동일한 질문을 던지며 다시 실험하자, 그 인상적이었던 효과들은 거짓말처럼 사라지거나 크게 축소되었습니다.
왜 이러한 현상이 반복해서 일어났을까요?
재현성 위기를 작은 표본, 통계적 검정력 부족, 출판 편향과 같은 방법론적 문제로 설명할 수도 있습니다. 물론 그것들은 직접적인 기술적 원인입니다. 그러나 그 표면 아래에는 인간의 인지적 구조라는 훨씬 더 근본적인 문제가 자리 잡고 있습니다.
인간은 본능적으로 무작위 데이터 속에서 의미 있는 패턴을 발견하고, 자신의 기존 신념을 지지하는 증거를 훨씬 더 잘 기억하며, 반대되는 증거에는 훨씬 더 엄격한 비판 기준을 적용하는 경향을 지닙니다. 연구자 역시 인간이며, 과학적 훈련을 받았다고 해서 이러한 보편적 인지 편향에서 완전히 자유로워지는 것은 아닙니다. 오히려 전문 지식이 많을수록 자신이 이미 얻은 우연한 결과를 사후적으로 정당화하는 정교한 논리를 만들어내기 쉽습니다.
토머스 길로비치(Thomas Gilovich)의 저서 《인간 그 속기 쉬운 동물》(원제: How We Know What Isn’t So)은 바로 이 문제를 깊이 있게 다룹니다. 길로비치는 인간이 틀린 믿음을 갖게 되는 과정을 단순한 지식의 부족으로 설명하지 않고, 정보를 해석하고 기억하며 평가하는 정상적인 인지 과정 자체가 체계적인 오류를 만들어낸다고 보았습니다.
재현성 위기는 길로비치가 일상적 믿음에 대해 설명했던 그 인지적 오류들이, 가장 엄격하다고 자부하는 과학 연구의 현장 안에서도 그대로 작동할 수 있음을 입증한 사건이었습니다.
사람은 무작위에서 패턴을 본다
동전을 열 번 던져서 나온 결과를 관찰한다고 가정해 보겠습니다. 앞면(앞)과 뒷면(뒤)이 다음과 같이 번갈아 나왔습니다.
앞 - 뒤 - 앞 - 뒤 - 뒤 - 앞 - 뒤 - 앞 - 앞 - 뒤
이 배열은 누구나 쉽게 무작위의 결과라고 받아들입니다. 반면 다음과 같은 배열은 어떨까요?
앞 - 앞 - 앞 - 앞 - 뒤 - 뒤 - 뒤 - 앞 - 앞 - 뒤
두 번째 배열에는 앞면과 뒷면이 연속해서 뭉쳐 나타납니다. 사람들은 이러한 배열을 보면 동전에 균형이 맞지 않거나 던지는 손기술에 어떠한 인과적 규칙이 개입했다고 의심하기 쉽습니다.
그러나 공정한 동전을 던질 때 일어나는 실제 무작위 과정에서는, 한쪽 결과가 연속해서 뭉쳐 나타나는 현상이 대단히 자연스럽게 일어납니다. 무작위란 앞과 뒤가 완벽하게 일정한 비율로 번갈아 나오는 규칙적인 상태를 의미하는 것이 아닙니다. 짧은 구간에서는 특정 결과가 몰리는 군집 현상이 우연히 만들어질 수 있습니다.
인간의 뇌는 무작위를 실제보다 훨씬 더 균등하고 규칙적인 상태로 지각하는 인지적 편향을 가지고 있습니다. 그래서 우연히 발생한 연속성에 대해서도 어떠한 특별한 원인이 작용했다고 판단하곤 합니다.
이러한 경향은 수렵채집 시절의 인류 생존에는 유리했을 수 있습니다. 풀숲의 소리를 바람의 무작위 흔들림으로 무시하기보다 포식자의 접근이라는 패턴으로 대처하는 편이 생존 확률을 높여주었기 때문입니다. 원인이 없는 곳에서 원인을 찾아내는 오류는 비용이 작지만, 실제 패턴을 놓치는 오류는 목숨을 앗아갈 수 있었습니다.
그러나 객관적 데이터를 다루는 과학 연구에서는 이 인지적 편향이 심각한 문제를 야기합니다. 모든 실험 데이터에는 우연에 의한 변동이 존재하며, 표본이 작을수록 그 변동의 폭은 커집니다. 연구자는 표본에서 우연히 몰려 나온 데이터를 발견하고, 그것을 새로운 심리학적·생물학적 인과 기전으로 포장하여 설명을 붙이게 됩니다. 수치는 우연에 의해 생성되었으나, 거기에 붙는 논리는 명확한 인과관계의 이야기로 변신하는 것입니다.
농구선수에게는 정말 ‘뜨거운 손’이 있는가
길로비치의 가장 유명한 연구 중 하나는 농구 경기에서의 "뜨거운 손(hot hand)" 신념에 관한 검증이었습니다.
농구 선수가 연속으로 슛을 몇 번 성공시키면, 선수 본인과 관중은 그 선수의 손 감각이 살아났다고 믿으며 다음 슛의 성공 확률도 높아질 것이라고 확신합니다.
1985년 길로비치와 연구진은 프로 농구 선수들의 수천 회 슛 기록과 자유투 데이터를 통계적으로 분석했습니다. 분석 결과, 슛을 성공한 직후 다음 슛을 성공시킬 확률은 그 선수의 평소 야투 성공률과 차이가 없었습니다. 연속 성공 직후라고 해서 다음 성공률이 특별히 높아진다는 증거는 관찰되지 않았습니다.
사람들이 '뜨거운 손'의 존재를 강하게 믿었던 이유는, 무작위 슛 확률 과정에서 우연히 발생하는 연속 성공의 군집 현상을 선수의 경기력 상승이라는 인과적 패턴으로 잘못 해석했기 때문이었습니다. 관중은 연속 성공의 강렬한 기억만을 선택적으로 떠올리고, 성공과 실패가 섞인 평범한 구간은 잊어버리는 인지 편향을 보였습니다.
수십 년 뒤 밀러와 산후르호(Miller & Sanjurjo, 2018) 등의 통계학자들이 표본선택 편향을 보정할 경우 소폭의 뜨거운 손 효과가 실재할 수 있음을 제시하며 재논쟁이 이어지기도 했습니다. 그러나 이 사태가 주는 진짜 본질은 변하지 않았습니다. 그것은 인간이 무작위 과정에서 존재하지 않는 패턴을 얼마나 쉽게 만들어내며, 그 설명을 입증하기 위한 통계적 검증조차 얼마나 세심해야 하는가를 일깨워주었다는 점입니다.
작은 표본과 평균으로의 회귀
길로비치는 인간이 표본 크기에 따른 변동성을 제대로 직관하지 못한다고 지적했습니다.
표본의 크기가 작을수록 우연에 의해 극단적인 결과가 나올 확률이 커집니다. 10명이 태어난 작은 병원에서는 남아가 80%일 수 있지만, 1,000명이 태어난 큰 병원에서는 그 비율이 50%에 수렴합니다. 심리학 연구에서 10~20명의 작은 표본을 사용할 경우, 우연히 극단적인 집단 차이가 관찰될 확률이 높아집니다. 통계적으로 유의한 차이가 우연히 나오면 연구자는 이를 위대한 실험 처치 효과로 해석하여 논문으로 발표하게 됩니다.
또한 길로비치는 "평균으로의 회귀(regression to the mean)" 현상을 강조했습니다.
어떤 측정값이 우연에 의해 매우 높거나 낮게 나왔다면, 다음 측정에서는 자연스럽게 전체 평균으로 가까워지는 현상입니다. 허리 통증이나 감기가 가장 극심할 때 대체요법이나 특정 약을 먹고 증상이 좋아지면, 사람은 그 약이 효과를 냈다고 확신합니다. 그러나 증상이 극심했던 순간 자체가 평균에서 멀어진 예외적 상태였기에, 아무런 조치를 취하지 않아도 시간 경과에 따라 자연히 평균 상태로 회귀할 확률이 높았습니다.
실험 연구에서 대조군(Control Group)이 필수적인 이유가 바로 이 평균으로의 회귀와 자연 회복 효과를 인과적 처치 효과와 분리해내기 위함입니다. 그러나 대조군을 둔 연구라 하더라도 표본이 작거나 다수의 시점 중 가장 크게 개선된 시점만을 선별하여 보고하면, 평균으로의 회귀가 개입된 우연을 진짜 효과로 오인하게 됩니다.
길로비치가 책에서 소개한 1950년대 가짜 심장 수술(Internal Mammary Artery Ligation) 사례는 이를 극적으로 증명했습니다. 동맥을 묶는 실제 수술을 받은 환자나 절개만 하고 묶지 않은 가짜 수술을 받은 환자나 모두 70% 이상의 통증 호전을 보고했습니다. 환자들의 호전 관찰 자체가 거짓은 아니었으나, 그 호전의 진짜 원인은 수술 기전이 아니라 기대감과 자연적인 평균으로의 회귀가 섞인 결과였습니다. 대조군 없는 무수한 임상 관찰 사례가 잘 설계된 단 한 편의 가짜 수술 대조시험에 의해 뒤집힌 대표적 사건이었습니다.
침술은 믿는 나라에서 실패하지 않았다
재현성 위기의 방법론적 문제는 2010년대 심리학에서 갑자기 발견된 것이 아닙니다. 가짜 수술 시험은 이미 1959년에 대조군 없는 임상 경험이 얼마나 쉽게 치료 효과로 오인되는지를 보여주었습니다. 1990년대에는 무작위시험과 대조시험 안에서도 결과가 생산되고 출판되는 환경에 따라 결론이 달라질 수 있다는 경고가 나왔습니다.
1998년 앤드루 비커스 연구진은 1966년부터 1995년까지 MEDLINE에 수록된 침술 대조시험 252편을 연구가 수행된 국가별로 분석했습니다. 침술이 대조군보다 우월하다고 보고한 비율은 미국 53%, 영국 60%, 스웨덴 59%였습니다. 반면 중국 36편, 일본 5편, 대만 6편, 홍콩 3편은 모두 침술에 긍정적인 결과를 보고했습니다. 러시아·소련에서도 11편 가운데 10편이 긍정적이었습니다.
이 결과가 침술이 효과가 있다거나 없다는 사실을 직접 판정하지는 않습니다. 국가별 시험의 대상 질환과 비교군, 연구 규모가 달랐을 수도 있습니다. 그러나 같은 치료법의 시험이 어떤 나라에서는 자주 실패하고, 침술에 우호적인 전통을 가진 일부 지역에서는 한 번도 실패하지 않았다는 분포는 치료 효과만으로 설명하기 어렵습니다.
국가별 차이만으로 문화적 믿음이 결과를 만들었다고 단정할 수는 없습니다. 하지만 그 가능성은 염두에 두어야 합니다. 침술에 대한 연구자와 환자의 기대, 치료자가 가진 사회적 권위, 가짜 침술을 설계하는 방식, 모호한 결과를 해석하는 기준이 모두 문화의 영향을 받을 수 있기 때문입니다. 여기에 부정적인 결과가 출판되지 않는 출판편향까지 더해졌을 수 있습니다. 비커스 연구진도 출판편향을 가능한 설명으로 제시했지만, 한 가지 원인만으로 국가별 차이를 확정하지는 않았습니다.
후속 연구에서는 침술 무작위시험의 선택적 결과 보고도 확인됐습니다. 2015년 등록기록과 출판 논문을 비교한 연구에서는 조사된 88개 시험 가운데 연구 시작 전에 등록된 시험이 17개에 불과했고, 비교 가능한 논문의 45.1%에서 등록된 일차 평가변수와 출판된 일차 평가변수가 일치하지 않았습니다. 평가변수가 달라진 사례는 통계적으로 유의한 결과에 유리한 방향이 더 많았습니다.
따라서 이 결과는 “어느 나라의 연구는 믿을 수 없다”는 단순한 결론이 아닙니다. 문화적 기대가 실제 보고와 평가에 영향을 주었을 가능성, 낮은 질의 설계가 긍정적인 결과를 만들었을 가능성, 실패한 시험은 사라지고 성공한 결과만 논문에 남았을 가능성을 함께 검토해야 한다는 뜻입니다. 이것은 길로비치가 말한 확인 사례의 비대칭성이 한 개인의 기억을 넘어 연구 문화와 학술문헌 전체에서 작동할 수 있음을 보여줍니다.
무작위시험이라는 이름은 품질 보증서가 아니다
여기에는 근거중심의학의 역설도 있습니다. 전통적인 근거 피라미드는 전문가의 의견이나 단순한 임상 관찰보다 무작위 대조시험을 높게 평가하고, 여러 무작위시험을 종합한 체계적 문헌고찰을 그 위에 놓았습니다. 치료 효과의 인과관계를 밝히는 데 무작위 배정이 강력한 방법이라는 점은 분명합니다.
그러나 무작위시험이라는 이름만으로 연구의 질이 보장되지는 않습니다. 무작위 순서를 제대로 만들었는지, 다음 배정을 연구자가 미리 알 수 없게 감췄는지, 환자와 평가자를 맹검했는지, 탈락한 환자를 어떻게 처리했는지, 처음 정한 평가변수를 그대로 보고했는지를 따로 살펴야 합니다.
이 문제도 재현성 위기 이전부터 알려져 있었습니다. 1995년 케네스 슐츠 연구진이 33개 메타분석에 포함된 250개 대조시험을 조사한 결과, 배정 은폐가 부적절한 시험은 적절한 시험보다 치료 효과의 오즈비를 평균 41% 크게 추정했습니다. 배정 은폐가 불분명한 시험은 30%, 이중맹검이 되지 않은 시험은 17% 과장했습니다.
근거중심의학이 재현성 문제를 만들었다고 단정하는 것은 지나칩니다. 오히려 무작위시험과 체계적 문헌고찰은 임상 경험의 오류를 교정하기 위해 발전했습니다. 문제는 근거의 위계를 단순한 연구 설계의 이름표로 사용할 때 생깁니다. 질 낮은 무작위시험도 관찰연구보다 자동으로 우월하다고 취급하고, 그런 시험들을 메타분석으로 합치면 편향이 사라지는 것이 아니라 더 정밀한 숫자의 형태로 굳어질 수 있습니다.
오늘날 코크레인과 GRADE가 무작위시험이라는 사실과 별도로 비뚤림 위험과 근거의 확실성을 평가하는 이유가 여기에 있습니다. 중요한 것은 근거 피라미드의 어느 칸에 놓였는가만이 아니라, 그 연구가 반대 결과가 나올 가능성을 실제로 허용한 설계였는가입니다.
확증 편향과 출판 편향의 결합
길로비치는 잘못된 믿음이 공고해지는 인지 기전으로 "확인 사례의 비대칭성"을 짚어냈습니다.
인간은 자신의 신념과 일치하는 성공 사례는 강렬하게 기억하고 의미를 부여하지만, 신념에 어긋나는 실패 사례나 반사실적 상황은 쉽게 잊거나 관찰하지 못합니다. 비타민을 먹고 감기가 나은 경험은 기억하지만, 비타민을 먹고도 감기가 오래간 경우나 먹지 않고도 금세 나은 경우는 기억의 뒤편으로 사라집니다.
과학 연구에서의 출판 편향(Publication Bias)은 이러한 인간의 확인 사례 편향이 학술 출판 시스템과 결합하여 극대화된 형태입니다.
- 가설을 입증한 성공적인 실험 결과만 논문으로 출판되었습니다.
- 가설이 틀렸거나 유의하지 않은 실패 실험 결과는 연구자의 서랍에 묻혔습니다.
- 문헌을 읽는 독자와 후속 연구자들은 성공한 확인 사례들만 모아진 왜곡된 조망을 얻게 되었습니다.
나아가 연구자들은 확증 편향(Confirmation Bias)에 의해 데이터를 다루는 과정에서 사후적인 자유도를 행사하게 됩니다.
- 최종 데이터에서 어떤 참가자를 제외할지 사후에 결정했습니다.
- 수집된 여러 종속변수 중 유의미한 하나만 선택했습니다.
- 통계 모델에 포함시킬 공변량을 유리하게 골랐습니다.
- 전체 효과가 나오지 않자 하위집단으로 쪼개어 분석했습니다.
- 복수의 측정 시점 중 차이가 가장 크게 벌어진 시점만 보고했습니다.
- 수행한 여러 실험 중 성공적으로 잘 작동한 실험만 논문에 수록했습니다.
연구자가 데이터를 위조하려는 악의를 갖지 않더라도, 자신의 가설이 참이라고 믿는 상태에서 데이터를 들여다보면 우연한 잡음이 가설을 입증하는 명확한 패턴으로 보이게 됩니다.
과학은 인간의 인지 편향을 교정하는 제도다
과학자 역시 무작위에서 패턴을 보고, 칭찬이나 질책 후 일어나는 평균으로의 회귀를 인과관계로 착각하며, 가설과 일치하는 성공 사례만을 더 높게 평가하는 보통의 인간입니다. 과학이 일반적인 개인의 관찰보다 신뢰받을 수 있는 이유는 과학자 개인의 성품이 특별히 객관적이어서가 아닙니다. 개인의 편향이 최종 진실로 승인되지 못하도록 여러 엄격한 장치들을 제도화했기 때문입니다.
- 비교를 위한 무작위 대조군을 필수 배치합니다.
- 참가자 및 처치 대상을 무작위로 배정합니다.
- 측정과 분석 과정에서 맹검(Blind) 절차를 유지합니다.
- 우연한 오차를 줄이기 위해 충분한 표본 크기를 확보합니다.
- 데이터 수집 전 사전등록을 통해 분석 계획을 고정합니다.
- 투명성 확보를 위해 원자료와 분석 코드를 공개합니다.
- 타 연구실의 독립된 연구진이 실험을 다시 반복합니다.
- 유의한 성공 결과뿐만 아니라 실패한 실험 결과도 투명하게 기록합니다.
사전등록(Preregistration)과 등록보고서(Registered Reports), 원자료 공개, 독립적 다기관 재현 프로젝트 등은 과학자를 불신해서 도입된 제도가 아닙니다. 바로 인간 판단의 한계와 인지 편향을 신뢰할 수 없기 때문에 도입된 자정 장치들입니다.
경험주의는 우리가 틀릴 수 있음을 인정하는 태도다
길로비치의 《인간 그 속기 쉬운 동물》과 재현성 위기가 우리에게 주는 궁극적인 교훈은 동일합니다. "내가 직접 보았고 경험했으니 사실이다"라는 식의 소박한 경험주의는 우연과 평균 회귀, 인지 편향에 의해 언제든 왜곡될 수 있다는 점입니다.
진정한 의미의 경험주의는 자신의 관찰과 경험조차 오류일 수 있음을 겸손하게 인정하고, 엄격한 대조군 비교, 독립적 반복 검증, 투명한 절차 공개를 통해서만 잠정적인 사실을 받아들이는 신중한 태도입니다.
우리가 과학을 신뢰하는 이유는 어떠한 유명 논문이나 거장 학자의 주장이 무결해서가 아닙니다. 그것이 틀렸음이 밝혀졌을 때 끊임없이 독립적인 재현 실험과 데이터 검증을 통해 스스로의 오류를 수정해나가는 자정 구조를 가지고 있기 때문입니다.
재현성 위기는 과학의 실패를 뜻하지 않습니다. 오랫동안 출판 편향과 우연에 의해 과장되어 있던 거대 이론들의 거품을 꺼뜨리고, 증거가 허용하는 딱 그만큼만 확신하는 엄격한 과학 본연의 태도로 돌아가게 만든 정직하고 위대한 자정 과정이었습니다.
참고문헌
- Thomas Gilovich, How We Know What Isn't So: The Fallibility of Human Reason in Everyday Life, Free Press, 1991.
- Thomas Gilovich·Robert Vallone·Amos Tversky, “The Hot Hand in Basketball: On the Misperception of Random Sequences”, Cognitive Psychology 17(3), 1985.
- Leonard A. Cobb et al., “An Evaluation of Internal-Mammary-Artery Ligation by a Double-Blind Technic”, New England Journal of Medicine 260(22), 1959, 1115–1118.
- Andrew Vickers et al., “Do Certain Countries Produce Only Positive Results? A Systematic Review of Controlled Trials”, Controlled Clinical Trials 19(2), 1998, 159–166.
- Kenneth F. Schulz et al., “Empirical Evidence of Bias: Dimensions of Methodological Quality Associated with Estimates of Treatment Effects in Controlled Trials”, JAMA 273(5), 1995, 408–412.
- Chun-Xiang Su et al., “Empirical Evidence for Outcome Reporting Bias in Randomized Clinical Trials of Acupuncture”, Trials 16, 2015.
- Cochrane, “Chapter 8: Assessing Risk of Bias in a Randomized Trial”, Cochrane Handbook for Systematic Reviews of Interventions, version 6.5, 2024.
- Joshua B. Miller·Adam Sanjurjo, “Surprised by the Gambler's Fallacy: A Truth in the Law of Small Numbers”, Econometrica 86(6), 2018.
- Open Science Collaboration, “Estimating the Reproducibility of Psychological Science”, Science 349(6251), 2015.
- Brian A. Nosek 외, “Preregistration: A Good Practice in Theory and Practice”, Psychological Inquiry 29(1), 2018.