하나의 논문이 아니라 학문 전체가 흔들렸다

100개의 심리학 실험을 다시 해보니

재현성 위기는 몇 편의 유명한 심리학 논문이 틀렸다는 예외적인 사건으로 끝날 수도 있었습니다. 노인을 연상시키는 단어를 보면 걸음이 느려진다는 실험, 교수를 떠올리면 문제를 더 잘 푼다는 실험, 당당한 자세를 취하면 호르몬이 변한다는 실험이 재현되지 않았다고 해도 개별 연구자나 특정 실험실의 미숙한 절차 때문이라고 치부할 수도 있었습니다.

실험 조건이나 참가자의 문화적 배경이 달랐을 수도 있고, 원래 연구자가 가지고 있던 미묘한 수기를 재현 연구진이 놓쳤을 수도 있었습니다. 한때 유명해진 몇몇 연구들이 우연히 통계적으로 불안정했을 가능성도 얼마든지 존재했습니다.

그렇다면 질문의 방향을 완전히 바꿔야 했습니다. 개별적으로 논란이 된 특정한 실험 몇 개가 아니라, 주요 심리학 학술지에 실린 평균적인 연구들을 일정한 통계적 기준에 따라 선별하여 다시 검증하면 과연 얼마나 재현될 수 있는가의 문제입니다.

2015년 발표된 "심리학 재현성 프로젝트(Reproducibility Project: Psychology)"는 바로 이 대담한 질문에 답하고자 기획되었습니다.

전 세계 270명의 연구자가 참여하여 주요 심리학 학술지에 발표된 100개의 핵심 실험을 엄격하게 다시 수행했습니다. 원래 저자들과 협의하여 실험 절차와 재료를 그대로 확보했고, 재현 연구의 상세한 분석 계획을 미리 공개 등록했습니다. 비판적인 연구자들이 마음에 들지 않는 특정 논문을 골라 공격한 것이 아니라, 심리학 문헌 전체의 신뢰성을 집단적으로 확인하기 위해 설계된 역대 최대 규모의 검증 프로젝트였습니다.

결과는 대단히 충격적이었습니다. 그러나 더 중요한 본질은 단지 몇 개 연구가 성공하고 실패했느냐의 이분법적 수치가 아니었습니다. 원래 논문들에서 보고되었던 효과의 크기가, 대규모 재현 실험에서는 전반적으로 절반 수준으로 대폭 축소되었다는 엄연한 사실이었습니다.

심리학 연구 100개를 다시 실험하다

심리학 재현성 프로젝트는 2008년 저명 학술지 3곳(Psychological Science, Journal of Personality and Social Psychology, Journal of Experimental Psychology: Learning, Memory, and Cognition)에 발표된 논문들을 무작위 추출하여 핵심 실험을 수행했습니다.

사람을 대상으로 하는 인간 행동 연구에서는 물리학처럼 환경을 100% 동일하게 복제하는 것은 불가능합니다. 참가자의 연령과 문화가 달라지고 시간이 흐르기 때문입니다. 이를 최소화하기 위해 재현 연구진은 원 저자들과 직접 소통하여 프로토콜을 확인받고 동일한 실험 자극을 제공받았으며, 결과를 얻기 전에 검증 절차를 공개 등록했습니다.

기존 학술 문헌에서는 성공한 결과만 출판될 가능성이 높았지만, 이 프로젝트에서는 성공 여부와 무관하게 모든 검증 결과를 100% 공개하는 규칙을 세웠습니다. 최초로 성공과 실패를 있는 그대로 기록하는 판이 마련된 것입니다.

원 논문은 거의 모두 성공했다

원래 2008년에 출판되었던 100개의 원 연구 중 97%는 통계적으로 유의한 성공 결과를 보고했었습니다. 학술지 논문만 보면 심리학자들은 거의 100%에 가까운 정확도로 자연의 법칙과 가설을 맞히는 것처럼 보였습니다.

그러나 이것은 연구자들이 자연현상을 perfect하게 예측했음을 뜻하지는 않습니다. 실제 연구 과정에서는 수많은 가설을 시험하고 다양한 변수를 측정하며 여러 분석법을 시도합니다. 그중 통계적으로 뚜렷한 유의성이 확보된 결과만 출판 시장에서 살아남기 때문입니다. 가설과 일치하지 않는 실험은 서랍 속에 남거나 투고 자체가 거절되기 때문에 학술지에 실린 97%의 성공률은 출판 편향이 만든 착시일 수 있었습니다.

다시 해보니 36개만 유의했다

동일한 절차로 100개의 실험을 다시 수행하자, 원래 결과와 같은 방향으로 통계적 유의성을 보여준 연구는 약 36개(36%)에 불과했습니다. 원 논문에서는 97%가 유의했으나 재현 실험에서는 절반에도 미치지 못하는 36%만이 통계적 유의성을 확보한 것입니다.

이 수치가 발표되자 즉각 "심리학 연구의 64%는 거짓이다"라는 파격적인 헤드라인이 언론을 장식했습니다. 그러나 이는 사태를 지나치게 단편적으로 해석한 것입니다.

통계적으로 유의하지 않았다는 사실이 곧바로 효과가 0임을 의미하지는 않습니다. 효과의 방향은 같았지만 표본이나 오차로 인해 간신히 유의성 선을 넘지 못했을 수도 있기 때문입니다. 따라서 연구진은 단순 유의성 외에도 다음과 같은 다각도의 기준들을 종합 적용했습니다.

• 재현 연구에서 결과가 통계적으로 유의하게 나타났는가를 확인했습니다.
• 효과의 방향이 원 연구의 결과와 동일한지를 평가했습니다.
• 원래 보고된 효과 크기가 재현 연구의 신뢰구간 내에 포함되는지 검토했습니다.
• 검증 연구자들이 결과를 주관적으로 재현 성공이라 평가했는지를 집계했습니다.
• 원 연구와 재현 연구 간 효과 크기의 수치적 차이를 비교했습니다.

어떠한 기준을 적용하더라도 분명한 사실은 하나였습니다. 최초 문헌이 보여주었던 강력한 신뢰성과 확신에 비해 실제 재현 검증 결과는 훨씬 더 약하고 불확실했다는 점입니다.

더 중요한 것은 효과가 절반으로 줄었다는 사실이다

이 프로젝트가 남긴 가장 결정적인 지표는 36%라는 재현율 숫자 자체가 아니라, 효과 크기(effect size)의 체계적 감소였습니다.

재현 연구에서 측정된 평균 효과 크기는 원래 논문에 보고된 효과 크기의 약 절반((d) 값 기준)으로 줄어들었습니다. 100개 연구의 대다수에서 재현 효과는 원 보고치보다 뚜렷하게 작았습니다.

효과 크기가 4분의 1로 축소된다면, 비록 효과가 실재하더라도 그 현상이 가지는 실용적·이론적 의미는 완전히 달라집니다. 작은 신체 자세 변경이 위험 감수 성향을 극적으로 바꾼다는 주장과, 주관적 기분에 미세한 영향을 줄 수 있다는 주장은 완전히 다른 이야기이기 때문입니다.

재현 프로젝트는 모든 원 논문이 사기나 거짓이라는 것을 증명한 것이 아니라, **"최초 보고된 효과의 크기가 출판 시스템에 의해 체계적으로 부풀려졌을 가능성"**을 강력히 입증해 주었습니다.

왜 최초의 효과는 크게 나타나는가

새로운 효과가 처음 발견될 때 실제보다 크게 측정되는 현상을 통계학에서는 "승자의 저주(winner’s curse)"라고 부릅니다.

표본의 크기가 작으면 우연한 측정 오차로 인해 결과값이 크게 흔들립니다. 실제 효과가 0.2로 작더라도 소규모 표본으로 여러 번 시험하면 우연히 0.6이나 0.8의 큰 효과가 관찰되는 연구가 발생합니다.

학술지는 이 가운데 유일하게 0.6의 큰 효과를 낸 인상적인 연구만을 게재 논문으로 선택합니다. 독자들은 출판된 논문을 보고 그 효과의 실제 크기가 0.6이라고 믿게 되지만, 이후 더 큰 표본으로 엄격히 재현하면 수치는 본래의 실제값인 0.2로 다시 줄어들게 됩니다. 효과가 시간이 지나 약해진 것이 아니라, 최초 연구에서 우연히 부풀려졌던 오차가 정상화된 것입니다.

사회심리학은 특히 취약했다

재현 프로젝트 결과 심리학 하위 분야별로 명확한 차이가 드러났습니다. 인지심리학 연구는 사회심리학 연구에 비해 훨씬 더 높은 재현율을 보여주었습니다.

인지심리학은 대개 다음과 같은 상대적으로 단순하고 측정 관명한 현상들을 다룹니다.

• 시각 및 청각 자극을 인식하고 반응하는 속도를 다룹니다.
• 다양한 단어와 시각 정보의 기억 정확도를 다룹니다.
• 자극 변화에 따른 주의 전환 능력을 다룹니다.
• 정해진 단어 자극에 대한 반응시간을 다룹니다.
• 착시 자극에 대한 지각 패턴을 다룹니다.
• 반복 시행에 따른 학습과 숙련 효과를 다룹니다.

반면 사회심리학은 환경과 문화에 매우 민감한 다음과 같은 복잡한 인간 행동을 주제로 삼습니다.

• 집단 내 및 집단 간 협력 행동을 다룹니다.
• 외집단에 대한 고정관념과 편견을 다룹니다.
• 다양한 딜레마 상황에서의 도덕적 판단을 다룹니다.
• 충동과 유혹에 대한 자기통제 능력을 다룹니다.
• 상황적 권력감과 지위 인식을 다룹니다.
• 도발 상황에서의 공격적 반응 성향을 다룹니다.
• 타인과의 심리적 및 사회적 거리를 다룹니다.
• 처음 만난 타인의 인상과 특성 평가를 다룹니다.

사회심리학이 다루는 맥락 의존적 행동들은 한 번의 짧은 실험으로 정밀하게 측정하기 어려우며, 참가자가 눈치를 채거나 분위기가 달라지면 측정값이 급변합니다. 그럼에도 당시 연구들은 복잡한 현상에 비해 표본이 지나치게 작았고 측정은 짧았기에 재현 실패에 더 취약할 수밖에 없었습니다.

심리학만의 문제인가: 실험경제학과 Nature·Science 재현 프로젝트

심리학 100개 프로젝트의 충격 이후, 과연 이것이 심리학만의 부실함 때문인지 확인하기 위한 다른 학문 분야의 대규모 재현 프로젝트들이 연이어 실행되었습니다.

2016년 콜린 카메러(Colin Camerer) 연구진은 최상위 경제학 저널(American Economic Review, Quarterly Journal of Economics)에 발표된 실험경제학 연구 18개를 엄격하게 재현했습니다. 결과는 61%(11개)가 통계적으로 유의하게 재현되었으나, 평균 효과 크기는 원 보고의 66% 수준으로 감소했습니다.

2018년 카메러 연구진은 최고의 권위를 자랑하는 Nature와 Science에 2010~2015년 게재된 사회과학 실험 21개를 5배 이상 큰 표본으로 재현했습니다. 결과는 62%(13개)가 재현되었고, 효과 크기는 원 보고의 약 50% 수준으로 크게 줄어들었습니다.

학문 분야나 학술지의 명성과 관계없이 모든 프로젝트에서 동일한 패턴이 입증되었습니다. 최초 출판 논문은 효과를 체계적으로 부풀려 보고하고, 사전등록된 대규모 재현 실험에서는 효과 크기가 절반으로 축소된다는 사실입니다. 학술 출판 시스템의 보상 구조가 새로움과 강한 효과만을 선별적으로 선택해 온 결과였습니다.

진실은 논문의 수가 아니라 선별되지 않은 반복에서 나온다

어떤 이론을 지지하는 논문이 30편 축적되어 있다는 사실만으로 그 이론이 참임을 보증할 수는 없습니다. 실패한 70편의 미출판 연구가 서랍 속에 묻혀 있다면, 출판된 30편의 논문은 수없이 골라낸 성공 사례의 복제에 불과할 수 있기 때문입니다.

대규모 사전등록 재현 프로젝트들이 과학계에 가져다준 진짜 가치는 단지 성공률 숫자가 아니었습니다. 결과와 관계없이 성공과 실패를 모두 기록하고 공개하는 새로운 과학적 선별 장치를 작동시켰다는 점에 있습니다.

과학에서의 진실은 단 한 번의 파격적인 발견이나 학술지의 명성에 의해 결정되지 않습니다. 실패까지 숨기지 않고 투명하게 기록하는 엄격한 반복 검증 과정을 견뎌낸 후에야 잠정적인 사실로 인정받게 됩니다. 재현성 위기는 몇 편의 논문 비판을 넘어 과학이 진실을 축적하는 방식 전체를 바로잡는 계기가 되었습니다.

참고문헌

• Open Science Collaboration, “Estimating the Reproducibility of Psychological Science”, Science 349(6251), 2015.
• Colin F. Camerer·Anna Dreber·Elin Forsell 외, “Evaluating Replicability of Laboratory Experiments in Economics”, Science 351(6280), 2016.
• Colin F. Camerer·Anna Dreber·Felix Holzmeister 외, “Evaluating the Replicability of Social Science Experiments in Nature and Science Between 2010 and 2015”, Nature Human Behaviour 2, 2018.
• Daniel T. Gilbert·Gary King·Stephen Pettigrew·Timothy D. Wilson, “Comment on ‘Estimating the Reproducibility of Psychological Science’”, Science 351(6277), 2016.
• Christopher J. Anderson 외, “Response to Comment on ‘Estimating the Reproducibility of Psychological Science’”, Science 351(6277), 2016.
• Prasad Patil·Roger D. Peng·Jeffrey T. Leek, “What Should Researchers Expect When They Replicate Studies? A Statistical View of Replicability in Psychological Science”, Perspectives on Psychological Science 11(4), 2016.