[재현성 위기 ①] 재현성 위기는 어떻게 시작되었는가

이오아니디스의 경고부터 대릴 벰의 미래 예지 논문, 암젠의 암 연구 재현 실패, 심리학 대규모 재현 프로젝트까지 과학계를 뒤흔든 네 사건을 살펴봅니다.

“논문으로 입증됐다”는 말은 토론을 끝내는 문장처럼 쓰입니다. 유명 대학의 연구자가 수행했고, 권위 있는 학술지에 실렸으며, 통계적으로 유의한 결과가 나왔다면 더 이상 의심할 필요가 없어 보입니다. 그러나 논문 한 편은 과학적 사실의 완성품이 아니라 특정한 조건에서 얻은 하나의 결과입니다.

사람은 자신이 직접 보고 겪은 일을 쉽게 믿습니다. 하지만 개인의 경험은 표본이 작고 비교 대상이 없으며, 기대와 기억의 영향을 받습니다. 과학이 대조군과 무작위 배정, 반복 실험과 통계 분석을 발전시킨 이유는 이러한 한계를 줄이기 위해서입니다.

문제는 개인의 경험이나 허술하게 설계된 연구에만 있지 않았습니다. 2000년대 들어 제대로 된 방법을 사용했다고 여겨지고 동료평가까지 통과한 연구들 가운데서도, 다른 연구자가 다시 실험하면 핵심 결과가 나타나지 않는 사례가 잇따라 발견되었습니다. 이를 "재현성 위기"라고 부릅니다.

이 사이트에서 재현성 위기를 다루는 이유는 몇몇 잘못된 논문을 비판하기 위해서만은 아닙니다. 진실을 알아내는 일이 왜 그토록 어려운지, 그리고 인간의 이성만으로 현실에 도달할 수 있다는 믿음이 왜 자주 실패하는지를 살펴보기 위해서입니다.

사람은 관찰하기 전에 설명을 만들고, 그 설명에 맞는 증거를 찾는 데 능숙합니다. 정치적·도덕적 신념이 걸린 문제에서는 자신의 가치관에 맞는 연구는 쉽게 믿고, 불편한 연구에는 더 엄격한 기준을 적용합니다. 여기서 경계하려는 합리주의는 논리적 사고 자체가 아니라, 관찰보다 이론을 앞세우고 현실도 그 이론에 맞아야 한다고 믿는 태도입니다.

경험주의는 이성을 버리자는 주장이 아닙니다. 이론을 현실보다 위에 놓지 말자는 태도입니다. 먼저 관찰하고, 다른 사람이 반복할 수 있게 하며, 예상과 다른 결과가 나오면 설명을 고쳐야 합니다. 재현성 위기는 과학계조차 이 원칙을 얼마나 쉽게 잊을 수 있는지를 보여준 사건입니다. 따라서 이 시리즈는 과학을 불신하자는 이야기가 아니라, 우리가 무엇을 근거로 믿고 있으며 틀렸을 때 생각을 고칠 수 있는지를 묻는 이야기입니다.

엄밀하게는 같은 자료와 코드를 이용해 같은 계산 결과를 얻는 재현 가능성(reproducibility)과, 새로운 자료를 수집한 독립 연구에서 비슷한 결론을 얻는 반복 가능성(replicability)을 구분하기도 합니다. 다만 학문 분야와 한국어 문헌에 따라 두 용어가 혼용되므로, 이 글에서는 새로운 실험으로 기존 결과를 다시 확인하는 과정까지 넓은 의미의 “재현”으로 부르겠습니다.^[1]

재현성 위기가 본격적인 문제로 떠오르는 과정에서 네 가지 사건이 중요한 이정표가 되었습니다.

첫 번째 사건은 문제가 생길 조건을 수학적으로 설명했고, 두 번째 사건은 기존 통계 관행의 약점을 극단적인 사례로 드러냈습니다. 세 번째 사건은 재현 실패가 신약 개발에 어떤 비용을 초래하는지 보여주었고, 네 번째 사건은 문제의 규모를 공동 연구로 측정했습니다.

1. “대부분의 연구 결과는 거짓일 수 있다”

2005년 존 이오아니디스는 《PLoS Medicine》에 "〈왜 발표된 연구 결과의 대부분은 거짓인가〉"라는 논문을 발표했습니다.

그는 실제 논문들을 조사해 절반 이상이 거짓이라고 판정한 것이 아니었습니다. 대신 어떤 조건에서 발표된 연구 결과가 거짓일 가능성이 커지는지를 통계적으로 설명했습니다.

따라서 그가 제시한 것은 모든 연구에 적용되는 하나의 실측 비율이 아니라, 연구 조건에 따른 이론적 추정치였습니다. 연구 전부터 치료 효과가 있을 가능성을 50%로 보고 충분한 검정력을 갖춘 대규모 무작위 대조시험에서는 발표된 긍정적 결과의 약 85%가 참, 약 15%가 거짓으로 계산됐습니다. 반면 검정력이 낮은 초기 임상시험에서는 참일 가능성이 약 25% 이하로 떨어져 거짓일 가능성이 약 75% 이상이었습니다. 탐색적 역학연구도 연구 전 참인 가설과 거짓인 가설의 비율을 1 대 10으로 놓으면, 검정력이 높더라도 긍정적 결과가 참일 가능성은 약 20%에 불과했습니다. 다시 말해 약 80%가 거짓일 수 있다는 계산입니다.^[2]

논문 제목의 “대부분”은 모든 학문 분야의 논문을 평균 내어 정확히 51%나 60%가 거짓이라고 판정했다는 뜻이 아닙니다. 당시 생의학 연구의 많은 조건에서는 긍정적으로 발표된 결과의 절반 이상이 거짓일 수 있고, 연구 조건이 나쁘면 그 비율이 75~80% 이상까지 높아질 수 있다는 경고였습니다.

그가 지적한 주요 조건은 다음과 같습니다.

표본이 작아 통계적 파워가 낮은 경우
실제로 존재할 가능성이 낮은 관계를 많이 검사하는 경우
여러 분석 가운데 유의미한 결과만 선택하는 경우
연구자의 기대와 이해관계가 분석에 영향을 미치는 경우
음성 결과보다 양성 결과만 출판되는 경우

이 조건들이 결합하면 연구자가 데이터를 조작하지 않더라도 잘못된 긍정적 결과가 학술지에 실릴 수 있습니다.

연구에서는 흔히 p값이 0.05보다 작으면 통계적으로 유의하다고 말합니다.

예를 들어 어떤 약을 복용한 집단에서 증상이 더 좋아졌다면, 연구자는 먼저 "그 약에는 실제 효과가 없다"고 가정합니다.

그런데 실제 효과가 없다고 할 때 이번 연구처럼 뚜렷한 차이가 우연히 나타날 가능성이 5% 미만이라면, 연구자는 효과가 없다는 가정을 의심하게 됩니다.

그러나 이것은 연구의 결론이 틀릴 가능성이 5%라는 뜻이 아닙니다. 연구 가설이 참일 가능성이 95%라는 뜻도 아닙니다.

더구나 많은 가설과 변수를 동시에 검사하면 실제 관계가 없어도 일부에서는 우연히 유의미한 결과가 나옵니다.

그 가운데 유의한 결과만 논문으로 발표되면 학술 문헌에는 실제보다 훨씬 많은 효과가 존재하는 것처럼 보이게 됩니다.

이오아니디스의 핵심 경고는 과학자들이 모두 거짓말을 한다는 것이 아니었습니다.

연구자가 정직하더라도 연구 구조와 통계 관행에 문제가 있으면 잘못된 결론이 반복적으로 생산될 수 있다.

2. 통계적으로 입증된 미래 예지

2011년 코넬대학교의 심리학자 대릴 벰은 《Journal of Personality and Social Psychology》에 "〈미래를 느끼다〉"라는 논문을 발표했습니다.

벰은 1,000명 이상의 참가자를 대상으로 아홉 차례의 실험을 수행했습니다. 논문에 따르면 그중 여덟 실험이 미래에 제시될 자극이 참가자의 이전 선택이나 반응에 영향을 미친다는 가설을 통계적으로 지지했습니다.^[3]

쉽게 말하면 인간이 미래의 사건을 미리 감지할 수 있다는 주장이었습니다.

이 논문이 충격을 준 이유는 단순히 초능력을 주장했기 때문이 아닙니다.

당시 심리학계에서 널리 사용되던 실험 방법과 통계 기준을 따랐고, 권위 있는 학술지의 동료평가도 통과했기 때문입니다.

그렇다면 두 가지 가능성이 남습니다.

인간에게 실제로 미래를 예지하는 능력이 있거나, 기존의 연구 방법을 이용하면 존재하지 않는 효과도 통계적으로 입증된 것처럼 만들 수 있다는 것입니다.

대부분의 연구자는 두 번째 가능성을 더 심각하게 받아들였습니다.

이 사건을 통해 심리학계에서는 "P해킹"과 "HARKing" 문제가 본격적으로 논의되기 시작했습니다.

P해킹은 유의미한 결과가 나올 때까지 분석 방법을 바꾸는 행위입니다.

예를 들어 다음과 같은 선택이 가능합니다.

표본을 조금씩 추가한다
일부 참가자를 제외한다
여러 변수 가운데 유의한 것만 고른다
남성과 여성 등 하위집단을 따로 분석한다
여러 통계모형 가운데 가장 좋은 결과를 선택한다

각각의 선택에는 나름의 이유가 있을 수 있습니다. 그러나 수많은 분석을 시도한 뒤 성공한 결과 하나만 제시하면 우연한 결과가 과학적 발견처럼 보이게 됩니다.

HARKing은 결과를 본 뒤 가설을 세우고, 마치 처음부터 예상했던 것처럼 논문을 작성하는 행위입니다.

탐색적 분석 자체는 문제가 아닙니다. 그러나 데이터를 보고 발견한 관계를 사전에 예측한 가설처럼 제시하면 우연한 발견이 강력한 이론적 예측으로 바뀝니다.

벰의 논문은 당시의 연구 관행을 이용하면 미래 예지처럼 믿기 어려운 주장도 과학적으로 입증된 것처럼 보일 수 있다는 사실을 드러냈습니다.

3. 암젠이 재현하지 못한 암 연구

재현성 문제는 심리학에만 국한되지 않았습니다.

2012년 암젠의 글렌 베글리와 리 엘리스는 《Nature》에 전임상 암 연구의 재현성 문제를 보고했습니다.

암젠은 EPO 개발로 바이오산업의 역사를 바꾼 회사입니다. 푸쿤 린 연구팀이 EPO 유전자를 복제해 개발한 빈혈 치료제 에포젠은 1989년 미국 식품의약국의 승인을 받았고, 암젠의 첫 상용 제품이자 바이오산업 초기의 대표적인 블록버스터 의약품이 되었습니다.^[4–6] 기초 생물학의 발견을 실제 치료제로 바꾸며 성장한 회사였기에, 암젠은 학계 연구의 신뢰성을 추상적인 문제가 아니라 신약 개발의 출발점으로 보았습니다. 연구진은 막대한 개발비를 투자하기 전에 근거가 충분한지 확인하기 위해 중요한 암 연구 53건의 핵심 결과를 다시 검증했습니다.

결과가 반복되지 않았을 때에는 원 연구자에게 연락해 실험 조건을 논의하고 시약을 교환했으며, 때로는 원 연구자의 실험실에서 다시 시도하기도 했습니다. 단순히 논문에 적힌 방법을 서툴게 따라 한 뒤 실패를 선언한 것은 아니었습니다.

재현에 성공한 연구는 6건이었습니다.

약 11%에 불과했습니다.^[7]

조사 대상은 이름 없는 학술지의 연구가 아니었습니다. 암 연구 분야에서 중요하다고 평가받고, 후속 연구와 신약 표적 발굴에 영향을 준 논문들이었습니다.

앞서 2011년 바이엘 연구진도 신약 표적과 관련된 전임상 연구를 내부적으로 확인한 결과, 발표된 결과와 완전히 일치한 비율이 약 20~25%였다고 보고했습니다.^[8]

암젠과 바이엘의 조사는 동일한 기준으로 수행된 대규모 체계적 조사가 아니므로, 그 수치를 모든 바이오 연구에 그대로 적용해서는 안 됩니다.

그러나 두 회사가 비슷한 경험을 했다는 사실은 중요했습니다.

학술적으로 흥미로운 연구 결과와 신약 개발의 기초로 사용할 만큼 견고한 결과가 같지 않았던 것입니다.

생물학 실험은 매우 복잡합니다.

세포주의 상태, 배양 조건, 항체의 품질, 동물의 유전적 배경과 사육 환경에 따라 결과가 달라질 수 있습니다.

따라서 재현 실패가 곧 원 논문의 조작을 의미하지는 않습니다.

하지만 논문에 공개된 방법만으로 다른 연구자가 결과를 반복할 수 없다면 그 연구는 독립적으로 검증하기 어렵습니다.

더구나 일부 전임상 연구에서는 무작위 배정과 눈가림이 제대로 시행되지 않거나, 성공한 결과만 선택적으로 보고되는 문제도 발견되었습니다.

암젠의 보고는 재현성 문제가 학술적 논쟁에 그치지 않는다는 사실을 보여주었습니다.

잘못된 연구 결과를 바탕으로 신약 표적을 선택하면 수년간의 개발비와 연구 인력이 낭비될 수 있습니다. 임상시험 참가자에게도 불필요한 부담을 줄 수 있습니다.

4. 심리학 논문 100편을 다시 실험하다

2015년 브라이언 노섹을 중심으로 한 열린과학 연구자들은 2008년 세 개의 주요 심리학 학술지에 실린 연구에서 핵심 결과 100건을 골라 직접 재현한 결과를 《Science》에 발표했습니다. 가능한 경우 원래의 실험 자료를 사용했고, 원 연구보다 높은 검정력을 확보하도록 설계했습니다.

원래 논문 가운데 97%는 통계적으로 유의한 결과를 보고했습니다.

그러나 재현 연구에서 다시 통계적으로 유의한 결과가 나온 비율은 36%였습니다.

재현 연구에서 측정된 효과의 크기는 평균적으로 원 논문의 절반 정도였습니다.

이 결과는 재현성 문제가 몇몇 연구자의 실수에 그치지 않을 가능성을 보여주었습니다.

다만 이것을 “심리학 논문의 64%는 거짓이다”라고 해석해서는 안 됩니다.

재현에 실패한 이유에는 표본 차이, 실험 환경, 문화와 시기의 차이도 포함될 수 있습니다. 재현 성공을 어떤 기준으로 판단하는지에 따라서도 비율은 달라집니다. 통계적 유의성을 기준으로 하면 36%였지만, 원 효과 크기가 재현 연구의 95% 신뢰구간 안에 들어간 비율은 47%, 연구진이 주관적으로 재현에 성공했다고 평가한 비율은 39%였습니다.^[9]

그럼에도 원 연구에서는 거의 모두 유의한 결과가 나왔지만, 반복 연구에서는 성공률과 효과 크기가 크게 떨어졌다는 사실은 설명이 필요했습니다.

이 격차를 이해하려면 실제로 수행된 연구 가운데 어떤 결과가 선택되어 학술지에 실리는지도 살펴봐야 합니다.

재현성 위기를 키운 구조

네 사건이 공통으로 보여준 것은 재현성 문제가 일부 연구자의 부정행위만으로 설명되지 않는다는 사실입니다.

과학 연구의 보상 구조 자체가 통계적으로 유의하면서도 놀라운 결과를 선호하고 있었습니다.

출판하지 않으면 도태된다

연구자의 채용, 승진, 연구비와 평판은 논문 실적에 크게 의존합니다.

이를 "Publish or Perish", 즉 “출판하지 않으면 도태된다”라고 표현합니다.

그러나 학술지는 새로운 발견과 양성 결과를 선호합니다.

효과가 없었다는 결과, 기존 연구를 다시 확인한 결과, 재현에 실패했다는 결과는 상대적으로 출판하기 어렵습니다.

연구자는 자연스럽게 유의한 결과를 찾아야 한다는 압력을 받습니다.

P해킹과 HARKing

분석 방법이 사전에 정해져 있지 않으면 연구자는 여러 분석 가운데 유의한 결과만 선택할 수 있습니다. 결과를 확인한 뒤 그에 맞는 가설을 처음부터 예측한 것처럼 서술하면 탐색과 검증의 구분도 사라집니다.

출판 편향

효과가 나타난 연구는 출판되고, 효과가 없었던 연구는 사라집니다.

실제로는 같은 가설을 조사한 연구 대부분이 실패했더라도, 성공한 한 편만 발표되면 독자는 그 효과가 과학적으로 확인되었다고 생각합니다.

학술지에 실린 논문은 전체 연구의 대표 표본이 아니라 선택된 결과일 수 있습니다.

재현 연구의 부족

새로운 발견은 학술적으로 높은 평가를 받지만, 기존 연구를 반복하는 연구는 독창성이 부족하다는 평가를 받기 쉽습니다.

성공적으로 재현해도 새로울 것이 없고, 실패하면 실험을 제대로 수행하지 못했다는 반론을 받습니다.

과학은 반복 검증을 요구하지만 학계의 보상 구조는 새로운 발견을 요구합니다.

열린과학 운동

재현성 위기 이후 과학계는 연구 관행을 바꾸기 시작했습니다.

대표적인 변화는 다음과 같습니다.

연구 전에 가설과 분석 방법을 공개하는 사전등록
결과가 나오기 전에 연구 설계를 심사하는 등록보고
원자료와 분석 코드를 공개하는 오픈 데이터
표본 규모를 늘리고 여러 기관이 함께 수행하는 공동 연구
p값만이 아니라 효과 크기와 신뢰구간을 함께 보고하는 방식
음성 결과와 재현 연구의 출판 확대

이러한 개혁의 목적은 연구자가 데이터를 자유롭게 탐색하지 못하게 만드는 것이 아닙니다.

탐색적 발견과 사전에 계획된 검증을 구분하고, 성공한 결과뿐 아니라 실패한 결과까지 전체 증거를 볼 수 있게 만드는 것입니다.

논문은 사실이 아니라 검증을 기다리는 주장이다

재현성 위기를 불붙인 네 사건은 단계적으로 같은 문제를 드러냈습니다.

이오아니디스는 잘못된 연구 구조가 거짓 결과를 만들어낼 수 있음을 이론적으로 경고했습니다.

대릴 벰의 미래 예지 논문은 기존의 통계 관행으로 믿기 어려운 주장까지 입증된 것처럼 보일 수 있다는 사실을 보여주었습니다.

암젠과 바이엘의 보고는 문제가 심리학을 넘어 암 연구와 신약 개발에도 존재한다는 사실을 드러냈습니다.

심리학 논문 100편의 대규모 재현 프로젝트는 재현성 문제가 일부 사례가 아니라 구조적 현상일 수 있음을 확인했습니다.

따라서 유명 대학의 연구자가 썼고 권위 있는 학술지에 실렸다는 이유만으로 논문을 과학적 사실로 받아들여서는 안 됩니다.

논문 한 편은 어떤 연구자가 특정한 조건에서 얻은 하나의 결과입니다.

그 결과가 독립적인 연구자들에게 반복되고, 다른 표본과 다른 방법에서도 유지되어야 비로소 신뢰할 만한 지식이 됩니다.

논문은 과학적 사실의 완성품이 아니라, 검증을 기다리는 하나의 주장입니다.

참고문헌

National Academies of Sciences, Engineering, and Medicine. (2019). “Reproducibility and Replicability in Science.”
Ioannidis, J. P. A. (2005). “Why Most Published Research Findings Are False.” PLoS Medicine, 2(8), e124.
Bem, D. J. (2011). “Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect.” Journal of Personality and Social Psychology, 100(3), 407–425.
Amgen. “Amgen History.”
Kalantar-Zadeh K. (2017). “History of Erythropoiesis-Stimulating Agents, the Development of Biosimilars, and the Future of Anemia Treatment in Nephrology.” American Journal of Nephrology, 45(3), 235–247.
U.S. Food and Drug Administration. “Information for Epogen/Procrit (Epoetin alfa).”
Begley, C. G., & Ellis, L. M. (2012). “Drug Development: Raise Standards for Preclinical Cancer Research.” Nature, 483, 531–533.
Prinz, F., Schlange, T., & Asadullah, K. (2011). “Believe It or Not: How Much Can We Rely on Published Data on Potential Drug Targets?” Nature Reviews Drug Discovery, 10, 712.
Open Science Collaboration. (2015). “Estimating the Reproducibility of Psychological Science.” Science, 349(6251), aac4716.

📌 재현성 위기 7부작 시리즈

[재현성 위기 ①] 재현성 위기는 어떻게 시작되었는가 (현재 글)
[재현성 위기 ②] 의사는 어느 논문을 믿어야 하는가
[재현성 위기 ③] 유의한 결과만 살아남는 과학
[재현성 위기 ④] 결과를 본 뒤 가설을 만들다
[재현성 위기 ⑤] 코크레인 라이브러리도 완전하지 않다
[재현성 위기 ⑥] 경험주의는 어떻게 자신을 고쳐왔는가
[재현성 위기 ⑦] 재현성 위기를 움직인 사람들