[재현성 위기 ⑦] 재현성 위기를 움직인 사람들

과학의 오류를 의심한 사람들, 아무도 돈을 대지 않던 검증을 시작한 사람들, 그리고 실패에도 계속 비용을 지불한 사람들의 이야기입니다.

앞의 여섯 편에서 우리는 논문과 통계, 임상시험과 연구 제도를 이야기했습니다. p값이 어떻게 오해되는지, 불리한 결과가 어떻게 사라지는지, 연구자가 결과를 본 뒤 얼마나 쉽게 이야기를 바꿀 수 있는지도 살펴보았습니다.

그런데 제도는 저절로 자신을 고치지 않습니다. 논문은 스스로 다시 실험되지 않고, 공개되지 않은 자료가 혼자 세상 밖으로 걸어 나오지도 않습니다. 마지막에는 언제나 사람이 필요합니다. 이상하다고 말하는 사람, 남의 실험을 다시 해보는 사람, 실패할지 모르는 일에 시간과 돈을 거는 사람이 필요합니다.

재현성 위기의 끝에서 사람 이야기를 해야 하는 이유가 여기에 있습니다.

의심하는 일은 생각보다 외롭다

2005년 존 이오아니디스가 「왜 발표된 연구 결과의 대부분은 거짓인가」를 발표했을 때, 그의 주장은 단순히 사기꾼 과학자가 많다는 이야기가 아니었습니다. 성실한 연구자도 작은 표본과 유리한 분석, 긍정적인 결과를 선호하는 학술지 안에서 얼마든지 틀릴 수 있다는 이야기였습니다. 잘못은 개인에게만 있는 것이 아니라, 평범한 사람을 잘못된 결론으로 이끄는 구조 안에도 있었습니다.

브라이언 노섹에게 이 문제는 남의 일이 아니었습니다. 그는 조너선 하이트 등과 함께 도덕심리를 연구하던 사회심리학자였습니다. 자신이 몸담은 분야가 쌓아 올린 결과를 의심한다는 것은 결국 자기 연구도 같은 질문 앞에 세우는 일이었습니다.

노섹은 연구 가설과 자료, 분석 과정을 공개하는 온라인 도구를 만들려 했습니다. 다른 연구자가 실험을 다시 해볼 수 있도록 심리학 논문들을 재현하는 프로젝트도 시작했습니다. 하지만 새로운 발견을 약속하지 않고 이미 발표된 결과를 의심하겠다는 연구에 선뜻 돈을 대는 곳은 없었습니다. 연구비 신청은 거듭 거절됐고, 그는 편향 연구를 소개하는 외부 강연에서 받은 돈으로 프로젝트를 버텼습니다.

과학은 틀린 결과를 발표한 사람에게는 논문 한 편을 주지만, 그 결과를 다시 확인하는 사람에게는 별다른 보상을 주지 않았습니다.

사라진 실패를 찾아다닌 의사

비슷한 시기 영국에서는 의사 벤 골드에이커가 다른 종류의 빈자리를 보고 있었습니다. 어떤 약의 효과를 확인하려면 성공한 임상시험뿐 아니라 실패한 시험도 함께 봐야 합니다. 그러나 제약회사와 연구기관은 불리한 결과를 발표하지 않거나, 시험이 있었다는 사실만 남긴 채 결과를 공개하지 않곤 했습니다. 의사는 출판된 논문을 모두 읽고도 전체 진실의 일부만 볼 수 있었습니다.

골드에이커는 《Bad Science》와 《Bad Pharma》를 통해 이 문제를 끈질기게 알렸습니다. 그리고 책을 쓰는 데서 멈추지 않았습니다. 그는 Sense about Science, BMJ, 코크레인 등과 함께 모든 임상시험의 등록과 결과 공개를 요구하는 AllTrials 운동을 시작했습니다. 흩어진 시험 자료를 연결하는 OpenTrials와 결과를 공개하지 않은 임상시험을 추적하는 TrialsTracker도 추진했습니다.

골드에이커가 하려던 일은 거창하면서도 소박했습니다. 시작된 시험은 시작됐다고 기록하고, 실패한 결과도 실패했다고 남겨두자는 것이었습니다. 과학이 기억하고 싶어 하는 결과만이 아니라, 잊고 싶어 하는 결과까지 보존하자는 요구였습니다.

한 통의 이메일

2012년 여름, 거의 연구비를 포기하고 있던 노섹에게 낯선 곳에서 이메일이 왔습니다. 로라 앤드 존 아널드 재단이었습니다. 존 아널드는 천연가스 거래로 큰돈을 번 투자자였고, 서른여덟 살에 헤지펀드를 닫은 뒤 부인 로라와 함께 자선사업에 집중하고 있었습니다.

그는 노섹의 재현 프로젝트를 읽고 먼저 연락했습니다. 이듬해 아널드 재단은 525만 달러를 지원했고, 노섹은 Center for Open Science를 세웠습니다. 연구실 한쪽의 작은 프로젝트는 연구 계획과 자료, 분석 코드를 공개하는 Open Science Framework로 성장했습니다. 심리학 논문 100편을 다시 실험하는 작업에는 세계 각지에서 270여 명이 참여했습니다.

2015년 결과가 발표됐을 때, 원래 논문의 97%에서는 통계적으로 유의미한 결과가 나왔지만 재현 실험에서 같은 기준을 충족한 비율은 36% 정도였습니다. 사람들은 그제야 몇몇 논문의 문제가 아니라 과학이 지식을 생산하는 방식 자체를 이야기하기 시작했습니다.

아널드 재단은 이오아니디스와 스티븐 굿먼이 메타연구를 독립된 학문으로 발전시키도록 METRICS 설립도 지원했습니다. 2013년에는 골드에이커에게도 먼저 연락했고, 사라진 임상시험을 찾아 공개하는 연구와 도구에 돈을 댔습니다. 암 연구의 주요 실험을 다시 수행하는 프로젝트에도 자금을 제공했습니다.

아널드는 재현성 위기를 발견한 학자도, 실험실에서 재현 연구를 수행한 과학자도 아니었습니다. 그가 한 일은 다른 의미에서 드물었습니다. 아무도 돈을 대고 싶어 하지 않던 의심에 돈을 댔습니다.

아널드가 먼저 겪은 실패

아널드가 처음부터 과학 제도 전체를 고치겠다는 계획을 세웠던 것은 아닙니다. 그의 첫 대형 과학 투자는 영양과학에서 시작됐습니다.

2011년 그는 게리 타우브스가 출연한 팟캐스트를 들었습니다. 타우브스는 수십 년 동안 상식으로 받아들여진 영양 지침의 토대가 빈약하며, 비만의 원인을 둘러싼 논쟁을 엄격한 실험으로 가려야 한다고 주장했습니다. 아널드는 짧은 이메일을 보냈고, 이듬해 타우브스와 피터 아티아가 세운 Nutrition Science Initiative, 즉 NuSI에 470만 달러를 지원했습니다. 이듬해에는 3,550만 달러를 더 약속했습니다.

NuSI는 탄수화물이 인슐린을 자극해 비만을 일으킨다는 가설을 정교한 통제 실험으로 확인하려 했습니다. 그러나 케빈 홀이 이끈 첫 실험은 기대했던 크기의 효과를 보여주지 못했습니다. 연구 설계와 해석을 둘러싼 갈등이 이어졌고, 공동 창립자는 떠났으며, 아널드 재단의 지원도 끝났습니다. 수천만 달러를 투입한 조직은 논쟁을 끝낼 결정적 해답을 내놓지 못한 채 축소됐습니다.

아널드는 NuSI의 부정적인 결과가 나오기 전부터 노섹에게 연락했고, COS를 지원했습니다. 이오아니디스와 골드에이커의 글도 함께 읽고 있었습니다. NuSI가 먼저 완전히 실패하고, 그제야 재현성 위기에 눈을 뜬 것은 아닙니다.

그러나 NuSI는 아널드가 과학의 불확실성을 관념이 아니라 자기 돈으로 겪은 첫 경험이었습니다. 좋아 보이는 가설과 유명한 사람, 충분한 자금만으로는 믿을 만한 지식이 만들어지지 않았습니다. 엄격한 검증은 후원자가 기대한 답까지 무너뜨릴 수 있었고, 연구조직 자체도 사람 사이의 갈등으로 흔들릴 수 있었습니다.

그 경험은 그가 왜 특정한 결론보다 결론을 검증하는 제도에 계속 돈을 댔는지를 보여줍니다. 실패를 피하게 해주는 과학이 아니라, 실패를 숨기지 못하게 하는 과학이 필요했습니다.

과학에 돈을 댄다는 것은 원하는 결론을 사는 일이 아니라, 원하지 않는 결론이 나올 비용까지 지불하는 일입니다.

과학의 자정작용에도 사람이 필요하다

이 사람들을 영웅으로 만들 필요는 없습니다. 이오아니디스도 틀릴 수 있고, 노섹의 재현 프로젝트도 비판을 받았으며, 골드에이커가 만든 제도만으로 모든 임상시험이 공개된 것은 아닙니다. 거액의 민간 후원자가 과학의 의제를 좌우할 수 있다는 불편한 질문도 남습니다. NuSI의 실패는 좋은 의도와 많은 돈이 좋은 연구를 자동으로 보장하지 않는다는 사실을 보여주었습니다.

그래도 이들이 남긴 변화는 분명합니다. 누군가는 학계 안에서 자신의 분야를 의심했고, 누군가는 사라진 실패를 기록하려 했습니다. 누군가는 아무도 경력을 걸고 싶어 하지 않던 반복 실험을 시작했고, 누군가는 그 일이 몇 년 동안 계속될 비용을 냈습니다.

재현성 위기는 과학이 믿을 수 없다는 이야기가 아니었습니다. 과학자 역시 자기 생각을 사랑하고, 학술지 역시 화려한 성공을 좋아하며, 후원자도 자신이 바라던 결론을 보고 싶어 하는 인간이라는 이야기였습니다. 과학의 힘은 인간이 그런 욕망에서 자유롭다는 데 있지 않습니다. 그 욕망을 서로 견제하고, 틀린 결과를 드러내고, 다시 시작할 장치를 만들 수 있다는 데 있습니다.

앞의 여섯 편에서 살펴본 사전등록, 데이터 공개, 등록보고서, 체계적 문헌고찰은 차가운 제도처럼 보입니다. 그러나 그 제도들은 모두 누군가가 실망하고, 의심하고, 거절당하고, 그래도 다시 시도한 흔적입니다.

과학의 자정작용은 자연현상이 아닙니다.
누군가는 의심해야 하고, 누군가는 반복해야 하며, 누군가는 실패를 기록해야 하고, 누군가는 그 비용을 지불해야 합니다.

참고 자료

Sam Apple. “John Arnold Made a Fortune at Enron. Now He's Declared War on Bad Science.” WIRED. 2017.
Hall KD, Chen KY, Guo J, et al. “Energy expenditure and body composition changes after an isocaloric ketogenic diet in overweight and obese men.” The American Journal of Clinical Nutrition. 2016;104(2):324–333.
Emily Waite. “The Struggles of a $40 Million Nutrition Science Crusade.” WIRED. 2018.
University of Oxford. “Ben Goldacre joins Oxford University.” 2015.
Goldacre B. “How to Get All Trials Reported: Audit, Better Data, and Individual Accountability.” PLOS Medicine. 2015;12(4):e1001821.
Open Science Collaboration. “Estimating the Reproducibility of Psychological Science.” Science. 2015;349(6251):aac4716.
Errington TM, Iorns E, Gunn W, et al. “An open investigation of the reproducibility of cancer biology research.” eLife. 2014;3:e04333.

아르고스의 노트