![[재현성 위기 사례 ④] 논문은 남았지만 실험은 복원할 수 없었다](/_next/image?url=%2Fimages%2Fthe-paper-remained-but-the-experiment-was-lost.png&w=3840&q=75)
논문은 남았지만 실험은 복원할 수 없었다
암 생물학의 재현성 위기가 드러낸 더 근본적인 문제
심리학의 재현성 위기는 비교적 이해하기가 직관적입니다. 연구자는 참가자에게 특정 단어를 제시하거나 신체 자세를 취하게 한 뒤 행동 변화를 측정합니다. 다른 연구자가 동일한 절차를 반복했음에도 원래의 효과가 관찰되지 않으면, 표본의 크기가 부족했는지, 통계 분석이 편향되었는지, 아니면 그 효과가 처음부터 존재하지 않았는지를 둘러싸고 논쟁을 벌일 수 있습니다.
그러나 암 생물학 분야에서 발생한 재현성 위기는 이보다 훨씬 복잡하고 근본적이었습니다. 논문에 적힌 절차대로 실험을 재현했으나 결과가 나오지 않은 경우도 많았지만, 그보다 앞서 어떤 세포주를 사용했는지, 시약의 농도와 처리 시간은 어떠했는지, 실험동물을 어떤 환경에서 사육했는지, 그래프에 표기된 오차막대가 표준편차(SD)인지 표준오차(SEM)인지조차 논문 서술만으로는 파악할 수 없는 경우가 허다했기 때문입니다.
실험을 재현하여 검증하기 위해서는 먼저 '원래 수행되었던 실험이 정확히 무엇이었는가'를 복원해야만 했습니다. 그러나 세상에 출판된 논문들에는 최종 결론과 매끄럽게 포장된 정제된 정량 그래프만 남았을 뿐, 그 결론을 도출하기까지 수행되었던 실제 실험의 구체적인 수기와 세부 조건들은 충분히 기록되어 있지 않았습니다.
사회과학에서의 재현성 위기가 "동일한 실험을 다시 수행했으나 효과가 나오지 않았다"는 문제였다면, 암 생물학에서는 그보다 앞선 본질적인 질문에서부터 막혀버렸던 셈입니다.
과연 '동일한 실험'이란 정확히 무엇을 뜻하는가?
신약개발은 논문을 믿는 데서 시작한다
기초 암 생물학 연구는 단순히 학자의 학술적 호기심을 충족하는 데서 그치지 않습니다. 특정 유전자나 표적 단백질이 암세포의 억제 및 성장을 조절한다는 논문이 발표되면, 제약회사들은 그 표적을 겨냥하는 신약 후보물질 개발에 본격 착수하기 때문입니다. 논문에 보고된 세포 및 전임상 결과가 수천억 원 규모 신약개발의 출발점이 되는 구조입니다.
그러나 제약회사들이 출판된 논문만 믿고 곧바로 막대한 자금을 투입하지는 않습니다. 개발에 본격 착수하기 전 자체 전임상 연구실에서 논문의 핵심 결과를 직접 다시 재현하여 확인하는 검증 단계를 거치게 됩니다. 논문에서 특정 유전자를 억제했더니 종양이 줄어들었다고 보고했다면, 자사의 세포주와 생쥐 모델에서도 동일한 현상이 재현되어야 비로소 다음 개발 단계로 넘어갈 수 있습니다.
바로 이 검증 과정에서 심각하고 비정상적인 일이 수없이 반복되었습니다. 유명 최고 학술지에 게재되고 수천 회 인용된 유망한 연구임에도 불구하고, 제약회사의 내부 재현 실험에서는 논문의 핵심 효과가 나타나지 않는 사례가 속출했습니다.
바이엘 연구자들이 발견한 불일치
2011년 세계적인 제약회사 바이엘(Bayer)의 연구진은 자사에서 수년에 걸쳐 내부 검토했던 67개 전임상 프로젝트의 재현성 검증 결과를 전격 공개했습니다.
바이엘 연구진의 집계에 따르면, 논문에 보고된 핵심 결과가 자사의 내부 검증 실험과 대체로 일치한 경우는 불과 20~25%에 불과했으며, 일부 결과만 일치한 경우가 약 20%였습니다. 프로젝트의 대다수인 60% 가까운 연구들에서는 논문의 핵심 효과가 전혀 재현되지 않았습니다.
바이엘 연구진은 학계를 공격하고자 한 것이 아니라, 출판된 전임상 연구들이 산업 현장의 신약개발 출발점으로 쓰이기에 신뢰성이 크게 부족함을 지적했습니다. 불확실한 결과에 기반하여 잘못된 표적에 개발 자원을 투입할 경우 막대한 비용과 시간 손실이 발생하기 때문입니다.
암젠의 53개 주요 암 연구
이듬해인 2012년, 또 다른 제약 공룡 암젠(Amgen)의 글렌 베글리(C. Glenn Begley)와 리 엘리스(Lee Ellis) 연구팀은 한층 더 충격적인 수치를 발표했습니다.
암젠 연구팀은 신약개발의 핵심 근거로 삼고자 했던 가장 파급력 높은 암 연구 53편을 선정하여 내부적으로 수년에 걸쳐 엄격한 재현 검증을 수행했습니다. 이 논문들은 영향력 지수(Impact Factor)가 매우 높은 최고 학술지들에 실린 유명 연구들이었습니다.
암젠 연구진의 검증 결과, 53편의 주요 암 연구 중 논문의 핵심 결론을 제약회사 연구실에서 재현해낸 것은 단 6편(11%)에 불과했습니다. 나머지 47편(89%)의 연구는 내부 재현에 실패했습니다.
이 수치는 이후 "전임상 암 연구의 89%는 재현되지 않는다"는 강렬한 헤드라인으로 전 세계 과학계에 폭탄을 던졌습니다.
환자에게 투여할 약물을 개발하는 전임상 단계에서 잘못된 표적 연구를 믿고 개발을 진행할 경우, 수년의 세월과 막대한 자금이 허공으로 사라지게 됩니다. 무엇보다 효과가 없는 신약 후보물질에 암 환자들의 소중한 치료 기회와 희망이 소모된다는 점이 가장 심각한 문제입니다.
정확한 재현 프로젝트가 필요했다
바이엘과 암젠의 발표는 정밀한 과학계를 흔들었지만, 검증 대상 논문들의 목록이나 구체적인 실험 데이터 프로토콜을 기업 기밀이라는 이유로 모두 공개하지는 않았다는 한계를 지니고 있었습니다. 이로 인해 원 논문 저자들은 제약회사의 수기 숙련도 부족이나 실험 조건의 미세한 차이를 핑계로 반발할 수 있었습니다.
이 불투명성의 역설을 극복하기 위해, 오픈 사이언스 센터(COS)와 사이언스 익스체인지는 2013년부터 공개 검증 프로젝트인 "암 생물학 재현 프로젝트(Reproducibility Project: Cancer Biology, RPCB)"를 본격 착수했습니다.
고도로 인용된 암 생물학 논문들의 핵심 실험을 선정한 뒤, 원 연구진과 직접 협의하여 미세한 수기 조건까지 확인받아 독립된 전문 수탁 연구기관에서 검증을 수행하는 방식이었습니다. 실험의 상세 절차와 통계 계획은 결과를 확인하기 전에 eLife 학술지에 등록보고서(Registered Report) 형태로 사전에 먼저 출판하도록 의무화했습니다. 성공이든 실패든 모든 결과를 투명하게 100% 공개하는 표준 규칙을 적용했습니다.
논문만 읽고는 실험을 할 수 없었다
그러나 암 생물학 재현 프로젝트팀은 실제 재현 실험을 시작하기도 전에 뜻밖의 거대한 장벽에 가로막혔습니다. 논문에 기술된 ‘재료 및 방법(Materials and Methods)’ 섹션을 읽고서는 동일한 실험을 재현하는 것이 불가능했기 때문입니다.
학술지들은 지면의 한계를 이유로 상세한 서술을 제한했고, 저자들은 해당 분야 전문가라면 당연히 알 것으로 지레 짐작하여 세부 절차를 대폭 생략했습니다. 연구실에서 수년간의 시행착오 끝에確立한 미세한 노하우와 조건들도 "기존 서술 방식에 따라 수행하였다"는 단순한 한 문장으로 압축되어 버렸습니다.
실제로 암 생물학 재현 프로젝트가 검토했던 핵심 실험들에서는 다음과 같은 치명적인 정보들이 대거 빠져 있었습니다.
- 실험에 사용된 정확한 표본 수의 명시
- 생물학적 독립 반복과 단순 기술적 반복의 구분
- 처치군 및 대조군의 무작위 배정 시행 여부
- 관찰자 및 분석자의 맹검(Blind) 처리 여부
- 실험동물의 세부 성별 및 정확한 주령
- 종양 크기를 산출한 구체적인 부피 측정 공식
- 사용 시약의 제조사, 카탈로그 제품번호 및 배치번호
- 반응에 사용된 항체의 희석배율
- 세포주의 정확한 배양액 조성, 혈청 배치 및 계대 횟수
- 세부 통계적 검정 기법 및 검정력 계산 기전
- 그래프의 오차막대가 표준편차(SD)인지 표준오차(SEM)인지의 정확한 명시
- 최종 분석에서 제외된 표본과 사후 제외 기준
논문은 저자가 도출한 최종 결론을 이해하기에는 설득력 있게 작성되어 있었지만, 다른 연구자가 그 실험을 똑같이 다시 복원하여 실행하기에는 정보가 터무니없이 부족했습니다.
원 연구자에게 물어야만 알 수 있었다
재현 연구진은 빠진 필수 정보들을 얻기 위해 원 논문의 교신저자들에게 직접 연락을 취했습니다. 상당수 연구자들은 친절하게 답변하고 실험 프로토콜노트나 시약을 제공해주었지만, 여전히 모든 정보를 복원할 수는 없었습니다.
논문이 출판된 지 불과 몇 년만 지나도 실제 실험을 손으로 수행했던 박사후연구원이나 대학원생들은 이미 연구실을 떠난 상태였습니다. 연구책임자(PI)는 연구의 거시적 방향은 기억하지만 튜브의 회전 속도나 세포의 배양 밀도 같은 세부 조건까지는 알지 못했습니다.
결국 공식 출판된 논문보다 연구자의 개인적 암묵지(tacit knowledge)나 기억에 실험의 핵심이 의존하고 있었던 셈입니다. 이는 특정인의 개인적 손기술이나 기억에 의존하지 않고 누구나 검증 가능해야 한다는 현대 과학의 보편성 이상과 정면으로 충돌하는 현실이었습니다.
세포주, 항체, 동물의 변이 문제
생물학 실험의 재현을 막는 또 다른 거대한 장애물은 생물학적 재료 자체의 미세한 변이였습니다.
세포주는 고정된 불변의 물질이 아니며, 계대 배양을 거치면서 유전적 변이가 계속 쌓입니다. 같은 이름의 세포주라 하더라도 A 연구실에서 배양한 세포와 B 연구실의 세포는 약물 반응성이 완전히 다를 수 있습니다. 마이코플라스마 오염이나 타 세포주 혼입 문제도 심각했습니다.
항체 시약 역시 제품 카탈로그 번호가 같더라도 제조 제조 배치(Batch)에 따라 비특이적 결합 수준과 민감도가 크게 흔들렸습니다.
실험동물의 경우 유전적 아계통(Substrain)뿐만 아니라, 다음과 같은 세부 사육 환경 조건이 종양 성장과 항암제 반응에 막대한 영향을 미쳤습니다.
- 실험동물의 세부 유전적 아계통(Substrain)
- 동물의 암수 성별
- 정확한 연령 및 주령
- 급여된 사료의 영양 성분
- 케이지당 동물의 사육 밀도
- 사육 시설의 온도 및 습도
- 주간 및 야간의 조명 시간 주기
- 소음 및 취급에 따른 수동적 스트레스 수준
- 시설 및 공급원에 따른 장내 미생물군(Microbiome)의 구성
- 동물의 출처 및 공급업체(Vendor)
- 주사 및 측정을 담당한 실험자의 보체 수기 방식
"6주령 수컷 생쥐를 사용하였다"는 단 한 줄의 서술 뒤에는 이처럼 결과에 치명적인 영향을 줄 수 있는 수십 가지의 미세 변수들이 숨어 있었습니다.
결과는 단순한 성공과 실패로 나뉘지 않았다
8년에 걸친 암 생물학 재현 프로젝트(RPCB)의 최종 검증 결과는 단순한 성공률 퍼센티지로 깔끔하게 정리되지 않았습니다. 하나의 암 연구 논문에는 수많은 세포 및 동물 실험들이 얽혀있기 때문입니다.
최종 분석된 23편 논문의 50개 실험 중 원 논문의 핵심 결론을 온전히 재현해낸 것은 일부였으며, 다수의 실험들은 결과가 일치하지 않거나 통계적 변이가 너무 크고 조건이 복원되지 않아 성공도 실패도 아닌 '해석 불가능' 범주에 남게 되었습니다.
종합 분석 결과, 완료된 재현 실험에서 관찰된 평균 효과 크기는 원래 논문들에 보고되었던 효과 크기보다 훨씬 더 작게 측정되었습니다. 사회과학과 마찬가지로 암 생물학 연구 역시 소규모 표본에서 관찰된 우연한 오차가 학술지 선별을 통해 크게 부풀려지는 '승자의 저주' 현상에서 자유롭지 못했던 것입니다.
실패보다 더 근본적인 기록의 부재
암 생물학 재현성 위기가 과학계에 던진 가장 충격적인 메시지는 "많은 전임상 결과가 재현되지 않는다"는 사실 그 자체보다, **"실험을 다시 반복해볼 수조차 없을 만큼 연구 절차와 원자료가 기록되어 있지 않았다"**는 사실이었습니다.
결과가 틀린 실험은 추가 연구를 통해 오류를 바로잡으면 됩니다. 그러나 어떤 조건으로 무엇을 어떻게 실행했는지에 대한 핵심 기록과 원자료가 사라져버렸다면, 그 연구는 참인지 거짓인지를 가리는 검증 자체가 불가능해집니다.
과학 논문은 연구자가 도출한 매력적인 결론을 보존하는 데에는 성공했으나, 그 결론에 도달하기까지 걸어갔던 실제 실험의 실체적 경로를 보존하는 데에는 참담하게 실패했던 것입니다.
과학은 결과가 아니라 경로를 보존해야 한다
미래의 신약개발과 학문의 축적을 위해 생물의학계가 도입해야 할 변화는 명확합니다. 학술지는 단순한 체크리스트 요구를 넘어 연구의 전 과정을 검증 가능하게 기록하도록 제도를 개혁해야 합니다.
- 독립적인 생물학적 반복을 충분히 시행해야 합니다.
- 연구 시작 전에 적정 통계 검정력을 만족하는 표본 수를 계산해야 합니다.
- 처치군 배정 및 데이터 측정 시 무작위 배정과 맹검을 철저히 시행해야 합니다.
- 신뢰성 검증을 위한 양성 및 음성 대조군을 필수 포함해야 합니다.
- 단일 세포주에 의존하지 않고 다종의 세포주 및 동물모델에서 일반화 효과를 검증해야 합니다.
- 핵심 연구 결과는 타 연구실의 독립적 연구자가 재검증해야 합니다.
- 단순 p값 외에 효과 크기와 신뢰구간 불확실성을 명시 보고해야 합니다.
- 유의미한 결과가 나오지 않은 미유의 실험도 투명하게 공개해야 합니다.
나아가 논문 출판 시 다음과 같은 실체적 데이터와 정보들이 원문과 함께 영구히 보존되어야 합니다.
- 가공되지 않은 모든 원자료(Raw Data)
- 통계 검정과 데이터 처리 코드를 포함한 세부 분석법
- 미세한 수기 조건을 담은 표준 실험 프로토콜
- 시약의 제품 카탈로그 번호 및 제조 배치 정보
- 세포주 계대 정보 및 실험동물 아계통 특성
- 과정 중 유의성을 얻지 못했던 미유의 실패 실험 기록
- 예비실험 중 실험 조건을 변경했던 사유
- 최종 분석에서 표본을 이상치로 제외한 명확한 기준
- 정규 패턴에서 벗어났던 예외적 관찰 기록
과학은 단순히 완성된 인상적인 결과만을 공유하는 전시회가 아닙니다. 다른 사람이 동일한 길을 다시 걸어가며 검증하고 발전시킬 수 있도록 경로 전체를 투명하게 보존하는 엄격한 제도입니다.
암 생물학의 재현성 위기는 논문이라는 불완전한 저장 매체를 넘어, 과학이 진짜 보존해야 할 가치가 무엇인지를 뼈아프게 가르쳐준 사건이었습니다.
참고문헌
- Florian Prinz·Thomas Schlange·Khusru Asadullah, “Believe It or Not: How Much Can We Rely on Published Data on Potential Drug Targets?”, Nature Reviews Drug Discovery 10(9), 2011.
- C. Glenn Begley·Lee M. Ellis, “Drug Development: Raise Standards for Preclinical Cancer Research”, Nature 483, 2012.
- Timothy M. Errington·Elizabeth Iorns·William Gunn 외, “An Open Investigation of the Reproducibility of Cancer Biology Research”, eLife 3, 2014.
- Timothy M. Errington·Maya Mathur·Amy C. Denis 외, “Investigating the Replicability of Preclinical Cancer Biology”, eLife 10, 2021.
- Nicole C. Perfito·Timothy M. Errington·Elizabeth Iorns 외, “Challenges of Conducting Replications in Cancer Biology”, eLife 10, 2021.