타미플루 사건, 유방암 검진 논쟁, 페터 괴체 축출 사태 등을 통해 메타분석과 체계적 문헌고찰이 지닌 판단상의 한계와 근거 평가의 투명성을 살펴봅니다.

[재현성 위기 ⑤] 코크레인 라이브러리도 완전하지 않다

같은 연구를 모으고도 다른 결론에 도달하는 이유

앞의 글에서는 아치 코크레인과 코크레인 라이브러리의 등장을 살펴보았습니다.

같은 치료법에 관한 논문들이 서로 다른 결론을 내릴 때, 의사가 마음에 드는 논문만 골라 읽어서는 안 됩니다. 관련 연구를 가능한 한 모두 찾고, 연구의 질을 평가한 뒤 전체 결과를 함께 보아야 합니다.

이것이 체계적 문헌고찰입니다. 조건이 충분히 비슷한 여러 연구의 결과를 통계적으로 합치는 것이 메타분석입니다.[1]

메타분석은 분명 단일 논문보다 강력합니다. 작은 연구에서는 우연 때문에 효과를 발견하지 못할 수 있지만, 여러 연구를 합치면 전체 표본이 커지고 효과의 크기를 더 안정적으로 추정할 수 있습니다.

그러나 여기에서 또 하나의 권위가 만들어졌습니다.

사람들은 논문 한 편 대신 메타분석을 믿기 시작했고, 특히 코크레인 리뷰를 근거중심의학의 최종 판정처럼 받아들이기 시작했습니다.

하지만 메타분석도 사람이 만듭니다.

어떤 연구를 넣을지, 어떤 연구를 뺄지, 서로 다른 치료법을 같은 범주로 묶을지, 무엇을 중요한 결과로 볼지 결정해야 합니다. 연구자의 판단은 사라지지 않습니다. 다만 그 판단이 한 단계 위로 이동할 뿐입니다.

메타분석은 여러 논문을 넣으면 진실이 나오는 계산기가 아닙니다. 어떤 연구를 왜 넣고 뺐는지를 공개하는 절차입니다.

포화지방 논쟁: 한 메타분석은 어디까지 말할 수 있는가

메타분석에서 무엇을 같은 개입으로 묶을 것인가라는 문제는 포화지방 논쟁에서 선명하게 드러납니다.

2010년 다리우시 모자파리안, 레나타 미하, 사라 월리스는 여덟 개 무작위시험을 종합해 포화지방을 다가불포화지방으로 바꾸면 관상동맥질환 위험이 19% 감소한다고 보고했습니다.[2]

같은 해 크리스토퍼 램스던과 조지프 히블런 등의 연구진은 이 분석이 오메가6만 늘린 시험과 오메가3와 오메가6를 함께 늘린 시험을 같은 범주로 묶었다고 비판했습니다. 두 개입을 나누자 오메가3와 오메가6를 함께 늘린 연구에서는 이익이 나타났지만, 오메가6만 늘린 연구에서는 뚜렷한 이익이 확인되지 않았습니다.[3] 연구진은 이후 시드니와 미네소타의 잊힌 자료를 복원해 메타분석을 갱신했지만 사망률 감소를 확인하지 못했습니다.[4][5]

그러나 이것은 서로 독립된 수많은 시험이 상반된 결론을 반복한 이야기가 아닙니다. 모자파리안과 램스던의 분석, 그리고 램스던의 후속 논문들은 상당수의 오래된 식이시험을 공유했습니다. 같은 원자료를 다르게 분류하고 일부 자료를 추가한 분석들은 독립된 확인이라기보다 동일한 증거를 둘러싼 해석의 경쟁에 가깝습니다.

기초가 된 식이시험의 한계도 남습니다. 장기간의 식단은 약물시험처럼 이중맹검을 하기 어렵고, 참가자가 실제로 무엇을 먹었는지와 포화지방 대신 무엇을 섭취했는지를 완전히 통제하기도 어렵습니다. 제한된 오래된 시험을 여러 번 합친다고 원래 연구에 없던 엄격함까지 생기는 것은 아닙니다.

그렇다고 램스던의 반론을 무시할 수는 없습니다. 모자파리안이 제시한 19%라는 수치도 어떤 지방산과 시험을 한데 묶느냐에 따라 달라질 수 있기 때문입니다. 반대로 이 불확실성을 “포화지방은 무해하다”거나 “LDL은 심장질환과 관계없다”는 결론으로 확대해서도 안 됩니다. 더 넓은 코크레인 리뷰에서는 포화지방을 줄여도 전체 사망률 차이는 확인되지 않았지만 심혈관 사건은 감소했습니다.[6]

LDL의 역할은 식이시험 몇 편만으로 판단할 수 없습니다. 스타틴뿐 아니라 작용 방식이 다른 에제티미브와 PCSK9 억제제도 LDL을 낮추면서 심혈관 사건을 줄였고, 유전학 연구도 LDL이 동맥경화의 원인이라는 해석을 지지합니다.[7–10] 특정 식단이 사망률을 줄이는지는 별도로 검증해야 하지만, 식이시험의 불확실성이 LDL 자체의 위험성까지 지워주지는 않습니다.

램스던의 연구는 LDL이 높은 사람이 처방받은 약을 끊어도 된다는 근거도, 포화지방을 제한 없이 먹어도 된다는 근거도 아닙니다.

램스던 연구가 보여준 것은 “LDL을 낮추면 소용없다”가 아니라 “검사 수치가 좋아졌다는 사실만으로 특정 식단의 최종 임상 효과까지 입증됐다고 말할 수는 없다”는 것입니다. 약을 중단하거나 복용량을 바꾸는 판단은 개인의 위험을 고려해 의료진과 결정해야 합니다.

타미플루: 논문만 읽었을 때와 전체 자료를 보았을 때

메타분석의 필요성과 한계를 동시에 보여주는 대표적인 사례가 타미플루입니다.

타미플루는 인플루엔자 치료제 오셀타미비르의 상품명입니다. 2000년대 조류독감과 신종 인플루엔자에 대한 공포가 커지면서 여러 정부가 막대한 양의 타미플루를 비축했습니다.

당시 공개된 논문들은 타미플루가 독감 증상을 줄일 뿐 아니라 폐렴과 입원 같은 합병증도 감소시킬 수 있다는 인상을 주었습니다.

코크레인 연구진도 처음에는 출판된 논문을 토대로 비슷한 결론에 접근했습니다.

그런데 일본의 소아과 의사 하야시 게이지가 문제를 제기했습니다. 타미플루가 합병증을 감소시킨다는 결론이 실제로는 한 편의 요약 논문에 크게 의존하고 있었으며, 그 논문이 인용한 여러 임상시험의 원자료는 공개되지 않았다는 지적이었습니다.

코크레인 연구진은 이를 확인하려 했습니다.

그러나 공개된 학술논문만으로는 임상시험의 전체 설계와 부작용, 누락된 환자와 결과를 제대로 평가하기 어려웠습니다. 연구진은 제조사 로슈에 임상시험의 상세 보고서인 임상시험 보고서를 요청했고, 자료를 확보하는 데 오랜 시간과 공개적인 논쟁이 필요했습니다. 당시 연구진은 출판 논문과 미공개 임상시험 보고서 사이에 불일치가 있음을 발견하고 기존 리뷰를 철회한 뒤, 더 완전한 자료를 이용해 분석을 다시 진행했습니다.

2014년 공개된 상세 자료를 포함해 다시 분석한 코크레인 리뷰에서는 타미플루가 성인의 독감 증상 기간을 다소 단축하지만, 입원이나 심각한 합병증을 줄인다는 근거는 충분하지 않다고 판단했습니다. 구역과 구토 같은 부작용도 더 분명하게 드러났습니다.[11][12]

같은 약에 대한 과학적 결론이 달라진 이유는 통계 공식이 갑자기 바뀌었기 때문이 아니었습니다.

처음에는 출판된 논문만 보았고, 나중에는 논문 뒤에 감춰져 있던 훨씬 방대한 임상시험 자료를 보았기 때문입니다.

타미플루 사건은 체계적 문헌고찰의 중요한 한계를 보여줍니다.

공개된 논문을 아무리 정교하게 합쳐도, 공개되지 않은 자료까지 자동으로 되살릴 수는 없습니다.

메타분석의 품질은 통계 기술뿐 아니라 연구자료에 접근할 수 있는가에 달려 있습니다.

유방촬영 검진: 어떤 연구를 제외할 것인가

페터 괴체가 국제적으로 알려지게 된 대표적인 논쟁은 유방암 유방촬영 검진이었습니다.

당시 유방촬영 검진에 관한 임상시험들을 종합하면 검진이 유방암 사망을 줄이는 것으로 알려져 있었습니다. 그러나 괴체와 올레 올센은 2000년 기존 시험들을 다시 검토하면서, 여덟 개 시험 가운데 무작위 배정이 충분히 신뢰할 만한 것은 두 개뿐이라고 주장했습니다.[13]

나머지 시험에서는 검진군과 대조군의 연령이나 기초 위험이 충분히 비슷하지 않는 등 배정 과정에 문제가 있을 수 있다고 판단했습니다. 그들은 질이 낮다고 본 여섯 시험을 제외하면 유방암 사망 감소 효과를 확신하기 어렵다고 결론 내렸습니다.

반대 측은 괴체와 올센이 지나치게 엄격한 기준으로 유용한 시험들을 버렸다고 비판했습니다. 무작위 배정에 일부 불완전성이 있더라도 전체 근거를 함께 보면 검진의 사망 감소 효과를 인정할 수 있다는 것이었습니다.

쟁점은 단순히 계산 방식이 아니었습니다.

어떤 연구를 믿을 만한 연구로 인정할 것인가의 문제였습니다.

여덟 편을 모두 넣으면 검진의 이점이 커 보였습니다. 품질이 낮다고 판단한 여섯 편을 빼면 결론이 약해졌습니다. 같은 임상시험 자료를 놓고도 포함 기준에 따라 결론이 크게 달라질 수 있었던 것입니다.

이 사례는 흔히 말하는 “질이 낮은 연구를 합치면 안 된다”는 원칙이 실제로는 간단하지 않음을 보여줍니다.

품질이 낮다는 판단 자체에도 논쟁이 있기 때문입니다.

너무 느슨하게 포함하면 편향된 연구가 결론을 지배할 수 있습니다. 반대로 지나치게 엄격하게 제외하면 이용 가능한 근거 대부분을 버리고 결론을 내리지 못할 수도 있습니다.

체계적 문헌고찰의 핵심적인 판단은 논문을 합치는 순간이 아니라, 합치기 전에 어떤 논문을 살아남게 할 것인가를 결정하는 순간에 이루어집니다.

평균은 실제 환자를 가릴 수 있다

서로 다른 연구를 합칠 때 또 하나의 문제는 "이질성"입니다. 같은 이름의 치료라도 환자의 중증도와 나이, 약의 용량과 치료 기간, 측정하는 결과가 다릅니다.

이런 연구들을 모두 합치면 하나의 평균 효과가 나옵니다.

그러나 평균값이 계산된다는 것과 그 평균이 실제 환자를 잘 설명한다는 것은 다른 문제입니다.

예를 들어 어떤 치료가 경증 환자에게는 거의 도움이 되지 않지만 중증 환자에게는 큰 효과가 있다면, 두 집단을 합친 평균은 경증 환자에게는 효과를 과장하고 중증 환자에게는 과소평가합니다.

여러 종류의 약을 하나의 치료군으로 묶는 경우도 마찬가지입니다. 일부 약은 효과가 있고 일부는 효과가 없는데 모두 합치면 “이 계열의 약은 효과가 작다”는 결론이 나올 수 있습니다.

2026년 발표된 항아밀로이드 알츠하이머병 치료제 관련 코크레인 리뷰를 둘러싼 논쟁도 이런 문제를 보여줍니다. 리뷰는 오래된 실패 약물과 최근 승인된 항체 치료제들을 함께 분석해 전체적인 임상 효과가 작다고 결론 내렸습니다.[20] 이에 대해 일부 연구자들은 효과가 다른 약물들을 한데 합쳐 평균을 내면 최근 약물의 작은 효과까지 희석될 수 있다고 비판했습니다.[21]

어느 쪽이 반드시 옳다는 뜻은 아닙니다.

전체 항아밀로이드 전략의 효과를 묻는다면 여러 약을 합치는 것이 타당할 수 있습니다. 특정한 신약의 효과를 묻는다면 그 약만 별도로 보는 것이 더 적절합니다.

결론은 질문에 따라 달라집니다.

따라서 메타분석을 읽을 때는 결과 숫자만 볼 것이 아니라, "무엇과 무엇을 같은 것으로 묶었는가"를 확인해야 합니다.

산업체 연구는 어디에서 유리해지는가

산업체가 지원한 임상시험이 모두 잘못된 것은 아닙니다.

새로운 약물의 대규모 임상시험에는 막대한 비용이 필요합니다. 개발 기업이 연구비를 부담하는 것은 피하기 어려운 현실입니다.

문제는 노골적인 데이터 조작만이 아닙니다. 연구 질문과 설계 단계에서부터 제품에 유리한 선택을 할 수 있습니다.

새 약을 가장 좋은 기존 치료와 비교하는 대신 위약이나 효과가 약한 치료와 비교할 수 있습니다. 경쟁 약물은 불리한 용량으로 사용하고 자사 약물은 적절한 용량으로 사용할 수도 있습니다. 부작용이 나타나기 전에 연구를 끝내거나, 여러 평가변수 가운데 유리한 결과를 강조할 수도 있습니다.

연구가 형식적으로는 무작위 대조시험이어도 질문 자체가 후원자의 제품에 유리하도록 만들어질 수 있는 것입니다.

코크레인의 검토에서도 제약회사나 의료기기 회사가 후원한 연구는 비산업체 연구보다 후원자의 제품에 유리한 효과와 결론을 보고할 가능성이 더 높게 나타났습니다. 이 차이는 일반적인 연구 품질 평가만으로 완전히 설명되지 않았습니다.[19]

따라서 체계적 문헌고찰은 단순히 “무작위 대조시험인가”만 봐서는 안 됩니다. 누가 연구비를 댔고, 비교 대상과 평가변수를 누가 선택했으며, 전체 자료에 접근할 수 있는지도 확인해야 합니다.

타미플루 사례는 이 문제가 추상적인 우려가 아니라는 사실을 보여주었습니다.

출판된 논문만으로 약의 전체 효과와 부작용을 판단하려 했을 때와, 임상시험의 상세 보고서까지 확보했을 때 결론이 달라졌습니다.

제약산업이 설계하고 공개한 근거를 오랫동안 비판해온 괴체는 곧 이 질문을 코크레인 자신의 리뷰에도 적용했습니다. 충돌의 대상은 HPV 백신이었습니다.

괴체와 HPV 백신 리뷰의 충돌

2018년 괴체 축출 사건을 이해하려면 그 직전에 벌어진 HPV 백신 리뷰 논쟁을 볼 필요가 있습니다.

코크레인은 2018년 HPV 백신의 효과와 안전성을 평가한 리뷰를 발표했습니다. 리뷰는 백신이 자궁경부암 전단계 병변을 줄이며 심각한 부작용이나 사망 위험을 높인다는 근거는 발견되지 않았다고 결론 내렸습니다.[15]

그해 7월 북유럽 코크레인센터의 라르스 예르겐센, 페터 괴체와 옥스퍼드의 톰 제퍼슨은 이 리뷰를 공개적으로 비판하는 논문을 발표했습니다.[14]

이들은 코크레인 리뷰가 적격성이 있는 임상시험의 상당 부분을 빠뜨렸고, 위약이라고 표현된 대조군 가운데 실제로는 알루미늄 보조제나 다른 백신을 사용한 경우가 있었으며, 산업체의 영향과 심각한 부작용 평가를 충분히 다루지 않았다고 주장했습니다.

코크레인 편집진은 강하게 반박했습니다.

빠졌다고 지적된 시험들 가운데 다수는 당시 이용할 수 없었거나 포함 기준에 맞지 않았으며, 누락된 시험을 추가해도 리뷰의 주요 결론은 달라지지 않는다고 설명했습니다. 또한 괴체 측 비판이 HPV 백신 리뷰의 실제 방법과 결론을 과도하게 문제 삼았다고 주장했습니다.

이 논쟁은 단순한 백신 찬반이 아니었습니다. 무엇을 위약으로 볼 것인가, 어떤 시험을 포함할 것인가, 산업체가 설계한 연구에서 부작용을 어떻게 평가할 것인가라는 체계적 문헌고찰의 문제였습니다.

동시에 코크레인 내부의 권력 갈등으로 번졌습니다.

괴체는 코크레인의 공식 리뷰를 같은 조직의 센터장이 공개적으로 비판했습니다. 코크레인 지도부는 그의 비판 방식과 조직 명칭 사용, 반복된 행동 문제가 조직의 신뢰와 규정을 훼손한다고 보았습니다.

괴체 측은 오히려 독립적인 비판을 억압하고 중앙 지도부가 불편한 반대자를 제거하려 한다고 주장했습니다. HPV 백신 리뷰가 축출의 유일한 원인이었다고 단정할 수는 없지만, 이 공개 충돌이 누적된 갈등을 폭발시킨 직접적인 배경 가운데 하나였음은 분명합니다.

창립자를 축출한 코크레인

페터 괴체는 단순한 외부 비판자가 아니었습니다.

그는 1993년 코크레인 창립에 참여했고, 북유럽 코크레인센터를 설립해 이끌었습니다. 제약산업의 임상시험 자료 은폐, 유방암 검진의 과잉진단, 정신과 약물의 효과와 부작용을 강하게 비판해온 인물이었습니다.

동시에 그의 표현과 행동 방식은 매우 공격적이라는 평가를 받았습니다. 동료 연구자와 조직 지도부를 공개적으로 강하게 비난했고, 내부 갈등도 오래 누적돼 있었습니다.

2018년 9월 13일 에든버러에서 열린 코크레인 이사회는 괴체를 조직에서 제명하기로 표결했습니다. 코크레인 25년 역사에서 이사회가 선출된 이사를 축출한 것은 처음이었습니다.[16]

괴체 축출에 반대한 선출직 이사 네 명이 다음 날 항의하며 사임했습니다. 그 결과 이사회는 13명에서 6명으로 줄어 기능이 마비될 위기에 놓였습니다. 《네이처》는 이를 이사회가 사실상 붕괴할 수 있는 대규모 사임 사태로 보도했습니다.[16–18]

코크레인 지도부는 제명이 그의 과학적 견해나 제약산업 비판 때문이 아니라, 외부 법률 검토를 거쳐 반복적인 부적절한 행동과 조직 규정 위반을 판단한 결과라고 설명했습니다.

그러나 구체적으로 어떤 행동이 제명의 결정적 근거였는지는 개인정보와 법적 이유를 들어 충분히 공개하지 않았습니다.

바로 그 점이 반대자들의 비판을 키웠습니다.

괴체와 사임한 이사들은 피고가 구체적 혐의와 자료를 충분히 검토하지 못했고, 이사회가 이미 결론을 정한 상태에서 절차를 진행했다고 주장했습니다. 괴체는 이를 ‘보여주기식 재판’이라고 표현했습니다.

외부의 해석은 갈렸습니다. 한쪽에서는 공동체가 괴체의 공격적이고 독단적인 행동을 더는 감당하지 못했다고 보았습니다. 다른 쪽에서는 중앙집중적이고 브랜드 중심의 조직으로 변한 코크레인이 내부 비판자를 제거했다고 보았습니다.

공개된 자료만으로 어느 한쪽이 전적으로 옳다고 확정하기는 어렵습니다.

코크레인이 구체적인 조사 자료를 모두 공개하지 않았기 때문에 외부인은 행동 문제의 심각성을 독립적으로 판단하기 어렵습니다. 반대로 괴체가 오랫동안 제약산업을 비판했다는 이유만으로 그의 행동과 과학적 주장이 모두 정당해지는 것도 아닙니다.

그러나 이 사건에서 확실히 말할 수 있는 것은 있습니다.

근거를 평가하는 기관도 자신의 권력 행사와 의사결정을 충분히 공개하지 않으면 권위에 의존하게 됩니다.

코크레인은 연구자에게 검색 전략과 제외 이유, 이해충돌과 분석 방법을 공개하라고 요구합니다.

그렇다면 공동창립자를 축출하는 중대한 결정을 내릴 때도 어떤 규칙을 적용했고, 반대 의견을 어떻게 검토했으며, 결정권자가 어떤 이해관계를 가졌는지를 가능한 범위에서 설명해야 합니다.

연구에 적용하는 투명성의 원칙이 조직에는 적용되지 않는다면 코크레인은 스스로 만든 기준을 위반하게 됩니다.

괴체가 옳았다는 뜻은 아니다

괴체 사건을 단순히 “제약회사를 비판한 정의로운 과학자가 축출됐다”는 이야기로 만들면 안 됩니다.

그는 중요한 문제를 제기했지만 모든 결론이 옳았던 것은 아닙니다. 표현이 지나치게 단정적이라는 비판을 받았고, 코크레인 편집진은 누락된 시험을 포함해도 HPV 백신 리뷰의 주요 결론은 달라지지 않는다고 반박했습니다.

반대로 “괴체는 문제 인물이었으므로 축출은 정당했다”고 결론 내리는 것도 곤란합니다.

그 결정에 반대해 이사 네 명이 동시에 사임했다는 사실은 내부에서도 절차와 판단에 심각한 이견이 있었다는 뜻입니다. 이것은 단순한 인사 조치가 아니라 코크레인의 정체성과 거버넌스에 관한 충돌이었습니다.

중요한 것은 인물의 선악이 아닙니다. 괴체가 제기한 과학적 비판은 데이터와 방법으로 평가하고, 그의 조직 내 행동은 공개된 규칙과 절차로 평가해야 합니다.

불편한 사람이라는 사실이 그의 비판을 거짓으로 만들지는 않습니다. 중요한 공헌을 한 사람이라는 사실도 그의 모든 행동을 정당화하지 않습니다.

근거 없음과 효과 없음

코크레인 리뷰를 읽을 때 가장 자주 발생하는 오해도 살펴볼 필요가 있습니다.

“효과를 뒷받침할 충분한 근거가 없다”는 결론을 “효과가 없다”는 뜻으로 받아들이는 것입니다.

두 문장은 다릅니다.

충분히 큰 연구들이 일관되게 차이가 없음을 보여주면 효과가 없거나 매우 작다는 근거가 될 수 있습니다.

그러나 연구 수가 적고 표본이 작으며 결과가 들쭉날쭉하다면 효과가 있는지 없는지 알 수 없습니다.

이 경우의 결론은 ‘효과 없음’이 아니라 ‘판단할 수 없음’입니다.

타미플루가 입원과 심각한 합병증을 줄인다는 충분한 근거가 없다는 것과, 어떤 상황에서도 절대로 그런 효과가 없다는 것은 다릅니다.

유방촬영 검진의 이익이 어느 정도인지 불확실하다는 것과, 검진이 누구에게도 도움이 되지 않는다는 것도 다릅니다.

경험주의는 근거가 부족한 빈칸을 찬성과 반대 가운데 하나로 채우는 태도가 아닙니다. 모르는 것은 모른다고 남겨두는 태도입니다.

결론이 바뀌는 코크레인

코크레인 리뷰의 결론은 새로운 연구가 추가되면 바뀔 수 있습니다.

일부 사람은 이를 두고 전문가가 말을 바꾼다고 비판합니다. 그러나 새로운 근거가 추가됐는데도 결론을 바꾸지 않는 것이 더 큰 문제입니다.

코크레인 핸드북도 새로운 연구가 추가되면 리뷰의 결론이 실질적으로 달라질 수 있다고 설명합니다. 그래서 중요한 분야에서는 새로운 자료가 나올 때 계속 갱신하는 ‘살아 있는 체계적 문헌고찰’이 활용됩니다.[1]

타미플루 사례에서 코크레인 연구진은 처음 결론을 지키지 않았습니다.

출판 논문만으로는 신뢰할 수 없다는 문제를 발견하자 기존 리뷰를 철회하고, 몇 년 동안 제조사의 상세 자료를 요구한 뒤 다시 분석했습니다.

이것은 코크레인이 틀렸다는 증거이면서 동시에 코크레인이 필요한 이유이기도 합니다.

코크레인 라이브러리의 권위는 한 번 내린 결론을 끝까지 지키는 데 있지 않습니다. 무엇을 새로 알게 되어 결론을 바꾸었는지 추적할 수 있다는 데 있습니다.

더 나은 절차이지 진리 기계는 아니다

코크레인 라이브러리는 현대 의학이 만든 가장 중요한 지적 제도 가운데 하나입니다.

하지만 그것을 새로운 경전으로 만들면 코크레인의 정신을 거스르게 됩니다.

메타분석을 읽을 때는 다음을 물어야 합니다.

어떤 연구를 포함하고 제외했는가. 공개되지 않은 시험이 남아 있을 가능성은 없는가. 서로 다른 환자와 치료법을 억지로 합치지 않았는가. 산업체가 설계한 질문과 평가변수가 결론을 지배하지 않는가. 다른 포함 기준과 분석법을 적용해도 결론이 유지되는가.

그리고 코크레인이라는 조직에도 같은 질문을 해야 합니다.

어떤 비판을 허용하는가. 내부의 반대 의견을 어떻게 보호하는가. 이해충돌을 어떤 기준으로 관리하는가. 중요한 조직적 결정을 외부인이 검증할 수 있을 만큼 설명하는가.

코크레인을 신뢰해야 하는 이유는 그곳의 사람들이 다른 과학자보다 특별히 객관적이기 때문이 아닙니다.

연구를 찾고, 넣고, 빼고, 평가한 과정을 공개하려고 하기 때문입니다.

체계적 문헌고찰은 주관적 판단을 없애는 방법이 아닙니다. 그 판단이 숨어 있지 못하게 만드는 방법입니다.

괴체 축출 사건은 이 원칙이 논문에만 필요한 것이 아니라는 사실을 보여주었습니다.

근거를 평가하는 기관도 근거와 절차로 평가받아야 합니다.

코크레인 라이브러리는 최종 진리를 제공하는 기관이 아닙니다. 현재까지 공개된 자료를 가장 엄격한 절차로 정리하려는 제도입니다.

그 결과는 잠정적이며, 새로운 자료와 더 나은 비판이 나타나면 수정되어야 합니다.

그것이 코크레인의 한계이면서 동시에 경험주의의 힘입니다.

참고문헌

Cochrane. Cochrane Handbook for Systematic Reviews of Interventions. Version 6.5.
Mozaffarian D, Micha R, Wallace S. “Effects on Coronary Heart Disease of Increasing Polyunsaturated Fat in Place of Saturated Fat: A Systematic Review and Meta-Analysis of Randomized Controlled Trials.” PLoS Medicine. 2010;7(3):e1000252.
Ramsden CE, Hibbeln JR, Majchrzak SF, Davis JM. “n-6 Fatty Acid-Specific and Mixed Polyunsaturate Dietary Interventions Have Different Effects on CHD Risk: A Meta-Analysis of Randomised Controlled Trials.” British Journal of Nutrition. 2010.
Ramsden CE, Zamora D, Leelarthaepin B, et al. “Use of Dietary Linoleic Acid for Secondary Prevention of Coronary Heart Disease and Death: Evaluation of Recovered Data from the Sydney Diet Heart Study and Updated Meta-Analysis.” BMJ. 2013;346:e8707.
Ramsden CE, Zamora D, Majchrzak-Hong S, et al. “Re-Evaluation of the Traditional Diet-Heart Hypothesis: Analysis of Recovered Data from Minnesota Coronary Experiment.” BMJ. 2016;353:i1246.
Hooper L, Martin N, Jimoh OF, et al. “Reduction in Saturated Fat Intake for Cardiovascular Disease.” Cochrane Database of Systematic Reviews. 2020;(5):CD011737.
Cholesterol Treatment Trialists’ Collaboration. “Efficacy and Safety of More Intensive Lowering of LDL Cholesterol: A Meta-Analysis of Data from 170,000 Participants in 26 Randomised Trials.” The Lancet. 2010;376:1670–1681.
Cannon CP, Blazing MA, Giugliano RP, et al. “Ezetimibe Added to Statin Therapy after Acute Coronary Syndromes.” New England Journal of Medicine. 2015;372:2387–2397.
Sabatine MS, Giugliano RP, Keech AC, et al. “Evolocumab and Clinical Outcomes in Patients with Cardiovascular Disease.” New England Journal of Medicine. 2017;376:1713–1722.
Ference BA, Ginsberg HN, Graham I, et al. “Low-Density Lipoproteins Cause Atherosclerotic Cardiovascular Disease: Evidence from Genetic, Epidemiologic, and Clinical Studies.” European Heart Journal. 2017;38:2459–2472.
Jefferson T, Jones MA, Doshi P, et al. “Neuraminidase Inhibitors for Preventing and Treating Influenza in Adults and Children.” Cochrane Database of Systematic Reviews. 2014.
Doshi P, Jefferson T, Del Mar C. “The Imperative to Share Clinical Study Reports.” PLoS Medicine. 2012;9(4):e1001201.
Olsen O, Gøtzsche PC. “Cochrane Review on Screening for Breast Cancer with Mammography.” The Lancet. 2001;358:1340–1342.
Jørgensen L, Gøtzsche PC, Jefferson T. “The Cochrane HPV Vaccine Review Was Incomplete and Ignored Important Evidence of Bias.” BMJ Evidence-Based Medicine. 2018;23(5):165–168.
Arbyn M, Xu L, Simoens C, Martin-Hirsch PPL. “Prophylactic Vaccination against Human Papillomaviruses to Prevent Cervical Cancer and Its Precursors.” Cochrane Database of Systematic Reviews. 2018.
Hawkes N. “Cochrane Director’s Expulsion Results in Four Board Members Resigning.” BMJ. 2018;362:k3945.
Hawkes N. “Cochrane Director Says His Sacking Was Flawed and Came after ‘Show Trial’.” BMJ. 2018;362:k4008.
Vesper I. “Mass Resignation Guts Board of Prestigious Cochrane Collaboration.” Nature. 2018.
Lundh A, Lexchin J, Mintzes B, Schroll JB, Bero L. “Industry Sponsorship and Research Outcome.” Cochrane Database of Systematic Reviews. 2017;(2):MR000033.
Nonino F, Minozzi S, Sambati L, et al. “Amyloid-Beta-Targeting Monoclonal Antibodies for People with Mild Cognitive Impairment or Mild Dementia Due to Alzheimer’s Disease.” Cochrane Database of Systematic Reviews. 2026;(4):CD016297.
Mahase E. “Alzheimer’s Drugs Targeting Amyloid Do Not Produce Clinically Meaningful Effects, Concludes Cochrane Review.” BMJ. 2026;393:s719.

📌 재현성 위기 7부작 시리즈

[재현성 위기 ①] 재현성 위기는 어떻게 시작되었는가
[재현성 위기 ②] 의사는 어느 논문을 믿어야 하는가
[재현성 위기 ③] 유의한 결과만 살아남는 과학
[재현성 위기 ④] 결과를 본 뒤 가설을 만들다
[재현성 위기 ⑤] 코크레인 라이브러리도 완전하지 않다 (현재 글)
[재현성 위기 ⑥] 경험주의는 어떻게 자신을 고쳐왔는가
[재현성 위기 ⑦] 재현성 위기를 움직인 사람들