[재현성 위기 ②] 의사는 어느 논문을 믿어야 하는가

아치 코크레인과 근거중심의학의 탄생, 무작위 대조시험과 체계적 문헌고찰을 통해 단일 논문과 의사의 경험을 넘어선 의료의 근거 체계를 살펴봅니다.

아치 코크레인과 근거중심의학의 탄생

앞의 글에서는 논문 한 편이 곧 과학적 사실은 아니라는 점을 살펴보았습니다.

그러나 이 원칙을 실제 의료 현장에 적용하면 문제가 훨씬 복잡해집니다. 의사는 환자 앞에서 결정을 내려야 합니다. 약을 사용할 것인지, 수술할 것인지, 조금 더 기다릴 것인지 선택해야 합니다.

그런데 같은 치료법을 조사한 논문들이 서로 다른 결론을 내린다면 어떻게 해야 할까요?

한 연구에서는 치료 효과가 크다고 합니다. 다른 연구에서는 차이가 없다고 합니다. 어떤 논문은 부작용이 거의 없다고 하지만, 다른 논문에서는 위험이 증가했다고 보고합니다.

의사는 모든 연구를 직접 읽을 수도 없습니다. 설령 읽는다 해도 자신이 이미 선호하는 치료법을 지지하는 논문에 더 큰 의미를 부여할 수 있습니다.

의학은 바로 이 문제에서 출발해 단일 논문을 넘어서는 새로운 검증 체계를 발전시켰습니다.

그 중심에 아치 코크레인과 코크레인 라이브러리가 있습니다.

경험이 많은 의사는 언제나 옳은가

오랫동안 의료는 의사의 경험과 권위에 크게 의존했습니다.

선배 의사에게 배운 방법, 병원에서 오랫동안 사용해온 치료법, 유명 교수가 추천한 처치가 의료행위의 근거가 되었습니다. 당시에는 이것이 반드시 비과학적인 태도라고 생각되지도 않았습니다.

의사의 경험은 분명 중요합니다. 환자의 상태는 교과서처럼 단순하지 않으며, 같은 질병이라도 나이와 생활환경, 동반 질환에 따라 치료가 달라집니다.

그러나 경험에는 치명적인 한계가 있습니다.

어떤 환자가 치료 후 회복했다고 해서 그 치료가 회복의 원인이었다고 단정할 수 없습니다. 치료하지 않아도 좋아졌을 수 있고, 다른 처치가 영향을 주었을 수도 있습니다. 환자가 특별히 회복력이 좋았을 가능성도 있습니다.

반대로 치료 후 환자가 사망했다고 해서 치료가 잘못되었다고 말할 수도 없습니다. 치료하지 않았다면 더 빨리 사망했을 수도 있기 때문입니다.

의사는 자신이 치료한 환자의 결과는 볼 수 있지만, 같은 환자에게 그 치료를 하지 않았을 때 어떤 일이 일어났을지는 볼 수 없습니다.

이것이 의학에서 인과관계를 판단하기 어려운 근본적인 이유입니다.

또한 사람은 성공한 사례를 실패한 사례보다 잘 기억합니다. 자신이 선호하는 치료가 효과를 보인 환자는 인상 깊게 기억하지만, 효과가 없었던 환자는 병이 너무 심했다고 설명할 수 있습니다.

경험은 필요하지만 경험만으로는 치료 효과를 증명할 수 없습니다.

임상 경험은 무엇을 시도해볼지 알려줄 수 있지만, 그것이 정말 효과가 있었는지는 비교를 통해서만 알 수 있습니다.

치료 효과를 알려면 비교해야 한다

어떤 치료법이 효과가 있는지 알아보려면 치료받은 사람과 치료받지 않은 사람을 비교해야 합니다.

그러나 단순히 두 집단을 비교하는 것만으로는 충분하지 않습니다.

새로운 치료를 받은 환자들이 원래 더 젊고 건강했다면 결과가 좋은 것이 치료 때문인지 환자의 특성 때문인지 알 수 없습니다. 반대로 중증 환자에게만 새로운 치료를 사용했다면 효과가 있는 치료도 나쁘게 보일 수 있습니다.

이를 줄이기 위해 발전한 방법이 "무작위 대조시험"입니다.

연구 참가자를 치료군과 대조군으로 무작위 배정하면, 연구자가 의식적으로 더 건강한 환자를 한쪽에 몰아넣기 어려워집니다. 표본이 충분히 크다면 나이, 성별, 질병의 심각도와 같은 알려진 조건뿐 아니라 연구자가 미처 알지 못한 조건도 두 집단에 비교적 고르게 배분됩니다.

가능하다면 환자와 의료진에게 누가 어떤 치료를 받는지도 숨깁니다. 이를 맹검이라고 합니다.

맹검이 필요한 이유는 연구자가 부정직해서가 아닙니다. 같은 증상이라도 새로운 약을 복용했다는 사실을 알면 환자가 더 좋아졌다고 느낄 수 있고, 의료진도 치료군의 상태를 더 긍정적으로 평가할 수 있기 때문입니다.

무작위 배정, 대조군, 맹검은 모두 같은 원칙에서 나왔습니다.

사람의 선의와 객관성을 믿는 대신, 기대와 선택이 결과에 개입하기 어렵게 절차를 설계하는 것입니다.

이런 의미에서 무작위 대조시험은 단순한 통계 기법이 아닙니다. 인간의 확증편향을 통제하기 위한 경험주의적 제도입니다.

한 번의 임상시험으로 충분한가

무작위 대조시험은 의학 연구에서 매우 강력한 방법입니다. 그러나 그것도 하나의 연구라는 한계를 벗어나지는 못합니다.

같은 약을 조사한 임상시험에서도 결과가 달라질 수 있습니다.

한 연구는 젊은 환자를 대상으로 하고, 다른 연구는 노인을 대상으로 할 수 있습니다. 약의 용량과 투여 기간이 다르고, 질병의 심각도도 다를 수 있습니다. 한 연구에서는 증상의 호전을 측정하고, 다른 연구에서는 입원이나 사망을 평가할 수도 있습니다.

여기에는 우연의 문제만큼 중요한 일반화의 문제가 있습니다. 임상시험이 직접 보여주는 것은 “이 약은 효과가 있다”라는 무제한의 결론이 아닙니다. 정확히는 특정한 선정 기준을 통과한 환자들에게, 정해진 용량을, 정해진 기간 동안, 특정한 의료환경에서 투여했을 때 대조군과 평균적으로 어떤 차이가 나타났는지를 보여줍니다.

그러나 연구 결과가 대중과 의료현장으로 전달될 때는 이러한 조건이 쉽게 사라집니다. 젊고 다른 질환이 없는 환자를 대상으로 한 결과가 고령자와 여러 만성질환을 가진 환자에게도 그대로 적용되고, 몇 주 동안 관찰한 효과가 수년간 지속될 것으로 받아들여지며, 혈압이나 검사 수치의 개선이 곧 입원과 사망의 감소를 뜻하는 것처럼 확대되기도 합니다.

연구가 설정한 조건 안에서 결론이 타당한지를 내적 타당도라고 하고, 그 결론을 다른 환자와 상황에도 적용할 수 있는지를 외적 타당도 또는 일반화 가능성이라고 합니다. 내적 타당도가 높은 무작위 대조시험이라도 외적 타당도가 자동으로 보장되는 것은 아닙니다.[9] 따라서 의사는 “이 연구가 잘 수행되었는가”뿐 아니라 “연구에 참여한 환자와 지금 치료하려는 환자가 얼마나 비슷한가”도 물어야 합니다.

표본이 작으면 우연의 영향도 커집니다.

100명을 대상으로 한 연구에서는 치료 효과가 크게 나타났지만, 1,000명을 대상으로 다시 조사하면 효과가 훨씬 작아질 수 있습니다. 반대로 작은 연구에서는 차이가 없었지만, 여러 연구를 합치면 작지만 일관된 효과가 드러날 수도 있습니다.

그렇다면 의사는 어느 연구를 믿어야 할까요?

자신이 선호하는 결론을 지지하는 연구만 골라 읽을 수도 있습니다. 새로운 치료를 좋아하는 의사는 효과가 컸던 논문을 인용하고, 보수적인 의사는 효과가 없었던 논문을 인용할 수 있습니다.

두 사람 모두 과학 논문을 인용하고 있지만, 결론은 정반대입니다.

문제는 논문의 부족이 아니었습니다. 오히려 논문이 너무 많고, 서로 충돌하며, 각자 원하는 논문을 선택할 수 있다는 것이 문제였습니다.

전쟁 포로수용소에서 시작된 의문

아치 코크레인은 스코틀랜드 출신의 의사이자 역학자였습니다. 그는 제2차 세계대전 당시 군의관으로 복무하다 포로가 되었고, 독일군 포로수용소에서 다른 포로들을 치료했습니다.

수용소에는 의약품과 장비가 극히 부족했습니다. 영양실조와 감염에 시달리는 포로들을 돌보던 코크레인은 자신이 시행하는 치료가 실제로 도움이 되는지 판단할 근거가 없고, 한정된 자원을 어디에 써야 할지도 알기 어렵다는 사실을 절감했습니다.

이 경험은 훗날 그가 치료의 효과를 비교하고 의료 자원을 효율적으로 사용해야 한다고 주장한 중요한 배경이 되었습니다.[3]

그의 질문은 단순했습니다.

우리가 시행하는 치료 가운데 실제로 효과가 입증된 것은 얼마나 되는가?

그러나 이 질문은 당시 의료계 전체를 겨냥한 것이기도 했습니다.

의사들은 많은 치료를 시행하고 있었지만, 그중 상당수는 충분한 비교시험을 거치지 않았습니다. 오래 사용했다는 사실과 유명한 의사가 권장한다는 사실이 효과의 증거를 대신했습니다.

효과와 효율성

코크레인은 1972년 《효과와 효율성: 의료 서비스에 대한 무작위적 성찰》이라는 책을 출간했습니다.[1]

그는 의료 자원이 한정되어 있으므로, 효과가 입증되지 않은 치료에 자원을 계속 투입해서는 안 된다고 주장했습니다. 모든 사람에게 원하는 만큼 의료를 제공할 수 없다면, 적어도 실제로 도움이 되는 치료를 구별해야 한다는 것입니다.

이 문제를 정확히 이해하려면 세 개념을 구분해야 합니다.

효능(Efficacy): 엄격히 통제된 이상적 조건에서 치료가 작동하는가
실제 효과(Effectiveness): 일상적인 진료 환경에서도 환자에게 도움이 되는가
효율성(Efficiency): 비용과 인력 등 한정된 자원을 고려했을 때 합리적인 선택인가

따라서 “치료가 작동하는가”, “현실의 환자에게도 도움이 되는가”, “그 결과를 위해 자원을 투입할 가치가 있는가”는 서로 연결되어 있지만 같은 질문은 아닙니다. 코크레인이 특히 강조한 것은 마지막 두 질문이었습니다.

코크레인은 의료가 선한 의도만으로 정당화될 수 없다고 보았습니다.

의사가 환자를 돕기 위해 치료했다는 사실과 그 치료가 실제로 환자를 도왔다는 사실은 다릅니다.

의료는 선의를 평가하는 일이 아니라 결과를 평가하는 일이어야 합니다.

코크레인은 특히 무작위 대조시험을 강조했습니다. 치료법을 비교하고 실제 결과를 측정하지 않는다면, 의료는 권위와 관행에서 벗어나기 어렵다고 보았기 때문입니다.

코크레인의 더 근본적인 비판

코크레인의 비판은 단지 “임상시험을 더 많이 해야 한다”는 데서 끝나지 않았습니다.

임상시험이 아무리 많이 시행되어도 결과가 여기저기 흩어져 있다면 의사와 환자가 사용할 수 없습니다. 어떤 시험이 존재하는지조차 알기 어려우며, 유리한 결과만 골라 인용할 수도 있습니다.

코크레인은 의료계가 각 전문 분야의 모든 관련 무작위 대조시험을 체계적으로 모아 비판적으로 요약하지 못하고 있다는 사실을 심각한 문제로 보았습니다.

코크레인 핸드북은 그의 문제의식을 다음과 같이 설명합니다. 의료계가 각 전문 분야별로 관련 무작위 대조시험을 비판적으로 정리하고 새로운 연구에 맞춰 정기적으로 갱신하지 않았다는 것이 그의 핵심 비판이었습니다.[4]

이 생각은 중요한 전환이었습니다.

좋은 논문을 찾는 것만으로는 충분하지 않습니다. 관련 논문을 "빠짐없이 찾는 절차"가 필요합니다.

한두 편의 유명한 연구를 읽고 결론을 내리는 것이 아니라, 같은 질문을 다룬 모든 연구를 가능한 한 찾아야 합니다. 그 뒤 연구의 설계와 편향 위험을 평가하고, 결과가 왜 달라졌는지 분석해야 합니다.

과학적 신뢰의 단위가 논문 한 편에서 "전체 근거의 구조"로 이동하기 시작한 것입니다.

임신과 출산 연구에서 시작된 체계적 검토

코크레인의 구상은 임신과 출산 분야에서 구체화되기 시작했습니다.

1970년대와 1980년대에 이언 찰머스와 동료들은 임신, 출산과 신생아 치료에 관한 무작위 대조시험을 수집하고 체계적으로 정리하는 작업을 진행했습니다.

출산 의료에는 오랫동안 시행돼온 처치가 많았습니다. 그러나 그것들이 실제로 산모와 아이에게 도움이 되는지, 오히려 불필요한 위험을 만드는지는 충분히 비교되지 않은 경우가 있었습니다.

관련 임상시험을 한데 모으자 개별 논문만 볼 때는 알아차리기 어려웠던 사실이 나타났습니다.

어떤 치료는 작은 연구 하나에서는 효과가 분명하지 않았지만 여러 연구를 합치자 유용성이 드러났습니다. 반대로 널리 사용되던 처치가 생각만큼 도움이 되지 않는다는 사실도 확인할 수 있었습니다.

1987년 코크레인은 임신과 출산 관리에 관한 무작위 대조시험을 체계적으로 검토한 작업을 무작위시험과 의료 평가의 역사에서 중요한 이정표라고 평가하고, 다른 의학 분야도 이 방식을 따라야 한다고 제안했습니다.[2][4]

코크레인이 꿈꾸었던 것은 모든 의학 분야에서 같은 작업이 이루어지는 것이었습니다.

코크레인 협력의 탄생

코크레인이 세상을 떠난 뒤 그의 문제의식은 국제적인 연구 협력체로 이어졌습니다.

이 작업을 이끈 핵심 인물은 영국의 의사이자 연구자인 이언 차머스(Iain Chalmers)였습니다. 차머스와 동료들은 1992년 영국 옥스퍼드에 영국 코크레인 센터를 세웠고, 이듬해 아홉 나라에서 온 77명의 연구자와 의료인들이 첫 코크레인 콜로키움에 모여 코크레인 협력을 창립했습니다. 케이 디커신(Kay Dickersin)과 덴마크의 의사·연구자 페터 괴체(Peter C. Gøtzsche)도 이 창립 집단에 참여했습니다. 조직의 이름은 아치 코크레인에게서 따왔습니다.[3][10]

괴체는 같은 해 코펜하겐에 북유럽 코크레인 센터를 설립하고 이후 25년 동안 이끌었습니다.[5] 그는 코크레인의 방법론 발전과 제약산업의 편향을 비판하는 작업에서 중요한 역할을 했으며, 훗날 코크레인 조직의 방향을 둘러싼 가장 논쟁적인 내부 비판자 가운데 한 사람이 됩니다.

코크레인의 목표는 특정 치료법을 옹호하는 것이 아니었습니다.

어떤 치료가 효과가 있다고 미리 정해놓고 그것을 뒷받침하는 논문을 모으는 것도 아니었습니다. 질문을 먼저 정하고, 관련 연구를 가능한 한 전부 찾아, 미리 정한 기준으로 평가하는 것이 핵심이었습니다.

코크레인의 주된 산출물은 "체계적 문헌고찰"입니다. 이러한 리뷰들은 코크레인 체계적 문헌고찰 데이터베이스를 통해 제공되며, 코크레인 라이브러리의 중심을 이룹니다.[6]

오늘날 코크레인은 세계 여러 나라의 연구자, 의료인, 환자와 보호자가 참여하는 비영리 국제 네트워크로 운영되고 있습니다. 특정 건강 문제에 관한 연구들을 체계적으로 종합해 의료인과 환자, 정책결정자가 판단에 사용할 수 있는 근거를 제공하는 것을 목표로 합니다.

일반적인 문헌 리뷰와 무엇이 다른가

연구자가 어떤 분야를 설명하기 위해 기존 논문을 읽고 정리하는 일을 문헌 리뷰라고 합니다.

문헌 리뷰 자체는 필요합니다. 전문가는 여러 연구를 비교하고 역사적 흐름과 주요 논쟁을 설명할 수 있습니다.

그러나 일반적인 서술형 리뷰에는 큰 자유가 있습니다.

저자는 어떤 논문을 중요하게 다룰지 선택할 수 있습니다. 자신의 결론과 맞지 않는 연구는 덜 중요한 것으로 판단할 수 있고, 자신이 익숙한 학술지와 연구만 인용할 수도 있습니다.

악의가 없어도 선택 편향이 발생합니다.

반면 체계적 문헌고찰은 연구를 찾고 선택하는 절차를 사전에 정합니다.

예를 들어 다음과 같은 사항을 미리 명시합니다.

어떤 환자나 집단을 대상으로 할 것인가
어떤 치료나 노출을 검토할 것인가
무엇과 비교할 것인가
어떤 결과를 중요하게 평가할 것인가
어떤 연구 설계를 포함할 것인가
어떤 데이터베이스와 검색어를 사용할 것인가
어떤 이유로 연구를 제외할 것인가
편향 위험을 어떻게 평가할 것인가

코크레인 리뷰는 본격적인 리뷰에 앞서 프로토콜을 작성하고 공개합니다. 프로토콜에는 "검토할 질문"과 연구를 찾고 평가할 방법이 포함됩니다. 이를 먼저 공개하면 연구 결과를 본 뒤 자신에게 유리하도록 포함 기준과 분석법을 바꾸는 일을 줄일 수 있습니다.[7]

이 점에서 체계적 문헌고찰은 단순히 논문을 많이 읽는 방식이 아닙니다.

연구를 선택하는 전문가의 자유를 공개된 규칙으로 제한하는 방법입니다.

모든 연구를 찾는다는 것의 의미

체계적 문헌고찰에서 가장 중요한 작업 중 하나는 관련 연구를 가능한 한 빠짐없이 찾는 것입니다.

이것이 필요한 이유는 연구자가 알고 있는 논문만 모으면 결과가 왜곡될 수 있기 때문입니다.

유명 학술지에 실린 긍정적인 연구는 쉽게 찾을 수 있습니다. 그러나 효과가 없었던 연구는 작은 학술지에 실리거나 아예 출판되지 않았을 수 있습니다. 특정 국가의 언어로 발표되었거나 학위논문과 학술대회 자료로만 남아 있을 수도 있습니다.

효과가 크게 나온 논문만 모으면 실제보다 치료 효과가 과장됩니다.

따라서 체계적 문헌고찰에서는 여러 데이터베이스를 검색하고, 참고문헌을 추적하며, 임상시험 등록자료와 미출판 연구도 가능한 범위에서 찾아야 합니다.

‘모든 연구를 찾는다’는 것은 실제로 완벽히 달성하기 어려운 목표입니다. 그러나 중요한 것은 완전함을 선언하는 것이 아니라, 어디를 어떻게 검색했는지를 공개하는 것입니다.

다른 연구자는 검색이 충분했는지 비판할 수 있고, 빠진 연구를 찾아낼 수 있습니다.

연구의 수보다 질이 중요하다

연구가 여러 편 있다고 해서 모두 같은 무게를 가져야 하는 것은 아닙니다.

무작위 배정이 제대로 이루어지지 않은 연구, 환자 탈락이 많은 연구, 평가자가 치료 내용을 알고 있었던 연구, 사전에 정하지 않은 결과만 선택해 보고한 연구는 결론을 왜곡할 위험이 큽니다.

따라서 체계적 문헌고찰은 연구를 단순히 모으는 데서 끝나지 않습니다.

각 연구에서 어떤 편향이 발생할 수 있는지 평가합니다.

무작위 배정은 적절했는가
배정 결과가 사전에 숨겨졌는가
맹검이 가능한 연구였는가
중도 탈락자는 어떻게 처리했는가
사전에 정한 결과를 모두 보고했는가
연구비 제공자가 분석과 보고에 영향을 미쳤는가

코크레인은 연구의 설계와 수행 과정에서 발생할 수 있는 편향을 평가하고, 그 결과를 근거의 확실성 판단에 반영합니다. 또한 코크레인 리뷰에는 수행·보고·갱신에 관한 상세한 방법론 기준이 적용됩니다.[7]

여기서 중요한 원칙이 나옵니다.

논문의 수를 세는 것과 근거를 평가하는 것은 다릅니다.

질이 낮은 연구 열 편이 엄격한 연구 한 편보다 반드시 강한 근거가 되는 것은 아닙니다.

메타분석은 투표가 아니다

체계적 문헌고찰에는 종종 메타분석이 포함됩니다.

메타분석은 여러 연구의 결과를 통계적으로 결합해 전체적인 효과의 크기를 추정하는 방법입니다.

예를 들어 약물에 관한 10개의 임상시험이 있다고 해봅시다. 다섯 편은 통계적으로 유의한 효과가 있다고 보고하고, 다섯 편은 유의하지 않다고 보고했습니다.

이를 보고 “찬성 다섯 편, 반대 다섯 편이므로 결론을 낼 수 없다”고 말하면 안 됩니다.

연구마다 표본 수가 다르기 때문입니다. 50명을 대상으로 한 연구와 5,000명을 대상으로 한 연구를 한 표씩 계산할 수는 없습니다. 효과의 방향과 크기, 추정의 불확실성도 함께 봐야 합니다.

메타분석은 일반적으로 표본이 크고 추정이 정밀한 연구에 더 큰 가중치를 부여합니다. 이를 통해 개별 연구에서는 포착하기 어려웠던 작은 효과를 발견할 수 있습니다.

그러나 메타분석은 여러 논문을 넣으면 자동으로 진실이 나오는 기계가 아닙니다.

환자의 특성과 치료법, 평가변수가 지나치게 다른 연구를 억지로 합치면 의미 없는 평균이 만들어질 수 있습니다. 질이 낮고 편향된 연구만 모았다면 계산이 아무리 정확해도 결론은 잘못될 수 있습니다.

따라서 체계적 문헌고찰과 메타분석은 같은 말이 아닙니다.

체계적 문헌고찰은 연구를 찾고 평가하고 종합하는 전체 과정입니다. 메타분석은 그중 조건이 적절할 때 결과를 통계적으로 합치는 방법입니다. 연구들의 차이가 너무 크거나 자료가 부족하면 체계적 문헌고찰을 하더라도 메타분석을 하지 않을 수 있습니다.

‘효과가 없다’와 ‘근거가 부족하다’는 다르다

코크레인 리뷰를 읽을 때 자주 오해하는 표현이 있습니다.

“효과를 뒷받침할 충분한 근거가 없다”는 결론입니다.

많은 사람은 이것을 “그 치료는 효과가 없다”는 뜻으로 받아들입니다. 그러나 두 문장은 다릅니다.

연구가 충분히 크고 엄격하며 결과가 일관되게 효과가 없다고 나타난다면 ‘효과가 없다’고 판단할 수 있습니다.

반면 연구가 너무 적거나 표본이 작고 연구의 질이 낮다면, 효과가 있는지 없는지 판단할 수 없습니다. 이 경우의 결론은 ‘효과가 없음’이 아니라 "불확실함"입니다.

이 차이는 중요합니다.

근거가 부족하다는 이유로 효과가 있다고 주장해서도 안 되지만, 효과가 없다고 단정해서도 안 됩니다.

경험주의는 모르는 것을 없다고 말하는 태도가 아닙니다.

근거가 부족할 때는 부족하다고 말하는 것이 가장 정확한 결론입니다.

코크레인 라이브러리는 무엇을 바꾸었는가

코크레인 라이브러리가 가져온 가장 큰 변화는 특정한 의학 지식을 제공한 데만 있지 않습니다.

의학적 판단의 단위를 바꾸었습니다.

이전에는 유명한 논문이나 권위 있는 의사의 견해가 중심이었습니다. 코크레인식 접근에서는 특정 질문에 관한 전체 연구가 판단의 출발점이 됩니다.

“이 논문에서 효과가 나왔는가”가 아니라 다음과 같이 묻게 되었습니다.

관련된 연구를 모두 모으면 결과가 어느 방향인가
효과의 크기는 어느 정도인가
연구마다 결과가 다른 이유는 무엇인가
연구 설계의 편향 가능성은 얼마나 큰가
결론을 어느 정도 확신할 수 있는가
새로운 연구가 나오면 결론이 바뀔 가능성이 있는가

그러나 코크레인의 가장 중요한 공헌은 어떤 기관을 새로운 권위로 세운 것이 아닙니다.

권위 있는 논문을 믿는 방식에서, 연구를 찾고 선택하고 평가한 절차를 검토하는 방식으로 옮겨간 것입니다.

근거중심의학은 의사를 없애는가

근거중심의학에 대한 오해도 있습니다.

통계와 지침에 따라 치료한다면 의사의 경험과 환자의 개별성은 필요 없다는 생각입니다.

그러나 근거중심의학의 의미는 논문의 평균값을 모든 환자에게 기계적으로 적용하는 것이 아닙니다.

임상시험은 일반적으로 여러 환자의 평균적인 결과를 보여줍니다. 실제 환자는 그 연구에 참여한 평균적 환자와 다를 수 있습니다.

환자는 나이가 더 많거나, 여러 질병을 함께 가지고 있을 수 있습니다. 연구에서 제외된 약을 복용하고 있을 수도 있습니다. 치료 효과보다 특정한 부작용을 더 중요하게 생각할 수도 있습니다.

따라서 의료 결정에는 적어도 세 가지 요소가 필요합니다.[8]

현재 이용할 수 있는 가장 좋은 연구 근거
환자의 상태를 해석하는 임상적 전문성
환자의 가치와 선호

좋은 근거는 의사를 대신하지 않습니다. 의사의 판단이 어떤 현실적 가능성 안에서 이루어져야 하는지 경계를 제시합니다.

반대로 임상 경험도 연구 근거를 대신할 수 없습니다. 의사가 아무리 많은 환자를 보았더라도 자신의 치료를 받지 않은 동일한 환자의 결과는 알 수 없기 때문입니다.

근거중심의학은 경험과 연구 중 하나를 선택하는 방법이 아닙니다.

경험을 근거에 의해 교정하고, 근거를 개별 환자의 현실에 맞게 해석하는 방법입니다.

코크레인은 새로운 권위가 아니다

여기서 코크레인 라이브러리를 또 하나의 최종 권위로 만들면 안 됩니다.

코크레인 리뷰도 사람이 작성합니다. 어떤 연구를 포함할지, 어떤 결과를 중요하게 볼지, 서로 다른 연구를 합칠 수 있는지 판단해야 합니다.

검색하지 못한 연구가 있을 수 있고, 포함된 임상시험 자체가 부실할 수도 있습니다. 같은 자료를 두고도 분석 방법에 따라 결론이 달라질 수 있습니다.

새로운 연구가 발표되면 기존 리뷰의 결론도 바뀔 수 있습니다.

코크레인 역시 체계적 문헌고찰을 갱신하고, 방법론을 개선하며, 오류와 철회 논문을 관리해야 합니다. 최근에는 철회된 연구가 리뷰에 남아 근거를 왜곡하지 않도록 관리 체계를 강화하고 있습니다.

코크레인의 신뢰는 언제나 옳기 때문에 생기는 것이 아닙니다. 질문과 검색 방법, 포함 기준, 편향 평가와 분석 과정을 공개하기 때문에 생깁니다. 다른 연구자가 그 판단을 추적하고 비판할 수 있습니다.

코크레인의 권위는 결론을 수정하지 않는 데 있지 않습니다. 새로운 근거가 나타났을 때 결론을 수정할 수 있도록 과정을 기록한다는 데 있습니다.

논문에서 근거 체계로

아치 코크레인이 남긴 가장 중요한 유산은 특정 치료법이나 통계 기법이 아닙니다.

그는 의료계에 질문의 방향을 바꾸도록 요구했습니다.

“어느 유명한 의사가 이 치료를 사용하는가”가 아니라 “비교시험에서 환자의 결과가 실제로 좋아졌는가”를 물었습니다.

“효과를 보고한 논문이 있는가”가 아니라 “관련된 모든 연구를 함께 보면 어떤 결론이 나오는가”를 물었습니다.

“좋은 의도로 제공한 의료인가”가 아니라 “한정된 자원을 사용해 실제로 더 나은 결과를 만들었는가”를 물었습니다.

이 변화는 과학의 기본 단위를 논문 한 편에서 누적된 근거로 옮겼습니다.

그러나 모든 연구를 모은다고 문제가 끝나는 것은 아닙니다.

효과가 있는 연구만 학술지에 실리고 효과가 없었던 연구는 서랍 속에 남는다면, 체계적 문헌고찰도 왜곡될 수 있습니다. 연구자가 수많은 분석 가운데 유의한 결과만 선택했다면, 여러 논문을 모아도 같은 오류가 반복됩니다.

왜 학술지는 효과가 없다는 연구보다 새롭고 자극적인 결과를 선호할까요? 왜 연구자는 p < 0.05라는 숫자를 통과하기 위해 분석 방법을 바꾸게 될까요? 왜 연구비와 승진, 언론 보도는 신중한 반복 연구보다 놀라운 발견을 보상할까요?

다음 글에서는 통계적 유의성이 과학적 판단을 지배하게 된 과정과, p값 하이재킹과 게재 편향이 어떻게 학술 문헌 전체를 왜곡했는지 살펴보겠습니다.

코크레인은 논문 한 편을 믿는 대신 전체 근거를 보라고 요구했습니다.

그러나 전체 근거가 이미 선택적으로 만들어진 것이라면, 우리는 한 단계 더 깊이 들어가야 합니다.

참고문헌

Cochrane AL. Effectiveness and Efficiency: Random Reflections on Health Services. London: Nuffield Provincial Hospitals Trust, 1972.
Chalmers I, Enkin M, Keirse MJNC, eds. Effective Care in Pregnancy and Childbirth. Oxford: Oxford University Press, 1989.
Cochrane. “Our Story.”
Cochrane. “Cochrane Handbook, Chapter I: Introduction.”
Cochrane Nordic. “Annual Report 2020.”
Cochrane. “What Are Systematic Reviews?”
Cochrane. Cochrane Handbook for Systematic Reviews of Interventions. Version 6.5.
Sackett DL, Rosenberg WMC, Gray JAM, Haynes RB, Richardson WS. “Evidence Based Medicine: What It Is and What It Isn’t.” BMJ. 1996;312:71–72.
Rothwell PM. “External Validity of Randomised Controlled Trials: To Whom Do the Results of This Trial Apply?” The Lancet. 2005;365(9453):82–93.
Dickersin K, Manheimer E. “The Cochrane Collaboration: Evaluation of Health Care and Services Using Systematic Reviews of the Results of Randomized Controlled Trials.” Clinical Obstetrics and Gynecology. 1998;41(2):315–331.

📌 재현성 위기 7부작 시리즈

[재현성 위기 ①] 재현성 위기는 어떻게 시작되었는가
[재현성 위기 ②] 의사는 어느 논문을 믿어야 하는가 (현재 글)
[재현성 위기 ③] 유의한 결과만 살아남는 과학
[재현성 위기 ④] 결과를 본 뒤 가설을 만들다
[재현성 위기 ⑤] 코크레인 라이브러리도 완전하지 않다
[재현성 위기 ⑥] 경험주의는 어떻게 자신을 고쳐왔는가
[재현성 위기 ⑦] 재현성 위기를 움직인 사람들