[재현성 위기 ⑥] 경험주의는 어떻게 자신을 고쳐왔는가

직접 보았다는 말은 왜 충분하지 않은가

인간은 경험에서 배웁니다.

문제는 경험이 인간에게 순순히 진실을 가르쳐주지 않는다는 것입니다.

우리는 성공한 경우를 더 잘 기억하고, 자신의 믿음과 맞는 사례를 더 쉽게 발견합니다. 치료를 받고 회복하면 약 덕분이라고 생각하지만, 치료하지 않아도 나았을 가능성은 좀처럼 떠올리지 않습니다. 예상과 다른 결과가 나오면 생각을 바꾸기보다 예외라고 설명하기도 합니다.

이 시리즈에서 살펴본 재현성 위기도 같은 문제에서 시작됐습니다.

작은 표본에서 우연히 나온 결과가 논문이 됐고, 유의한 결과만 학술지에 살아남았습니다. 연구자는 결과를 본 뒤 가설을 만들었고, 여러 논문을 합친 메타분석도 어떤 연구를 넣고 빼느냐에 따라 결론이 달라졌습니다.

이것은 경험주의가 실패했다는 뜻일까요?

오히려 경험주의가 왜 단순한 경험의 숭배에 머물 수 없었는지를 보여줍니다. 경험주의의 역사는 더 많은 사실을 모은 역사만이 아닙니다. 인간이 자신에게 유리한 사실만 고르기 어렵도록 관찰의 규칙을 고쳐온 역사입니다.

물론 이 과정이 하나의 철학에 따라 곧게 진행된 것은 아닙니다. 철학자와 의사, 통계학자는 서로 다른 시대에 서로 다른 문제를 풀다가 오늘날 과학의 절차가 된 방법들을 만들었습니다. 이 글은 그 복잡한 역사 전체가 아니라, “어떻게 보아야 우리의 착각을 줄일 수 있는가”라는 질문이 확장되어온 한 줄기를 따라갑니다.

권위에서 관찰로

17세기 프랜시스 베이컨은 이 전환을 상징하는 인물입니다. 그는 자연에 관한 지식을 고대의 권위나 정교한 논리만으로 얻을 수 없다고 보았습니다. 자연을 직접 관찰하고 실험하며, 개별 사례에서 조심스럽게 일반적인 설명으로 나아가야 한다고 주장했습니다.[1]

이 전환은 중요했습니다.

누가 말했는지가 아니라 실제 세계에서 무엇이 관찰되는지를 묻기 시작했기 때문입니다. 아무리 오래되고 아름다운 이론이라도 자연과 맞지 않으면 수정되어야 했습니다.

그러나 관찰에도 문제가 있었습니다.

사람은 자신이 기대한 것을 볼 수 있고, 우연한 순서를 원인으로 착각할 수 있습니다. 몇 번의 성공에서 보편적인 법칙을 성급하게 끌어낼 수도 있습니다. 훗날 데이비드 흄이 지적했듯 과거에 반복됐다는 사실만으로 같은 일이 미래에도 반드시 일어난다고 논리적으로 증명할 수는 없습니다.[2] 경험은 권위를 흔들었지만, 경험 자체의 한계까지 없애주지는 않았습니다.

따라서 경험주의에는 “직접 보라”는 명령만으로는 부족했습니다.

어떻게 보아야 착각을 줄일 수 있는가라는 두 번째 질문이 필요했습니다.

관찰에서 비교로

그 답 가운데 하나가 비교였습니다.

어떤 치료를 받은 사람이 좋아졌다는 사실만으로는 그 치료가 효과적이었다고 말할 수 없습니다. 치료를 받지 않았거나 다른 치료를 받은 비슷한 사람에게 무슨 일이 일어났는지 함께 보아야 합니다.

1747년 영국 해군 군의관 제임스 린드는 괴혈병에 걸린 선원 열두 명을 두 명씩 나누어 여러 치료법을 비교했습니다. 같은 기본 식사를 제공하고 감귤류, 식초, 바닷물 등 서로 다른 처치를 주었습니다. 오렌지와 레몬을 받은 선원들이 가장 빠르게 회복했습니다.[3]

이 실험은 오늘날 기준으로는 표본이 작고 무작위 배정도 하지 않았습니다. 린드가 괴혈병의 원인을 정확히 이해했던 것도 아니며, 감귤류가 영국 해군에 보급되기까지도 수십 년이 걸렸습니다. 좋은 비교가 나왔다고 권위와 관행이 곧바로 바뀌는 것은 아니었습니다.

그런데도 방법에서는 중요한 변화가 있었습니다.

“내 환자가 치료 뒤 좋아졌다”는 경험담에서 “조건이 비슷한 사람들에게 다른 치료를 주면 결과가 어떻게 달라지는가”라는 비교로 이동한 것입니다.

경험주의의 첫 번째 발전은 관찰의 양이 아니라 비교의 질을 높인 데 있었습니다.

연구자의 판단을 절차로 묶다

비교군이 있어도 연구자가 어느 환자에게 어떤 치료를 줄지 선택하면 결과가 왜곡될 수 있습니다. 상태가 좋은 환자에게 새 치료를 주고 위중한 환자에게 기존 치료를 준다면, 치료 효과와 환자의 원래 상태를 구분하기 어렵습니다.

20세기 통계학자 로널드 피셔는 농업 실험에서 무작위 배정의 논리를 발전시켰습니다. 연구자의 판단 대신 우연에 배정을 맡기면, 눈에 보이는 차이뿐 아니라 아직 알지 못하는 차이도 두 집단에 비교적 고르게 섞일 가능성이 커집니다.[4]

1948년 영국 의학연구위원회가 발표한 폐결핵 스트렙토마이신 시험은 현대 임상시험의 중요한 이정표가 됐습니다. 최초로 무작위 배정을 사용한 시험은 아니었지만, 오스틴 브래드퍼드 힐 등이 참여한 연구진은 무작위 숫자에 따라 환자를 배정하고 다음 배정을 연구자가 미리 알지 못하도록 봉인된 봉투를 사용했습니다. 배정 결과를 감춘 절차와 명확한 보고가 이 시험을 특별하게 만들었습니다.[5]

무작위 배정은 연구자가 부정직하다고 가정해서 만든 장치가 아닙니다. 정직한 연구자도 자신이 기대하는 결과에 무의식적으로 영향을 받을 수 있기 때문에 만든 장치입니다. 맹검과 위약 대조도 같은 원리에서 나왔습니다.

경험주의는 더 훌륭한 관찰자를 기다리지 않았습니다.

관찰자의 기대가 결과에 개입하기 어렵게 만드는 절차를 발전시켰습니다.

한 번의 실험에서 증거의 축적으로

아무리 잘 설계한 임상시험도 특정한 시기와 장소, 특정한 환자에게서 이루어집니다. 한 번의 성공이 다른 조건에서도 반복된다고 보장할 수는 없습니다.

그래서 반복 연구가 필요해졌습니다. 서로 다른 연구진과 표본에서도 결과가 유지되는지 확인하고, 여러 연구를 체계적으로 찾아 전체 근거를 살펴보는 방법이 발전했습니다.

아치 코크레인의 문제의식과 코크레인 협력의 등장은 이 흐름 위에 있었습니다. 전문가의 권위나 인상에 기대기보다 가능한 임상시험을 모아 치료의 효능과 실제 효과를 평가하려 했습니다. 체계적 문헌고찰과 메타분석은 한 연구의 우연에 덜 흔들리는 판단을 가능하게 했습니다.[6]

그러나 5편에서 보았듯 메타분석도 최종 판정기는 아니었습니다.

어떤 연구를 찾았는지, 무엇을 같은 치료로 묶었는지, 공개되지 않은 자료가 남아 있는지에 따라 결과가 달라졌습니다. 연구를 합치면 표본은 커지지만, 원래 연구들의 결함까지 사라지는 것은 아니었습니다.

경험주의는 여기서 다시 한 걸음 나아가야 했습니다.

결과만 공개하는 것이 아니라 그 결과에 도달한 선택의 과정까지 드러내야 했습니다.

답을 보기 전에 질문을 기록하다

재현성 위기는 연구자가 사용할 수 있는 선택지가 너무 많다는 사실을 드러냈습니다.[7][8]

표본을 언제까지 모을지, 어떤 변수를 제외할지, 여러 평가변수 가운데 무엇을 강조할지 결과를 본 뒤 결정할 수 있었습니다. 각각의 선택은 그럴듯해 보였지만, 원하는 결론에 도달할 때까지 분석을 바꿀 여지를 만들었습니다.

사전등록은 연구를 시작하기 전에 가설과 표본 수, 주요 평가변수와 분석 방법을 기록합니다. 새로운 분석을 금지하는 것이 아니라 처음부터 계획한 검증과 데이터를 본 뒤 떠올린 탐색을 구분하는 제도입니다.[9]

등록보고서는 한 걸음 더 나아갑니다. 학술지가 결과를 보기 전에 연구 질문과 설계를 심사하고, 방법이 타당하면 결과가 유의한지와 관계없이 원칙적으로 출판을 약속합니다. 연구자는 흥미로운 결과를 만들어내는 대신 중요한 질문을 제대로 시험한 것으로 평가받을 수 있습니다.[10]

자료와 분석 코드를 공개하는 오픈 사이언스도 같은 방향을 향합니다. 다른 연구자가 계산을 다시 확인하고, 다른 분석에서도 결론이 유지되는지 검토할 수 있게 합니다.[8][11]

경험주의의 최근 발전은 결과를 더 많이 공개하는 데서 끝나지 않습니다. 결과가 만들어지기 전에 연구자가 무엇을 하기로 했는지까지 기록하는 데 있습니다.

경험주의는 어디까지 왔는가

사전등록과 자료 공개도 과학을 완전하게 만들지는 못합니다.

사전등록을 모호하게 쓰면 결과를 본 뒤에도 기준을 움직일 수 있습니다. 데이터를 공개해도 검토할 사람이 없다면 저장된 파일에 그칠 수 있습니다. 반복실험에 실패했다고 원래 연구가 반드시 거짓인 것도 아닙니다. 대상과 시대, 문화가 달라 효과가 변했을 가능성도 살펴야 합니다.

무작위시험 역시 모든 질문에 적합하지 않습니다. 장기간에 걸친 사회 변화나 희귀한 부작용처럼 실험으로 다루기 어려운 문제도 있습니다. 한 시험에서 확인된 평균 효과를 눈앞의 모든 사람에게 그대로 적용할 수도 없습니다.

새로운 절차는 오래된 문제를 줄이지만 새로운 형식주의를 낳을 수 있습니다. 사전등록 배지, 통계 수치, 코크레인 리뷰라는 이름이 다시 권위의 표지가 된다면 경험주의는 또다시 껍데기만 남습니다.

그러므로 오늘날의 경험주의는 특정한 연구 방법을 무조건 신뢰하는 태도가 아닙니다.

질문에 맞는 방법을 선택하고, 그 방법의 한계를 공개하며, 다른 증거와 충돌할 때 결론을 수정하는 태도입니다. 현재까지 가장 잘 검증된 설명에 더 큰 신뢰를 주되 그 신뢰를 절대화하지 않는 태도이기도 합니다.

데이터가 아니라 교정의 질서

경험주의를 “데이터를 믿는 태도”라고만 정의하면 부족합니다.

p-hacking과 HARKing도 실제 데이터를 사용했습니다. 문제는 데이터가 없었던 것이 아니라 원하는 결론에 맞는 분석과 이야기만 선택했다는 데 있었습니다.

경험주의가 묻는 것은 숫자가 있는가가 아닙니다. 그 숫자가 자신의 믿음을 반박할 기회를 가진 절차에서 나왔는가입니다.

가설은 언제 세웠는가. 비교 대상은 적절했는가. 불리한 결과도 공개했는가. 다른 사람이 같은 분석을 반복할 수 있는가. 새로운 표본에서도 결과가 유지되는가. 어떤 증거가 나오면 자신의 생각을 바꿀 것인가.

이 질문들은 과학자를 완벽하게 만들지 않습니다. 대신 불완전한 사람들이 서로의 오류를 발견할 수 있게 합니다.

처음에는 권위보다 관찰을 내세웠습니다. 그다음에는 개인의 관찰보다 비교를, 연구자의 판단보다 무작위 배정과 맹검을, 한 번의 실험보다 반복과 종합을 발전시켰습니다. 재현성 위기 이후에는 결과뿐 아니라 가설과 분석이 만들어지는 시간까지 검증의 대상으로 삼기 시작했습니다.

경험주의의 역사는 더 많은 사실을 모은 역사가 아니라, 인간이 자신에게 유리한 사실만 고르지 못하도록 절차를 발전시켜온 역사입니다.

과학의 힘은 과학자가 특별히 객관적이라는 데 있지 않습니다. 누구도 완전히 객관적이지 않다는 사실을 인정하고, 자신의 결론이 틀렸음을 다른 사람이 보여줄 수 있도록 길을 열어놓는 데 있습니다.

재현성 위기가 남긴 마지막 교훈도 과학을 불신하라는 것이 아닙니다. 논문과 권위, 통계 수치와 아름다운 이야기를 과학 그 자체로 착각하지 말라는 것입니다. 과학은 한 번 발표된 결론이 아니라 반론과 실패를 견디며 계속 수정되는 과정입니다.

경험주의자는 틀리지 않는 사람이 아닙니다. 자신이 틀렸다는 증거가 나타났을 때 그 증거를 제거하는 대신 자신의 생각을 고칠 준비가 된 사람입니다.

참고문헌

1. Bacon F. Novum Organum. 1620.

2. Hume D. An Enquiry Concerning Human Understanding. 1748.

3. Lind J. A Treatise of the Scurvy. 1753.

4. Fisher RA. The Design of Experiments. Oliver and Boyd, 1935.

5. Medical Research Council. “Streptomycin Treatment of Pulmonary Tuberculosis.” British Medical Journal. 1948;2:769–782.

6. Cochrane AL. Effectiveness and Efficiency: Random Reflections on Health Services. Nuffield Provincial Hospitals Trust, 1972.

7. Open Science Collaboration. “Estimating the Reproducibility of Psychological Science.” Science. 2015;349(6251):aac4716.

8. Munafò MR, Nosek BA, Bishop DVM, et al. “A Manifesto for Reproducible Science.” Nature Human Behaviour. 2017;1:0021.

9. Nosek BA, Ebersole CR, DeHaven AC, Mellor DT. “The Preregistration Revolution.” Proceedings of the National Academy of Sciences. 2018;115(11):2600–2606.

10. Chambers CD. “Registered Reports: A New Publishing Initiative at Cortex.” Cortex. 2013;49(3):609–610.

11. National Academies of Sciences, Engineering, and Medicine. Reproducibility and Replicability in Science. The National Academies Press, 2019.

---

📌 재현성 위기 7부작 시리즈

1. [재현성 위기 ①] 재현성 위기는 어떻게 시작되었는가
2. [재현성 위기 ②] 의사는 어느 논문을 믿어야 하는가
3. [재현성 위기 ③] 유의한 결과만 살아남는 과학
4. [재현성 위기 ④] 결과를 본 뒤 가설을 만들다
5. [재현성 위기 ⑤] 코크레인 라이브러리도 완전하지 않다
6. [재현성 위기 ⑥] 경험주의는 어떻게 자신을 고쳐왔는가 (현재 글)
7. [재현성 위기 ⑦] 재현성 위기를 움직인 사람들