[재현성 위기 ④] 결과를 본 뒤 가설을 만들다

HARKing과 과학적 스토리텔링, 브라이언 완싱크 사례 및 화성효과 논쟁을 통해 결과를 본 뒤 사후 가설을 입증으로 위장하는 과학적 오류를 분석합니다.

HARKing과 과학적 스토리텔링

과학 논문은 대개 매우 질서정연합니다.

연구자는 먼저 이론을 검토합니다. 그 이론으로부터 하나의 가설을 세웁니다. 실험을 설계하고 데이터를 수집한 뒤 통계적으로 가설을 검증합니다. 결과가 예상과 일치하면 이론이 지지되었다고 결론을 내립니다.

논문만 읽으면 과학은 마치 계획한 길을 따라 목적지에 도착하는 과정처럼 보입니다.

그러나 실제 연구는 그렇게 깔끔하지 않습니다.

처음 세운 가설이 틀리기도 하고, 예상하지 못한 변수가 움직이기도 합니다. 전체 집단에서는 아무 효과가 없는데 특정 집단에서만 차이가 나타나기도 합니다. 연구자는 그제야 새로운 관계를 발견하고, 왜 그런 결과가 나왔는지 설명할 가설을 만듭니다.

이 과정 자체는 잘못이 아닙니다.

관찰되지 않은 현상을 미리 가설로 만들 수는 없습니다. 과학은 예상 밖의 결과를 발견하고, 그것을 설명할 새로운 가설을 세우면서 발전해왔습니다.

문제는 그다음에 발생합니다.

연구자가 결과를 보고 새로운 가설을 세운 뒤, 마치 실험 전부터 그 결과를 정확히 예측했던 것처럼 논문을 쓰는 경우입니다.

이를 "HARKing"이라고 합니다. ‘결과가 알려진 뒤 가설을 세운다’는 뜻의 영어 표현을 줄인 말입니다. 노버트 커는 이를 사후적으로 만든 가설을 논문에서는 사전에 세운 가설처럼 제시하는 행위로 정의했습니다.[1]

결과를 보고 가설을 만드는 것은 과학의 시작일 수 있습니다. 그러나 그것을 처음부터 예측했다고 쓰는 순간, 탐색은 증명으로 위장됩니다.

탐색과 검증은 모두 필요하다

연구에는 크게 두 단계가 있습니다.

첫 번째는 "탐색"입니다.

데이터를 폭넓게 살펴보면서 예상하지 못한 관계를 찾는 과정입니다. 남성과 여성의 반응이 다른지, 특정 연령에서만 효과가 나타나는지, 어떤 변수들이 함께 움직이는지 조사할 수 있습니다.

탐색 단계에서는 자유로운 분석이 필요합니다. 여러 가능성을 시험해야 새로운 현상을 발견할 수 있기 때문입니다.

두 번째는 "확증"입니다.

탐색에서 발견한 관계가 우연이 아닌지 새로운 데이터로 다시 시험하는 단계입니다. 이때는 가설과 분석 방법, 표본 제외 기준을 미리 정해야 합니다.

예를 들어 한 자료에서 “아침에 특정 음식을 먹은 사람이 체중이 적었다”는 관계를 발견했다면, 그것은 흥미로운 가설입니다. 그러나 같은 자료를 이용해 그 가설이 입증됐다고 말할 수는 없습니다.

그 자료는 이미 가설을 만드는 데 사용됐기 때문입니다.

새로운 사람들을 대상으로 같은 조건을 정해 다시 조사해야 비로소 검증이 시작됩니다.

탐색과 확증의 차이는 단서를 보고 용의자를 찾는 일과, 그 용의자가 실제 범인인지 독립적인 증거로 확인하는 일의 차이와 비슷합니다. 단서로 용의자를 찾았으면서 그 사람을 처음부터 예측했다고 말해서는 안 됩니다.

논문에서는 실패한 길이 사라진다

실제 연구에서는 여러 가설이 동시에 시험됩니다.

연구자는 처음에 A가 B에 영향을 줄 것이라고 예상했지만 결과가 나오지 않을 수 있습니다. 대신 C와 B 사이에서 관계가 발견될 수 있습니다. 남녀 전체에서는 차이가 없지만 여성에게서만 효과가 나타날 수도 있습니다.

그러면 연구자는 새로운 설명을 만듭니다.

“여성은 특정한 심리적 특성이 강하기 때문에 이 효과가 나타날 것으로 예상했다.”

이 설명은 결과를 본 뒤에는 매우 그럴듯해 보입니다.

문제는 논문을 쓸 때 처음 실패한 가설이 사라지고, 나중에 발견한 관계만 남는다는 것입니다. 서론에는 여성에게서 효과가 나타날 것이라고 처음부터 예측했던 것처럼 관련 이론과 선행연구가 배치됩니다.

실제 연구 과정은 다음과 같았을 수 있습니다.

여러 가능성을 시험했다.
대부분은 아무 결과도 나오지 않았다.
한 집단에서 우연히 차이가 발견됐다.
그 차이를 설명할 이론을 나중에 찾았다.

그러나 논문에서는 다음과 같이 바뀝니다.

기존 이론에 따라 명확한 가설을 세웠다.
실험으로 그 가설을 검증했다.
예상한 결과가 나타났다.
이론이 지지되었다.

실패와 망설임, 우연한 발견은 지워지고 완벽한 성공담만 남습니다.

HARKing은 데이터를 거짓으로 만드는 것이 아니라, 연구가 이루어진 시간을 거꾸로 배열합니다.

p-hacking과 HARKing이 만날 때

앞의 글에서 살펴본 p-hacking은 여러 분석을 시도해 통계적으로 유의한 결과를 찾는 행위입니다.

HARKing은 그렇게 발견한 결과에 사후적으로 가설과 이론을 붙이는 행위입니다.

두 과정은 쉽게 결합합니다.

연구자는 여러 결과변수와 집단을 분석합니다. 전체 표본에서는 효과가 없었지만 특정 연령대에서 p < 0.05가 나옵니다. 그러면 왜 그 연령대에서만 효과가 나타나는지를 설명할 이론을 찾습니다.

관련된 선행연구를 검색하면 대개 그럴듯한 설명을 만들 수 있습니다.

사람의 행동과 생물학적 현상에는 영향을 미칠 수 있는 변수가 매우 많기 때문입니다. 호르몬, 스트레스, 문화, 진화, 기억, 사회적 역할과 같은 개념을 조합하면 예상하지 못한 결과에도 그럴듯한 이야기를 붙일 수 있습니다.

의생명과학에서도 예상한 염증지표 대신 다른 단백질 하나가 변하면, 그 단백질의 신호전달 경로를 찾아 새로운 작용기전을 제시할 수 있습니다. 그 기전이 생물학적으로 가능하다는 것과 연구 전에 실제로 예측됐다는 것은 다르지만, 완성된 논문에서는 이론이 실험을 정확히 예측한 것처럼 보이기 쉽습니다.

p-hacking이 우연한 결과를 찾아낸다면, HARKing은 그 우연에 필연적인 이야기의 모습을 입혀줍니다.

완싱크는 왜 자신의 연구 방식을 자랑했는가

2016년 11월, 브라이언 완싱크는 자신의 블로그에 「결코 ‘싫다’고 말하지 않은 대학원생」이라는 글을 올렸습니다.[2]

글의 목적은 한 방문 대학원생의 끈기와 생산성을 칭찬하는 것이었습니다. 완싱크는 그 학생에게 한 달 동안 이탈리아식 무한리필 식당에서 수집한 자료를 건넸습니다. 일부 손님에게는 다른 손님보다 절반 싼 가격으로 식사를 제공한 현장실험이었지만, 처음 기대했던 가설에서는 유의한 결과가 나오지 않은 ‘실패한 연구’였습니다.

완싱크는 시간과 비용을 들여 모은 자료이니 그 안에서 건져낼 만한 결과가 있을 것이라고 생각했습니다. 계획 A가 실패했으니 계획 B·C·D를 시도하자며 다른 분석 방향을 제시했습니다. 학생이 새로운 결과를 가져오면 다시 “왜 이런 결과가 나왔을까”를 묻고, 그에 맞는 가설을 세워 자료를 또 분석했습니다.

그렇게 하나의 식당 자료에서 여러 논문이 나왔습니다. 뷔페 가격이 음식 만족도와 후회에 미치는 영향, 이성과 함께 식사할 때 남성이 피자를 더 먹는다는 주장처럼 서로 다른 이야기가 각각의 논문이 됐습니다.

완싱크에게 이것은 실패한 자료를 포기하지 않고 성과로 바꾼 성공담이었습니다. 그러나 글을 읽은 다른 연구자들의 눈에는 전혀 다른 장면이 보였습니다.

완싱크가 끈기의 사례로 공개한 글은 역설적으로, 결과를 본 뒤 가설과 분석을 계속 바꾼 연구 과정을 세상에 드러낸 기록이 되었습니다.

유명한 연구자의 피자 논문을 추적하다

완싱크는 코넬대학교 식품·브랜드 연구소를 이끌던 저명한 소비자행동 연구자였습니다. 대중서 《마인드리스 이팅》을 썼고, 음식과 식사 습관에 관한 그의 연구는 언론에 자주 소개됐습니다.[6]

그의 주장은 이해하기 쉽고 곧바로 생활에 적용할 수 있었습니다. 큰 그릇이나 접시가 과식을 부르고, 음식의 배치와 메뉴의 표현 같은 작은 환경 변화가 사람들의 선택을 바꾼다는 이야기였습니다.

의지력이나 복잡한 영양교육 없이도 접시를 바꾸고 건강한 음식을 눈에 잘 띄게 놓는 것만으로 식습관을 개선할 수 있다는 주장은 매력적이었습니다. 연구 결과는 짧은 기사 제목으로 만들기 좋았고, 사람들이 이미 믿고 싶었던 생활의 지혜와도 잘 맞았습니다.

바로 그렇기 때문에 그의 블로그 글은 충격적이었습니다. 연구 윤리를 고백하거나 잘못을 시인하는 글이 아니었습니다. 완싱크는 그 과정을 좋은 연구 지도의 사례로 소개했습니다. 결과가 나오지 않은 자료를 반복해서 나누고 분석해 출판할 이야기를 찾아내는 일이 연구자의 근면함이라고 믿었던 것입니다.

처음의 질문에 답하지 못한 데이터에서 다른 관계를 찾는 것 자체는 정당한 탐색 연구가 될 수 있습니다. 문제는 같은 자료에서 발견한 가설을 같은 자료로 입증한 것처럼 제시하면서, 그 가설이 사후에 만들어졌다는 사실을 알리지 않는 데 있습니다.

통계학과 연구 방법론에 관심을 두고 있던 팀 판데르제이, 조던 아나야와 니컬러스 브라운은 바로 이 블로그 글에 언급된 논문들을 따라가 보기 시작했습니다.[5]

네 편의 논문은 사실상 같은 무한리필 식당 자료를 사용한 것으로 보였지만, 앞선 논문과 같은 자료에서 나왔다는 사실이 명확히 표시되지 않았습니다. 더 큰 문제는 논문들 사이에서 참가자 수가 달라지고, 표에 제시된 평균과 표준편차가 표본 수와 수학적으로 맞지 않으며, 보고된 통계값을 다시 계산하면 결과가 일치하지 않는다는 점이었습니다.

연구자들은 원자료 없이 논문에 적힌 숫자만 대조하고도 약 150개의 불일치와 계산 불가능한 수치를 찾아냈습니다. 이것은 사소한 오타 몇 개로 설명하기 어려운 규모였습니다. 어느 숫자가 맞는지 판단하기조차 힘든 경우도 있었습니다.[5]

블로그 글이 제기한 최초의 의문은 HARKing과 반복 분석의 문제였습니다. 그러나 검증이 진행되면서 논란은 가설을 언제 세웠는가를 넘어 자료 관리와 통계 보고의 신뢰성 문제로 확대됐습니다. 조사 대상도 피자 논문에서 완싱크의 다른 유명 연구들로 넓어졌습니다.

여러 학술지가 그의 논문을 철회하거나 정정했습니다. 2018년 코넬대학교 조사위원회는 완싱크가 연구자료를 잘못 보고하고, 문제가 있는 통계기법을 사용했으며, 연구 결과를 제대로 기록·보존하지 않고 부적절하게 저자를 표시하는 등 학문적 부정행위를 저질렀다고 판단했습니다. 완싱크는 사직서를 제출했고 교육과 연구 업무에서도 배제됐습니다.[3]

여기서 블로그 글과 코넬대학교의 최종 판정을 구분할 필요가 있습니다. 실패한 자료를 탐색한 사실만으로 연구 조작이 입증되는 것은 아닙니다. 블로그 글은 외부 연구자들이 논문을 검증하게 만든 출발점이었고, 그 검증과 대학의 조사를 통해 더 광범위한 문제가 드러난 것입니다.

완싱크가 남긴 질문

완싱크의 연구가 널리 퍼진 이유는 어렵지 않습니다. “큰 접시가 과식을 부른다”처럼 누구나 이해할 수 있고 당장 생활에 적용할 수 있는 이야기였기 때문입니다.

문제는 이야기가 너무 그럴듯할 때 우리가 질문을 멈춘다는 것입니다. 정말 처음부터 그런 가설을 세웠는지, 아니면 수많은 분석 가운데 흥미로운 결과 하나를 골라낸 것인지 묻지 않게 됩니다.

좋은 이야기는 연구를 이해하게 만들지만, 때로는 연구의 약점을 보이지 않게 만들기도 합니다.

완싱크 사건은 HARKing이 은밀한 사기에서만 생기는 문제가 아니라는 사실을 보여줍니다. 결과를 찾고 그에 맞는 설명을 붙여 매끄러운 성공담으로 발표하는 일이 좋은 연구로 보상받는 환경에서도 같은 문제가 생길 수 있습니다.[4]

논문에는 이야기가 필요하지만, 설명할 수 있다는 사실과 예측할 수 있다는 사실은 다릅니다. 연구자가 무엇을 발견했다고 믿고 싶을수록 지지하는 분석은 타당하게, 반대 결과는 결함처럼 보이기 쉽습니다. 어떤 결과에도 새 설명을 붙일 수 있다면 가설은 검증되는 주장이 아니라 반례로부터 보호되는 서사가 됩니다. 이론의 힘은 이미 본 결과를 설명할 때가 아니라 아직 보지 않은 결과를 예측할 때 드러납니다.

화성효과가 드러낸 회의주의의 함정

HARKing과 움직이는 기준의 문제는 초자연적 주장을 반박하려던 회의주의자들에게서도 나타났습니다.

프랑스의 심리학자 미셸 고클랭은 1955년 약 570명의 프랑스 운동선수로 첫 결과를 발표했습니다. 이후 유럽의 다른 자료를 추가해 1970년에는 표본을 2,088명으로 늘렸습니다. 그가 ‘핵심 구역’으로 지정한 화성의 두 위치에서 태어난 선수는 약 21.6%로, 우연히 기대되는 약 17%보다 높았습니다. 그는 이를 "화성효과"라고 불렀습니다.[7][12][13]

화성효과는 태어난 순간의 행성 위치를 훗날의 능력과 연결한다는 점에서 점성술과 매우 닮았습니다. 고클랭은 전통적 점성술을 비판했지만 넓은 의미에서는 점성술적 가설을 제시한 셈입니다. 다만 누가 운동선수인지, 화성의 어느 위치를 볼 것인지, 몇 퍼센트가 나왔는지를 따질 수 있는 통계적 주장이었기에 회의주의자들도 직접 검증에 나섰습니다.[7]

그러나 화성효과가 처음부터 이 한 가지 가설만을 시험해 나온 결과는 아니었습니다. 고클랭의 초기 연구는 여러 직업군과 행성, 서로 다른 구역 분할 방식을 폭넓게 살펴봤습니다. 그 가운데 ‘운동선수–화성–핵심 구역’의 관계가 두드러진 것입니다.[12][13]

전통적 점성술에서 화성이 힘과 경쟁에 연결됐으므로 완전히 무작위로 관계를 찾았다고 단정할 수는 없습니다. 하지만 여러 가능성 가운데 가장 두드러진 하나를 발견했다면, 그것은 입증된 사실보다 새로 생긴 가설에 가깝습니다. 그 가설은 미리 정한 기준과 새로운 자료로 다시 검증해야 합니다.

먼저 벨기에의 초자연현상 조사위원회가 운동선수 535명을 조사했습니다. 놀랍게도 고클랭의 결과와 비슷한 22.2%가 나왔습니다. 그러나 위원회는 우연히 기대되는 비율의 계산법과 자료 수집 절차에 문제가 있다며 재현 성공으로 인정하지 않았습니다. 표본 일부가 고클랭의 기존 자료와 겹쳤기 때문에 완전히 독립적인 재현도 아니었습니다.

이후 미국의 회의주의 단체 CSICOP가 운동선수 408명을 새로 조사하자 비율은 13.5%에 그쳐 화성효과가 나타나지 않았습니다.[7] 고클랭은 최정상급 선수만 골라보면 효과가 나타난다고 반박했지만, 결과를 확인한 뒤 ‘유명 선수’의 기준을 좁힌다면 표본을 움직였다는 비판을 피하기 어렵습니다.[8]

여기까지만 보면 신기한 주장을 한 연구자가 반증을 받아들이지 않은 이야기처럼 보입니다. 그러나 논쟁은 그렇게 단순하지 않았습니다.

CSICOP 내부에서도 회의주의의 역할을 둘러싼 갈등이 있었습니다. 공동의장이던 마르첼로 투루지는 주장자도 검증 과정에 참여해야 한다고 보았지만, 다른 지도부는 초자연적 주장을 적극적으로 반박하는 역할을 중시했습니다. 미국 검증에서 화성의 위치를 계산한 창립자 데니스 롤린스 역시 결과가 화성효과를 지지하지 않는다는 결론에는 동의하면서도, 동료들이 앞선 검증의 불편한 결과와 계산 문제를 공정하게 다루지 않았다고 비판했습니다. 두 사람 모두 결국 조직을 떠났습니다.[9][10]

이후 프랑스에서 1천 명이 넘는 운동선수를 대상으로 한 대규모 검증에서도 화성효과는 확인되지 않았습니다.[11] 따라서 현재의 근거로 화성이 운동 능력에 영향을 준다고 말할 수는 없습니다.

이 논쟁이 HARKing과 맞닿는 지점은 누가 옳았는가보다 결과를 본 뒤 기준과 설명이 움직였다는 데 있습니다. 고클랭은 자신에게 불리한 결과가 나오자 ‘진정으로 유명한 선수’라는 기준을 강조했습니다. 일부 회의주의자는 예상과 어긋난 결과가 나오자 계산과 해석의 문제를 앞세웠다는 내부 비판을 받았습니다. 결론이 기준보다 먼저 서면 믿는 사람과 의심하는 사람 모두 사후적인 이야기를 만들 수 있습니다.

화성효과 논쟁이 입증한 것은 화성의 힘이 아니었습니다. 어떤 결론을 확신하는 순간, 믿는 사람과 의심하는 사람 모두가 자신에게 유리하도록 기준을 움직일 수 있다는 사실이었습니다.

과학적 회의주의는 초자연적 주장을 믿지 않는 태도만을 뜻하지 않습니다. 자신이 틀릴 가능성도 열어두고, 같은 자료와 같은 기준을 상대편과 자신에게 똑같이 적용하는 태도여야 합니다.

탐색을 정직하게 기록하는 법

결과를 보고 가설을 만드는 것은 과학의 정상적인 과정입니다. 새로운 질병 현상과 예상하지 못한 약물 반응도 현상을 먼저 보고 설명을 찾는 데서 시작됩니다. 문제는 가설을 만든 시간이 아니라 그것을 숨기고, 탐색적 발견에 확증적 증거의 지위를 부여하는 데 있습니다.

연구자는 다음과 같이 솔직하게 쓸 수 있습니다.

“이 분석은 사전에 계획된 것이 아니며, 자료를 탐색하는 과정에서 발견됐다. 따라서 독립적인 표본에서 추가 검증이 필요하다.”

실패한 가설도 함께 기록해야 합니다. 실패가 모두 사라지면 연구자는 언제나 정확한 가설을 세우고 이론은 한 번도 틀리지 않은 것처럼 보입니다. 그러나 무엇을 예측하지 못했고 어떤 조건에서 실패했는지를 알아야 이론의 범위와 한계를 판단할 수 있습니다. 경험주의에서 실패한 가설은 부끄러운 흔적이 아니라 현실이 생각과 달랐다는 중요한 정보입니다.

완싱크 사례와 화성효과 논쟁은 서로 다른 분야의 이야기지만, 두 사례 모두 결과가 먼저 나오고 그에 맞는 설명과 기준이 뒤따랐습니다. 그 설명이 반드시 틀렸다는 뜻은 아닙니다. 다만 이야기를 만든 데이터와 그 이야기를 검증하는 데이터는 분리되어야 합니다.

논문이 실제 연구보다 조금 더 혼란스럽고 불완전해 보이더라도 그것이 진실에 가까울 수 있습니다. 실패한 가설, 유의하지 않은 결과, 탐색에서 발견한 관계를 구분해 보여주는 기록이 지나치게 완성된 성공담보다 신뢰할 만합니다.

과학적 정직함은 결과를 설명하는 능력만이 아니라, 그 설명이 언제 만들어졌는지를 밝히는 데서 시작됩니다.

다음 글에서는 여러 연구를 모으는 코크레인식 체계적 문헌고찰과 메타분석도 왜 완전한 해결책이 될 수 없는지 살펴보겠습니다. 연구 선택과 분석 기준이 달라지면 같은 논문들을 모아도 서로 다른 결론이 나올 수 있기 때문입니다.

참고문헌

Kerr NL. “HARKing: Hypothesizing After the Results Are Known.” Personality and Social Psychology Review. 1998;2(3):196–217.
Wansink B. “The Grad Student Who Never Said ‘No.’” Healthier & Happier. 2016. Archived version.
Cornell University. “Provost Issues Statement on Wansink Academic Misconduct Investigation.” 2018.
Munafò MR. “Open Science Prevents Mindless Science.” BMJ. 2018;363:k4309.
van der Zee T, Anaya J, Brown NJL. “Statistical Heartburn: An Attempt to Digest Four Pizza Publications from the Cornell Food and Brand Lab.” BMC Nutrition. 2017;3:54.
면역큐브. “브라이언 완싱크와 『Mindless Eating』: 식습관 연구 스캔들의 교훈.” 2025.
Abell GO, Zelen M, Kurtz P. “Results of the US Test of the ‘Mars Effect’ Are Negative.” The Skeptical Inquirer. 1979–1980;4(2).
Ertel S. “Update on the ‘Mars Effect.’” The Skeptical Inquirer. 1992;16(2):150–160.
Kreidler M. “History of CSICOP.” Skeptical Inquirer. 2019.
Rawlins D. “sTARBABY.” Fate. 1981;34(10):67–98.
Benski C, Caudron D, Galifret Y, et al. The “Mars Effect”: A French Test of Over 1,000 Sports Champions. Amherst, NY: Prometheus Books, 1996.
Nienhuys JW. “The Mars Effect in Retrospect.” Skeptical Inquirer. 1997;21(6).
Gauquelin M. L’Influence des Astres: Étude Critique et Expérimentale. Paris: Éditions du Dauphin, 1955.

아르고스의 노트