![[재현성 위기 사례 ①] 너무 아름다워서 믿었던 실험들](/_next/image?url=%2Fimages%2Fexperiments-too-beautiful-to-doubt.png&w=3840&q=75)
너무 아름다워서 믿었던 실험들
그럴듯한 이야기는 어떻게 증거보다 먼저 퍼졌는가
사람은 자신이 생각하는 것보다 훨씬 쉽게 조종될 수 있다는 이야기를 좋아합니다. 어떤 단어를 잠깐 보기만 해도 걸음걸이가 달라지고, 교수를 떠올리면 지능이 높아지며, 당당한 자세를 취하면 호르몬까지 변한다는 매혹적인 이야기들이 대표적입니다.
이런 실험들은 인간의 자유의지가 생각보다 취약하다는 사실을 보여주는 것처럼 보였습니다. 결과는 놀라웠지만 설명은 직관적이고 쉬웠으며, 짧은 실험 하나로 인간 행동의 숨겨진 원리를 발견한 듯한 인상을 주었습니다.
문제는 다른 연구자들이 같은 실험을 다시 반복했을 때 발생했습니다. 원래 보고된 효과가 나타나지 않거나, 효과의 크기가 훨씬 작아졌으며, 심지어 실험자가 어떤 결과를 기대하는지에 따라 측정값이 달라지는 현상이 확인되었습니다. 한때 심리학의 위대한 발견으로 소개되었던 연구들이 실제로는 매우 불안정한 결과였다는 사실이 드러나기 시작했습니다.
재현성 위기는 난해한 통계학적 논쟁에서 시작되지 않았습니다. 너무나 흥미롭고, 설명하기 쉬우며, 기억하기 좋은 아름다운 실험들이 반복 검증 과정에서 무너지는 데서 시작되었습니다.
노인을 떠올리면 걸음이 느려진다
1996년 존 바그(John Bargh)와 동료들은 사회심리학계에 매우 유명해진 실험을 발표했습니다. 참가자들은 여러 단어를 조합하여 문장을 만드는 언어 과제를 수행했습니다. 실험집단에게는 다음과 같이 노인을 연상시키는 단어들이 제시되었습니다.
- '주름진(wrinkled)'이라는 단어를 문장 조합에 포함했습니다.
- '은퇴한(retired)'이라는 단어를 문장 조합에 포함했습니다.
- '회색(gray)'이라는 단어를 문장 조합에 포함했습니다.
- '늙은(old)'이라는 단어를 문장 조합에 포함했습니다.
- '플로리다(Florida)'라는 단어를 문장 조합에 포함했습니다.
참가자들에게 노인에 관한 연구라는 사실은 전혀 알려주지 않았습니다. 과제가 끝난 뒤 참가자가 실험실에서 나와 복도를 걸어가는 시간을 숨겨진 스톱워치로 측정했습니다.
측정 결과, 노인 관련 단어를 본 참가자들은 그렇지 않은 참가자들보다 복도를 훨씬 천천히 걸었습니다.
연구진은 노인이라는 고정관념이 참가자들의 의식적인 판단을 거치지 않고 행동에 직접적인 영향을 주었다고 해석했습니다. 노인을 생각하게 만들었더니 자신도 모르게 노인처럼 느리게 걸었다는 설명이었습니다.
이 실험은 사회적 프라이밍(social priming)을 대표하는 핵심 연구가 되었습니다. 프라이밍은 먼저 접한 자극이 이후의 판단이나 반응에 영향을 미치는 현상을 의미합니다. 예를 들어 ‘의사’라는 단어를 본 뒤에는 ‘간호사’라는 단어를 더 빨리 알아채는 현상처럼, 단어 사이의 의미적 연관성은 비교적 안정적으로 관찰됩니다.
그러나 바그의 실험은 단순히 단어를 알아보는 속도가 달라지는 수준을 넘어서서, 단 몇 개의 단어가 복잡한 실제 행동을 무의식적으로 변화시킨다고 주장했습니다. 인간은 노인과 관련된 단어를 읽었다는 사실조차 의식하지 못하면서 노인처럼 행동한다는 극적인 주장이었습니다. 이 주장은 매우 매혹적이었기에 교과서와 강연, 대중심리학 서적에 빠르게 퍼져나갔습니다.
자동 센서로 측정하자 효과가 사라졌다
2012년 벨기에의 스테판 도옌(Stéphane Doyen) 연구진은 이 유명한 실험을 다시 정밀하게 수행했습니다.
원래 연구에서는 실험자가 스톱워치를 들고 참가자의 걸음 시간을 직접 측정했습니다. 반면 도옌 연구진은 사람의 주관적 판단이나 측정 오차가 개입하지 않도록 적외선 센서를 설치해 자동으로 시간을 측정했으며, 표본의 크기도 원래 연구보다 대폭 늘렸습니다.
자동 센서로 측정한 결과, 원래 보고되었던 효과는 전혀 나타나지 않았습니다. 노인 관련 단어를 본 참가자들이 그렇지 않은 참가자들보다 더 느리게 걷지 않았으며, 원래 실험의 핵심 효과는 재현되지 않았습니다.
연구진은 여기서 한 걸음 더 나아가 실험자 효과를 검증했습니다. 실험자 절반에게는 노인 단어를 본 사람이 천천히 걸을 것이라고 안내하고, 나머지 절반에게는 오히려 빨리 걸을 것이라고 지시했습니다.
그러자 실험자가 어떤 결과를 기대하는지에 따라 참가자의 측정 시간이 실제로 달라졌습니다. 적외선 자동 센서로 측정했음에도 불구하고 실험자의 기대와 참가자의 행동 사이에 연관성이 관찰된 것입니다. 연구진은 실험자가 말투, 표정, 진행 속도와 같은 미세한 비언어적 단서를 자신도 모르게 참가자에게 전달했을 가능성을 제기했습니다.
이 결과만으로 원래 연구가 전적으로 실험자 편향 때문에 발생했다고 단정할 수는 없지만, "노인 관련 단어를 보기만 해도 무의식적으로 천천히 걷게 된다"는 단순하고 극적인 주장을 유지하기는 어려워졌습니다. 원래 실험이 보여준 것은 인간 무의식의 자동성이 아니라, 실험자의 기대가 참가자에게 무의식적으로 전달되는 방식이었을 가능성이 높기 때문입니다. 결국 연구자들은 인간의 무의식을 측정한다고 믿었지만, 정작 자신들의 무의식적 기대를 측정하고 있었던 셈입니다.
교수를 떠올리면 똑똑해진다
1998년 네덜란드의 아프 데이크스테르하위스(Ap Dijksterhuis)와 아드 판 크니펜베르흐(Ad van Knippenberg)는 더욱 인상적인 프라이밍 연구를 발표했습니다.
참가자들은 잠시 동안 특정 집단의 특성에 대해 생각하는 과제를 수행했습니다. 한 집단은 ‘교수’의 특징에 대해 상상했고, 다른 집단은 ‘축구 훌리건’의 특징에 대해 생각한 뒤 일반상식 문제를 풀었습니다.
실험 결과, 교수를 떠올린 참가자들은 더 많은 상식 문제를 맞혔고, 축구 훌리건을 떠올린 참가자들은 성적이 상대적으로 낮게 나타났습니다. 교수라는 개념에 포함된 지적이고 박식한 이미지가 무의식적으로 활성화되면서 참가자들의 실제 지적 수행 능력까지 향상되었다는 설명이 제시되었습니다.
이 연구가 가진 매력은 매우 분명했습니다. 사람의 능력이 고정된 것이 아니라 아주 사소한 환경적 자극으로도 극적으로 달라질 수 있다는 희망적인 이야기였기 때문입니다. 교수를 잠시 상상하는 것만으로 시험 성적이 높아진다면, 인간의 정신은 우리가 생각하는 것보다 훨씬 유연한 것처럼 보였습니다.
그러나 이 연구 역시 후속 반복 실험을 견디지 못했습니다.
2013년 데이비드 섕크스(David Shanks) 연구진은 교수나 지능과 관련된 개념을 활성화하면 일반상식 문제의 정답률이 실제로 높아지는지를 아홉 차례에 걸쳐 엄격하게 조사했습니다. 초기 네 차례의 실험은 원래 연구와 완전히 동일하거나 유사한 절차를 적용했습니다.
아홉 차례의 실험 결과는 일관되게 나타났습니다. 교수를 떠올린다고 해서 상식 문제를 더 잘 풀지는 않았으며, 교수 프라이밍 효과를 설명하기 위해 제안된 다양한 보완 조건을 추가해도 안정적인 효과는 관찰되지 않았습니다.
교수를 생각한다고 해서 없던 지식이 갑자기 생겨날 수는 없습니다. 따라서 원래 주장을 옹호하려면 참가자가 이미 알고 있는 지식을 더 잘 끌어내거나 문제에 더 신중하게 집중하도록 행동이 변했다고 설명해야 합니다. 그러나 그러한 효과가 실재한다면 동일한 조건에서 반복적으로 관찰되어야 합니다. 연구자와 참가자가 바뀔 때마다 사라지는 효과라면 이를 인간 행동의 일반적인 법칙이라고 부르기는 어렵습니다.
당당한 자세를 취하면 호르몬이 변한다
2010년에는 사회심리학을 넘어 전 세계적인 자기계발 조언으로 확산된 파워 포징(Power Posing) 연구가 등장했습니다. 데이나 카니(Dana Carney), 에이미 커디(Amy Cuddy), 앤디 얍(Andy Yap)은 참가자들에게 2분 동안 서로 다른 신체 자세를 취하도록 요청했습니다.
고권력 자세를 취한 참가자는 팔과 다리를 넓게 벌려 몸을 크게 만들었고, 저권력 자세를 취한 참가자는 몸을 움츠리고 팔다리를 모았습니다. 연구진은 2분간 고권력 자세를 취한 사람들에게 다음과 같은 변화가 나타났다고 보고했습니다.
- 참가자 스스로가 자신이 더 강하다고 느꼈습니다.
- 도박 과제에서 위험을 더 적극적으로 감수했습니다.
- 리더십과 관련된 테스토스테론 호르몬 수치가 증가했습니다.
- 스트레스 호르몬인 코르티솔 수치가 감소했습니다.
이 결과는 단순하면서도 강력했습니다. 마음이 몸에 영향을 주는 것에 그치지 않고, 몸의 자세를 바꾸는 것만으로 마음과 호르몬 체계까지 바꿀 수 있다는 주장이었기 때문입니다. 중요한 면접이나 발표를 앞두고 2분 동안 당당한 자세를 취하면 실제로 더 자신감 있고 유능한 사람이 될 수 있다는 조언으로 확장되었습니다.
에이미 커디의 TED 강연은 폭발적인 조회수를 기록하며 학술 논문의 범위를 넘어 대중 자기계발 문화의 핵심 요소로 자리 잡았습니다.
그러나 2015년 에바 라네힐(Eva Ranehill) 연구진이 훨씬 더 큰 표본을 사용하여 동일한 실험을 반복하자 결과는 다르게 나타났습니다. 자세를 바꿈에 따라 스스로 더 당당하게 느끼는 주관적 기분에는 소폭 차이가 있었으나, 테스토스테론과 코르티솔 호르몬의 변화는 전혀 재현되지 않았으며, 위험을 감수하는 실제 행동에서도 유의미한 차이가 나타나지 않았습니다.
이러한 차이는 매우 중요합니다. 사람이 가슴을 펴고 몸을 크게 만들면 잠시 더 당당하다고 느낄 수 있으며, 이는 주관적 감정 차원에서 충분히 가능한 일입니다. 그러나 신체 자세를 단 2분 바꾼 것만으로 내분비 호르몬 체계가 변하고 위험 선택 행동까지 달라진다는 주장은 차원이 다른 강한 주장입니다. 후속 연구에서 무너진 것은 자세가 기분에 주는 소소한 영향이 아니라, 자세가 인간의 생리와 행동을 광범위하게 변화시킨다는 극적인 주장이었습니다.
왜 이런 연구는 빠르게 믿어졌을까
이처럼 재현에 실패한 초기 연구들에는 다음과 같은 명확한 공통점들이 존재했습니다.
첫째, 실험의 결과가 매우 놀라웠습니다. 단어 몇 개를 읽는 것만으로 걸음걸이가 달라지고, 교수를 떠올리는 것만으로 문제 해결 능력이 향상되며, 자세를 바꾸면 호르몬 수치까지 변한다는 사실은 평범한 연구 결과보다 대중의 기억에 훨씬 강렬하게 남았습니다.
둘째, 이론의 설명이 매우 단순했습니다. "무의식이 행동을 지배한다"거나 "몸이 마음을 바꾼다"는 한 문장만으로 연구 전체를 설명할 수 있었기에, 복잡한 통계 지식이나 전제 조건 없이도 누구나 직관적으로 이해할 수 있었습니다.
셋째, 실생활에 즉시 적용하기 쉬웠습니다. 시험 직전에 교수를 떠올리거나 면접 직전에 당당한 자세를 취하는 것처럼 연구 결과가 곧바로 유용한 생활의 기술로 전환되었습니다.
넷째, 인간에 관한 기존의 통념을 흥미롭게 뒤집었습니다. 사람은 자신이 합리적으로 판단한다고 믿지만 실제로는 사소한 자극에 의해 조종된다는 결론은 지적인 통찰처럼 느껴졌습니다.
이 모든 특징은 연구를 대중에 널리 알리는 데에는 큰 도움이 되었지만, 그 결과가 과학적 사실일 가능성을 높여주지는 않았습니다. 오히려 놀랍고 극적인 결과일수록 우연이나 오차일 가능성을 더 신중하게 검토해야 하며, 기존 지식으로 설명하기 어려운 주장일수록 더 많은 표본과 엄격한 반복 검증이 필요합니다.
그러나 실제 학술 출판 환경에서는 반대 방향의 유인이 작동했습니다.
- 새로움과 독창성이 강조된 결과를 선호했습니다.
- 가설을 입증하는 긍정적인 결과를 선호했습니다.
- 단순하고 인상적인 인과관계를 선호했습니다.
- 기존 연구의 직접적 재현에는 높은 가치를 부여하지 않았습니다.
- 효과가 나타나지 않은 미유의 연구는 발표하기 어려웠습니다.
그 결과 가장 놀라운 연구가 가장 먼저 학술지와 언론에 알려졌고, 평범한 재현 실패 결과들은 학계의 관심을 받지 못한 채 묻혔습니다.
결과를 알고 나면 이야기는 저절로 만들어진다
실험을 시작하기 전에는 어떤 결과가 나올지 정확히 예측하기 어렵습니다. 노인 단어를 본 사람이 느리게 걸을 수도 있고, 아무런 차이가 없을 수도 있으며, 오히려 노년을 거부하려는 반발 심리로 더 빨리 걸을 수도 있습니다.
그러나 결과가 일단 관찰되고 나면, 연구자는 그 결과가 당연했던 것처럼 사후적으로 설명을 구성할 수 있습니다. 노인 단어를 본 참가자가 느리게 걸었다면 노인 고정관념이 활성화되었다고 설명하고, 더 빨리 걸었다면 노화에 대한 대비 효과가 나타났다고 설명하며, 차이가 없다면 노인 고정관념이 충분히 자극되지 않았다고 해석할 수 있습니다.
어떤 결과가 나와도 그럴듯한 정당화가 가능하다면, 그 이론은 미래의 결과를 예측한 것이 아니라 결과를 본 뒤 사후 해설을 붙인 것에 불과합니다.
과학에서 중요한 것은 결과에 어울리는 그럴듯한 이야기를 만들어내는 능력이 아니라, 실험을 시작하기 전에 어떤 결과가 나와야 가설이 입증되는지 명확히 정하고 그 예측이 실제로 일어나는지 검증하는 일입니다. 재현성 위기 이전의 많은 사회심리학 연구들은 이러한 예측과 사후 해석의 구분을 충분히 지키지 못했습니다.
작은 표본에서 큰 효과가 나왔다
이들 연구의 또 다른 핵심 공통점은 관찰 대상인 표본의 크기가 지나치게 작았다는 사실입니다.
참가자 수가 적으면 실제로는 아무런 효과가 없더라도 우연에 의해 집단 간 차이가 크게 나타날 수 있습니다. 또한 연구자가 다양한 방식으로 데이터를 분석하거나 일부 표본을 제외하면 통계적으로 유의한 결과를 인위적으로 얻을 가능성이 높아집니다.
실제 효과가 존재하더라도 표본이 작으면 측정된 효과 크기는 심하게 흔들립니다. 이 과정에서 우연히 효과가 크게 측정된 연구만 학술지에 출판되고, 효과가 작거나 나타나지 않은 연구는 출판되지 않으면, 문헌상에는 효과가 크고 일관된 것처럼 보이는 착시가 발생합니다.
후속 재현 연구에서 표본의 크기를 대폭 늘리자 상당수 효과가 사라지거나 감소한 이유가 바로 여기에 있습니다. 재현 연구가 원 연구보다 부실해서 실패한 것이 아니라, 원 연구에서 우연히 부풀려졌던 효과 크기가 정상적인 수준으로 회복된 것입니다.
틀린 실험보다 더 큰 문제
이 사례들을 바탕으로 일부 심리학자들이 부정직한 실험을 했다고 결론 내리는 것은 문제의 본질을 놓치는 일입니다. 당시 연구자들은 학계에서 일반적으로 통용되던 통계 절차를 따랐고, 정상적인 동료심사를 거쳐 학술지에 논문을 게재했습니다.
문제는 개별 연구자의 도덕성이 아니라 학계 전체의 체계적인 선별 구조에 있었습니다. 가설을 입증한 성공적인 결과만 출판되고 실패한 결과는 묻히는 구조에서는, 연구자가 정직하더라도 학문 문헌 전체가 우연한 오차로 가득 차게 됩니다.
논문에 기록된 것은 연구자들이 수행한 모든 실험의 충실한 기록이 아니라, 출판이라는 선별 과정을 통과한 일부 결과에 불과합니다. 재현성 위기는 학술지 표면 아래 숨겨져 있던 보이지 않는 실패들을 세상 밖으로 드러낸 사건이었습니다.
매력적인 설명은 증거가 아니다
노인 단어 실험, 교수 프라이밍, 파워 포징은 모두 사람들의 마음을 사로잡는 훌륭한 이야기였습니다. 그러나 이야기가 매력적이라는 사실과 그 이야기가 진실이라는 사실은 전혀 별개의 문제입니다.
자연현상과 인간 행동은 단 몇 개의 단어나 2분의 자세 변경으로 일관되게 바뀔 만큼 단순하지 않습니다. 인간의 행동은 상황, 성격, 문화, 관계 등 수많은 변수의 영향을 받습니다.
재현 실험은 그 아름다운 이야기를 다시 냉정한 과학적 질문으로 돌려놓았습니다. 동일한 조건에서 다시 확인했을 때 그 극적인 효과들은 더 이상 관찰되지 않았습니다.
과학은 그럴듯함을 시험하는 절차다
과학에서 가장 경계해야 할 연구는 터무니없는 연구가 아닙니다. 터무니없는 주장은 즉시 의심받지만, 결과가 너무 그럴듯하고 설명이 아름다운 연구는 검증 없이 사실로 받아들여지기 쉽기 때문입니다.
그러나 어떤 일반론이 타당하다고 해서 그 일반론을 뒷받침한다고 주장하는 개별 실험까지 자동으로 참이 되는 것은 아닙니다. 연구 결과는 그럴듯한 이론과 어울리기 때문에 참인 것이 아니라, 독립적인 반복 검증을 견뎌낼 때 비로소 신뢰할 수 있습니다.
재현성 위기가 남긴 첫 번째 교훈은 명확합니다.
매력적인 이야기는 가설을 만들어낼 수 있지만, 그 이야기가 과학적 증거를 대신할 수는 없습니다.
과학이 해야 할 일은 이야기를 그럴듯하게 꾸미는 것이 아니라, 그 이야기가 동일한 조건의 재현 실험에서도 변함없이 살아남는지를 검증하는 것입니다. 그리고 이 단순한 검증이 실제로는 얼마나 어려운지 확인하는 것이 재현성 위기의 출발점이었습니다.
참고문헌
- John A. Bargh·Mark Chen·Lara Burrows, “Automaticity of Social Behavior: Direct Effects of Trait Construct and Stereotype Activation on Action”, Journal of Personality and Social Psychology 71(2), 1996.
- Ap Dijksterhuis·Ad van Knippenberg, “The Relation Between Perception and Behavior, or How to Win a Game of Trivial Pursuit”, Journal of Personality and Social Psychology 74(4), 1998.
- Dana R. Carney·Amy J. C. Cuddy·Andy J. Yap, “Power Posing: Brief Nonverbal Displays Affect Neuroendocrine Levels and Risk Tolerance”, Psychological Science 21(10), 2010.
- Stéphane Doyen·Olivier Klein·Cora La Pichon·Axel Cleeremans, “Behavioral Priming: It’s All in the Mind, but Whose Mind?”, PLOS ONE 7(1), 2012.
- David R. Shanks 외, “Priming Intelligent Behavior: An Elusive Phenomenon”, PLOS ONE 8(4), 2013.
- Eva Ranehill 외, “Assessing the Robustness of Power Posing: No Effect on Hormones and Risk Tolerance in a Large Sample of Men and Women”, Psychological Science 26(5), 2015.