[재현성 위기 ③] 유의한 결과만 살아남는 과학

p값의 본래 의미와 오해, p-hacking과 게재 편향, 파일 서랍 문제 등 통계적으로 유의한 결과만 살아남는 구조가 만든 재현성 위기를 분석합니다.

p값과 게재 편향이 만든 재현성 위기

앞의 글에서는 코크레인 라이브러리가 왜 필요했는지를 살펴보았습니다.

같은 치료법에 관한 논문들이 서로 다른 결론을 내릴 때, 한 편만 골라 믿어서는 안 됩니다. 관련 연구를 가능한 한 모두 모으고, 연구의 질과 전체 결과를 함께 보아야 합니다.

그러나 여기에는 더 근본적인 문제가 있습니다.

우리가 읽을 수 있는 논문들이 애초에 수행된 연구 전체를 대표하지 않는다면 어떻게 될까요?

효과가 나타난 연구만 학술지에 실리고, 효과가 없었던 연구는 공개되지 않았다면 여러 논문을 모아도 결론은 왜곡될 수밖에 없습니다.

이것은 재현성 위기를 키운 핵심 경로 가운데 하나였습니다.

그리고 그 선택의 문턱으로 가장 널리 사용된 숫자가 p < 0.05였습니다.

p값은 무엇을 뜻하는가

어떤 새로운 약이 혈압을 낮추는지 알아보기 위해 실험했다고 생각해봅시다.

연구자는 환자들을 새로운 약을 먹는 집단과 위약을 먹는 집단으로 나눕니다. 연구가 끝난 뒤 새로운 약을 먹은 집단의 혈압이 평균적으로 더 많이 내려갔다고 합시다.

이 차이만 보고 약이 효과가 있다고 단정할 수는 없습니다.

사람을 무작위로 나누더라도 우연히 혈압이 잘 내려가는 사람들이 한쪽 집단에 더 많이 들어갈 수 있기 때문입니다. 실제로 약에는 아무 효과가 없는데 표본을 우연히 그렇게 뽑았을 가능성도 있습니다.

통계 분석은 바로 이 가능성을 살펴봅니다.

연구자는 우선 다음과 같은 가정을 세웁니다.

실제로는 새 약과 위약 사이에 아무 차이가 없다.

이를 "귀무가설"이라고 합니다.

그다음 이렇게 묻습니다.

실제로 두 치료 사이에 차이가 없다고 가정할 때, 이번 연구에서 관찰된 정도의 차이 또는 그보다 더 큰 차이가 우연히 나타날 가능성은 얼마나 되는가?

그 값이 p값입니다.[5]

예를 들어 p = 0.03이 나왔다면, 약이 실제로 아무 효과가 없다는 가정 아래에서도 이번 연구처럼 큰 차이 또는 그보다 더 극단적인 차이가 나타날 가능성이 약 3%라는 뜻입니다.

여기서 조건이 중요합니다.

p값은 "귀무가설이 맞다고 가정한 상태에서 데이터가 얼마나 이례적인가"를 말합니다.

그런데 이 의미는 직관적이지 않습니다. 그래서 p값은 오랫동안 여러 가지 방식으로 잘못 해석됐습니다.

쉽게 말해 p값은 연구 결과의 ‘신뢰도 점수’가 아닙니다. 실제 차이가 없다고 가정했을 때 지금과 같은 데이터가 얼마나 드문지를 나타내는 수치입니다.

p값이 말해주지 않는 것

p = 0.03이라는 결과가 나왔다고 해서 다음과 같이 말할 수는 없습니다.

“이 약이 효과가 있을 확률은 97%다.”

p값은 가설이 참일 확률을 계산하지 않습니다. 효과가 없다고 가정했을 때 현재의 데이터가 나타날 가능성을 계산할 뿐입니다.

다음과 같이 말하는 것도 잘못입니다.

“이 결과가 우연일 확률은 3%다.”

연구 결과에는 표본 추출의 우연뿐 아니라 측정오차, 연구 설계, 분석 방법과 다양한 조건이 함께 작용합니다. p값은 결과 전체가 우연 때문에 생겼을 확률을 알려주지 않습니다.

또한 다음과 같이 말할 수도 없습니다.

“같은 연구를 반복하면 97% 확률로 같은 결과가 나온다.”

p값은 재현 가능성을 직접 알려주지 않습니다. 표본이 작거나 효과의 추정치가 불안정하다면 p값이 0.05보다 작아도 다음 연구에서 같은 결과가 나오지 않을 수 있습니다.

따라서 p값이 알려주는 것은 제한적입니다.[5]

실제 차이가 없다는 통계적 가정과 비교할 때, 관찰된 데이터가 얼마나 이례적인가를 보여주는 하나의 지표입니다.

그런데 현대 학계는 이 제한된 숫자에 훨씬 더 큰 의미를 부여했습니다.

왜 하필 0.05인가

0.05는 자연에서 발견된 특별한 숫자가 아닙니다.

진실과 거짓 사이에 정확히 5%의 경계가 존재하는 것도 아닙니다. 로널드 피셔가 1920년대에 통계적 판단을 위한 편리한 기준으로 제안한 뒤 널리 퍼진 관행적 숫자입니다. 피셔 자신도 0.05를 모든 연구에 적용되는 진실의 경계로 제시한 것은 아니었습니다.[4]

그런데 시간이 지나면서 참고 기준이 판정 기준으로 변했습니다.

p < 0.05이면 효과가 있다.
p > 0.05이면 효과가 없다.
0.05보다 작으면 연구에 성공했다.
0.05보다 크면 실패했다.

하지만 p = 0.049와 p = 0.051 사이에는 사실상 의미 있는 차이가 없습니다.

표본 한두 명의 값이 달라지거나 측정오차가 조금만 생겨도 두 수치는 서로 바뀔 수 있습니다. 그럼에도 하나는 ‘통계적으로 유의하다’고 발표되고, 다른 하나는 ‘유의하지 않다’고 처리됩니다.

연속적인 불확실성을 하나의 숫자로 잘라 성공과 실패로 나눈 것입니다.

0.05는 진실의 경계가 아니었지만, 학계에서는 논문의 생사를 가르는 경계가 되었습니다.

5%의 의미가 왜 중요한가

연구자가 실제로 아무 효과가 없는 가설을 하나만 시험한다고 가정해봅시다.

그런데도 p < 0.05라는 기준을 사용하면 우연히 유의한 결과가 나올 가능성이 어느 정도 존재합니다. 대략적인 직관으로는 효과가 전혀 없는 실험을 여러 차례 반복하면 그중 일부에서는 우연히 0.05보다 작은 p값이 나올 수 있다는 뜻입니다.

이는 통계적 검정이 잘못됐다는 뜻이 아닙니다.

한 번의 연구 결과에는 언제나 우연이 들어갈 수 있기 때문에, 어느 정도의 오류 가능성을 감수할 것인지 기준을 정한 것입니다.

문제는 하나의 질문만 시험하지 않는다는 데 있습니다.

연구자는 흔히 많은 변수와 결과를 측정합니다.

예를 들어 어떤 교육 프로그램의 효과를 조사하면서 시험 점수, 집중력, 자신감, 만족도, 결석률과 친구 관계를 모두 측정할 수 있습니다. 참가자를 남녀로 나누고, 연령별로 나누고, 성적이 높은 집단과 낮은 집단으로도 나눌 수 있습니다.

각 결과를 따로 분석하면 시험 횟수가 늘어납니다.

실제로 아무 효과도 없더라도 여러 분석을 반복하면 그중 하나 정도는 우연히 p < 0.05가 나올 수 있습니다.

가령 아무 효과도 없는 독립된 질문을 20개 시험한다면, 그중 적어도 하나가 우연히 유의하게 나타날 가능성은 5%가 아니라 약 64%에 이릅니다. 이는 1에서 스무 번 모두 유의하지 않을 확률인 0.95의 20제곱을 뺀 값입니다.

중요한 것은 20개의 결과를 모두 공개했는가입니다.

20개 가운데 하나만 유의했고 나머지 19개가 유의하지 않았다고 논문에 모두 적는다면 독자는 우연의 가능성을 의심할 수 있습니다.

그러나 유의하게 나온 하나만 골라 논문에 쓰면 상황은 달라집니다.

논문에는 마치 연구자가 처음부터 그 한 가지 결과만 예측했고, 실험이 그 예측을 정확히 확인한 것처럼 보입니다.

p값은 연구자가 한 번 질문했을 때의 결과는 보여주지만, 그 답을 얻기 전에 몇 번 질문했는지는 보여주지 않습니다.

p-hacking은 어떻게 일어나는가

처음 분석에서 p = 0.12가 나왔다고 생각해봅시다.

연구자는 기대한 결과가 나오지 않았다고 판단합니다. 그러면 여러 선택을 검토할 수 있습니다.

이상해 보이는 참가자 몇 명을 제외한다.
남성과 여성을 따로 분석한다.
특정 연령대만 조사한다.
여러 평가 항목 가운데 효과가 큰 것만 선택한다.
통계모형에 보정변수를 추가하거나 뺀다.
표본을 조금 더 모은 뒤 다시 분석한다.
연구 기간 중 특정 시점의 결과만 사용한다.

이 가운데 어느 하나가 항상 부당한 것은 아닙니다.

이상치를 제외해야 할 정당한 이유가 있을 수 있고, 남성과 여성의 반응이 다를 가능성도 있습니다. 새로운 분석을 통해 예상하지 못한 현상을 발견하는 것은 과학의 중요한 과정입니다.

문제는 결과를 본 뒤 여러 분석을 시도하면서 p < 0.05가 나온 결과만 최종 결론으로 제시하는 것입니다.

이것이 "p-hacking"입니다.[3]

p-hacking은 데이터를 조작하거나 숫자를 거짓으로 쓰는 행위와는 다릅니다. 실제 데이터를 사용하고 정상적인 통계 기법을 적용했더라도 발생할 수 있습니다.

연구자는 스스로를 부정직하다고 생각하지 않을 수도 있습니다.

자신이 세운 가설이 맞다고 믿기 때문에 그 이론에 가장 잘 맞는 분석이 올바른 분석이라고 느낄 수 있습니다. 기대한 결과가 나오지 않으면 표본이나 측정법에 문제가 있었다고 생각하고, 기대한 결과가 나오면 가설이 확인됐다고 받아들이기 쉽습니다.

이것이 재현성 위기에서 중요한 이유입니다.

명백한 사기 없이도 연구 결과가 왜곡될 수 있기 때문입니다.

한 논문 안에서 결과를 고르는 선택적 보고

연구자는 여러 결과를 측정했지만 논문에는 일부만 보고할 수도 있습니다.

예를 들어 새 약을 시험하면서 통증, 수면, 피로, 활동량과 삶의 질을 모두 측정했다고 생각해봅시다.

통증과 피로에는 차이가 없었지만 수면 점수에서만 유의한 차이가 나타났다면, 논문 제목을 ‘새 약이 수면을 개선한다’고 정할 수 있습니다.

그 자체가 반드시 거짓은 아닙니다. 수면 점수에서 실제 차이가 관찰됐기 때문입니다.

그러나 독자가 나머지 평가 항목을 알지 못하면 이 결과를 처음부터 수면 개선을 목표로 한 연구라고 오해할 수 있습니다.

더 심한 경우에는 연구계획서에서 정한 주요 결과가 유의하지 않자, 다른 부차적인 결과를 중심으로 논문을 작성하기도 합니다.

이렇게 한 연구 안에서 유리한 결과만 골라 보고하는 것을 "선택적 결과 보고"라고 합니다.

p-hacking이 분석방법을 바꾸며 유의성을 찾는 문제라면, 선택적 보고는 얻어진 결과 가운데 유리한 부분만 보여주는 문제입니다.

둘은 실제 연구에서 쉽게 결합합니다.

효과가 없는 연구는 왜 사라지는가

한 연구 안에서 결과가 선택되는 것만이 문제가 아닙니다.

학술 시스템 전체에서도 연구가 선택됩니다.

효과가 나타난 연구는 논문으로 작성되고 좋은 학술지에 실릴 가능성이 높습니다. 반면 효과가 없는 연구는 연구자가 제출하지 않거나 학술지가 받아주지 않을 수 있습니다.

이를 "게재 편향"이라고 합니다.

같은 가설을 시험한 연구가 열 편 있었다고 생각해봅시다.

실제로는 아무 효과도 없지만 우연히 두 연구에서 p < 0.05가 나왔습니다. 나머지 여덟 연구에서는 유의한 결과가 나오지 않았습니다.

그런데 효과가 나온 두 편만 출판된다면, 외부의 독자는 두 연구가 모두 같은 결과를 냈다고 봅니다.

논문만 읽으면 독립된 두 연구가 효과를 확인한 것처럼 보입니다. 그러나 실제로 수행된 연구 전체를 보면 열 편 중 여덟 편이 실패했습니다.

유의하지 않은 연구가 서랍 속에 남는 현상을 "파일 서랍 문제"라고 부릅니다.[2]

학술문헌은 수행된 연구 전체의 기록이 아니라, 출판에 성공한 연구만 남은 기록일 수 있습니다.

왜 학술지는 유의한 결과를 선호하는가

학술지가 유의한 결과를 선호하는 데는 현실적인 이유가 있습니다.

새롭고 놀라운 연구는 더 많이 읽히고 인용됩니다. 언론도 관심을 보입니다. 학술지의 영향력을 높이는 데 유리합니다.

반면 “효과가 없었다”는 연구는 결론이 약해 보입니다. 심사자는 연구 설계나 표본 수에 문제가 있었던 것은 아닌지 의심할 수 있습니다.

연구자도 같은 압력을 받습니다.

논문을 많이 발표하고 좋은 학술지에 실어야 연구비를 받고 승진할 수 있습니다. 몇 년간 연구한 결과가 유의하지 않다면, 그것을 그대로 발표하는 것보다 다른 분석을 시도해 유의한 결과를 찾는 편이 경력에 유리합니다.

아무도 연구자에게 직접 조작을 명령하지 않습니다.

다만 유의한 결과를 가져온 사람에게 논문과 연구비와 자리를 줍니다. 유의하지 않은 결과를 가져온 사람에게는 더 나은 결과를 만들어오라고 요구합니다.

학계는 연구자에게 진실을 찾으라고 말하면서, 실제로는 통계적으로 유의한 결과를 가져온 사람을 보상했습니다.

이것이 재현성 위기의 구조적 원인입니다.

최초 연구가 재현되지 않는 이유

이제 왜 최초 연구의 효과가 반복 연구에서 사라지는지 이해할 수 있습니다.

수많은 연구 가운데 우연히 p < 0.05가 나온 연구가 먼저 출판됩니다. 그 연구 안에서도 여러 분석 가운데 가장 유리한 결과가 선택됐을 수 있습니다.

최초 논문은 이런 선택을 모두 통과한 ‘승자’입니다.

그러나 후속 연구자는 일반적으로 더 큰 표본을 사용하고, 처음 보고된 가설을 직접 검증합니다. 분석 방법과 결과변수도 이전보다 명확하게 정합니다.

그러면 최초 연구에 들어 있던 우연과 선택의 효과가 줄어듭니다.

실제 효과가 전혀 없었다면 결과가 사라집니다. 실제 효과가 존재하더라도 처음 보고된 것보다 훨씬 작게 나타날 수 있습니다.

따라서 반복 연구의 실패는 의외의 사건이 아닙니다.

처음부터 학술문헌이 가장 극적인 결과를 선택했다면, 후속 연구에서 효과가 줄어드는 것은 자연스러운 결과입니다.

이오아니디스가 경고한 것

2005년 존 이오아니디스는 「왜 대부분의 발표된 연구 결과는 거짓인가」라는 도발적인 제목의 논문을 발표했습니다.[1]

그의 주장을 모든 학술논문의 과반수가 실제로 거짓이라고 조사해 밝혔다는 뜻으로 받아들이면 안 됩니다. 그가 제시한 것은 이론적 경고였습니다.

이오아니디스는 모든 연구를 합쳐 “정확히 몇 퍼센트가 거짓”이라는 하나의 실측치를 제시하지 않았습니다. 대신 검정력, 즉 실제 효과가 있을 때 그것을 찾아낼 능력과 연구 전 가설이 참일 가능성, 편향의 정도에 서로 다른 가정을 넣어 연구 유형별로 계산했습니다.

이오아니디스가 가정한 연구 상황	발표된 긍정적 결과가 참일 가능성	거짓일 가능성
충분한 검정력을 갖춘 대규모 무작위 대조시험	약 85%	약 15%
검정력이 낮은 초기 임상시험	약 25% 이하	약 75% 이상
탐색적 역학연구	약 20%	약 80%

이 수치는 실제 논문들을 세어 얻은 관측값이 아니라 모형의 가정에서 나온 추정치입니다. 논문 제목의 “대부분”도 모든 학문을 평균 낸 단일 비율이 아니라, 많은 연구 환경에서 긍정적으로 발표된 결과의 절반 이상이 거짓일 수 있다는 경고로 읽어야 합니다. 특히 수만 개의 유전자처럼 참인 관계가 극소수인 대상을 한꺼번에 탐색하면 거짓일 가능성은 훨씬 더 높아질 수 있습니다.[1]

핵심은 같은 p < 0.05라도 연구의 출발점과 설계가 다르면 그 결과를 믿을 수 있는 정도도 크게 달라진다는 것입니다.

표본이 작을수록
수많은 가설을 시험할수록
분석 방법을 자유롭게 바꿀수록
연구자가 원하는 결과를 선택할수록
유의한 결과만 출판할수록

발표된 연구 결과 가운데 잘못된 결론의 비율이 높아질 수 있다는 것입니다.

p값이 0.05보다 작다는 사실만으로는 이러한 문제를 해결할 수 없습니다.

오히려 수많은 가설 가운데 우연히 유의한 결과만 골랐다면, 작은 p값은 연구의 신뢰성을 보증하는 숫자가 아니라 선택 과정의 결과일 수 있습니다.

이오아니디스의 핵심적인 질문은 이것이었습니다.

연구 결과가 우연히 유의해질 가능성보다, 그 가설이 애초에 참일 가능성이 충분히 높은가?

예를 들어 이미 상당한 근거가 있는 약물의 효과를 큰 임상시험으로 검증하는 것과, 수천 개의 유전자 가운데 질병과 관련된 것을 아무런 사전 가설 없이 찾는 것은 같은 p < 0.05라도 의미가 다릅니다.[1]

시험한 가능성이 많을수록 우연한 발견도 많아집니다.

메타분석도 사라진 연구를 되살릴 수 없다

코크레인 리뷰와 메타분석은 여러 연구를 모아 결론을 내립니다.

그러나 효과가 없는 연구가 애초에 발표되지 않았다면 체계적 문헌고찰도 전체 자료를 얻을 수 없습니다.

출판된 논문 열 편을 정교하게 분석했더라도, 발표되지 않은 연구 수십 편이 뒤에 숨어 있다면 결론은 달라질 수 있습니다.

그래서 코크레인 리뷰는 학술지 논문만 검색하지 않습니다. 임상시험 등록자료와 학술대회 발표, 미출판 자료도 가능한 한 찾으려고 합니다.

그러나 존재하는지조차 알려지지 않은 연구를 모두 찾아내는 것은 불가능합니다.

게재 편향은 과학이 기억하는 과거 자체를 왜곡합니다.

효과가 있는 연구는 논문과 교과서에 남고, 효과가 없었던 연구는 사라집니다. 시간이 지나면 처음부터 효과가 일관되게 존재했던 것처럼 보입니다.

p값이 작으면 효과가 큰가

p값에 관한 또 하나의 중요한 오해가 있습니다.

p < 0.05라고 해서 효과가 크다는 뜻은 아닙니다.

표본이 매우 크면 아주 작은 차이도 통계적으로 유의해질 수 있습니다.

예를 들어 어떤 약이 혈압을 평균 0.5mmHg 낮추었다고 생각해봅시다. 수만 명을 조사하면 이 차이는 통계적으로 유의할 수 있습니다.

그러나 환자에게 실질적으로 중요한 효과인지는 별도의 문제입니다.

반대로 표본이 작다면 실제로 상당한 효과가 있어도 p = 0.06이나 p = 0.08이 나올 수 있습니다.

따라서 연구 결과를 판단하려면 적어도 세 가지를 함께 봐야 합니다.

실제 차이의 크기
그 추정치가 얼마나 불확실한지
그 차이가 현실적으로 의미가 있는지

p값은 이 가운데 일부만 알려줍니다.[5]

그런데 학술문화는 오랫동안 이 복잡한 판단을 ‘유의함’과 ‘유의하지 않음’으로 줄였습니다.

유의하지 않다는 것은 효과가 없다는 뜻인가

p > 0.05가 나왔다고 해서 효과가 없다고 확정할 수도 없습니다.

표본이 너무 작아 효과를 발견할 힘이 부족했을 수 있습니다. 측정값의 변동이 컸을 수도 있고, 실제 효과가 예상보다 작았을 수도 있습니다.

따라서 통계적으로 유의하지 않다는 말은 흔히 다음과 같은 뜻에 더 가깝습니다.

이번 연구의 데이터만으로는 효과가 있다고 충분히 주장하기 어렵다.

이는 효과가 없다는 확정적인 증명과 다릅니다.

이 구분은 코크레인 리뷰에서도 중요합니다.

‘효과가 없다는 근거’와 ‘효과가 있다는 근거가 부족함’은 같은 결론이 아닙니다.

그러나 논문과 언론은 이를 자주 혼동합니다. p > 0.05이면 효과가 없다고 쓰거나, p < 0.05이면 효과가 입증됐다고 씁니다.

불확실한 결과가 확정적인 문장으로 바뀌는 순간입니다.

p값을 없애면 해결되는가

그렇다고 p값을 없애면 문제가 해결되는 것은 아닙니다. 통계적 결론과 정책 결정을 하나의 수치가 특정 기준을 통과했는지만으로 내려서는 안 된다는 것이 미국통계학회의 권고이기도 합니다.[5]

연구자가 다른 통계 방법을 사용하더라도 원하는 결과만 선택하면 똑같은 문제가 발생합니다. 효과크기와 신뢰구간을 사용하면서도 유리한 분석만 보고할 수 있습니다.

핵심은 숫자가 아니라 연구 절차입니다.

연구를 시작하기 전에 가설과 분석 방법을 정했는가? 몇 개의 결과를 측정했는가? 유의하지 않은 결과도 공개했는가? 자료와 코드를 다른 사람이 확인할 수 있는가? 연구 결과와 무관하게 논문을 출판할 수 있는가?[6]

이런 절차가 없다면 어떤 통계 기법도 연구자의 선택을 완전히 통제하지 못합니다.

과학이 신뢰를 회복하려면 연구자의 양심뿐 아니라 학계의 보상체계도 바뀌어야 합니다.

효과가 없는 결과도 과학적 성과로 인정해야 합니다. 반복 연구를 독창성 없는 작업으로 취급하지 않아야 합니다. 결과가 아니라 연구 질문과 설계의 질을 먼저 평가해야 합니다.

진실보다 유의한 결과가 살아남는 제도

재현성 위기는 통계학의 실패가 아닙니다.

p값을 과학적 진실의 판정기로 사용하고, 그 숫자에 논문과 연구비와 승진을 연결한 제도의 실패입니다.

p값은 제한된 질문에 답하는 유용한 도구입니다.

그러나 가설이 참일 확률도, 효과의 크기도, 현실적 중요성도, 다음 연구에서 재현될 가능성도 직접 알려주지 않습니다.

그럼에도 현대 학계는 오랫동안 p < 0.05를 통과한 결과만 살아남도록 만들었습니다.

효과가 없는 연구는 사라지고, 여러 번의 분석 끝에 우연히 유의해진 결과는 발견으로 발표됐습니다. 그 결과 학술문헌에는 실제보다 훨씬 많은 효과가 존재하는 것처럼 보이기 시작했습니다.

재현성 위기는 과학자들이 거짓말을 많이 했기 때문에 생긴 것이 아닙니다. 진실보다 통계적으로 유의한 결과가 더 잘 살아남는 제도를 만들었기 때문에 생겼습니다.

그러나 유의한 결과를 얻는 것만으로 논문은 완성되지 않습니다.

연구자는 그 결과가 왜 나타났는지를 설명해야 합니다. 이때 결과를 본 뒤 가설을 만들고, 마치 처음부터 그것을 예측했던 것처럼 논문을 구성할 수 있습니다.

다음 글에서는 이러한 "HARKing", 즉 결과를 확인한 뒤 가설을 세우는 현상을 살펴보겠습니다.

참고문헌

Ioannidis JPA. “Why Most Published Research Findings Are False.” PLoS Medicine. 2005;2(8):e124.
Rosenthal R. “The File Drawer Problem and Tolerance for Null Results.” Psychological Bulletin. 1979;86(3):638–641.
Simmons JP, Nelson LD, Simonsohn U. “False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant.” Psychological Science. 2011;22(11):1359–1366.
Fisher RA. Statistical Methods for Research Workers. Edinburgh: Oliver and Boyd, 1925.
Wasserstein RL, Lazar NA. “The ASA’s Statement on p-Values: Context, Process, and Purpose.” The American Statistician. 2016;70(2):129–133.
Munafò MR, Nosek BA, Bishop DVM, et al. “A Manifesto for Reproducible Science.” Nature Human Behaviour. 2017;1:0021.

아르고스의 노트