Social Welfare Thorn News, 福智衍, 복지비틀기

이 0.05라는 값은 통계적 유의미성을 지지하는 기준값이다. 즉 p<.05이면, 영가설 기각이 통계적으로 유의미하다는 뜻이 된다. 하지만 의문이 들지 않는가? 왜 하필 0.05일까? 만일 내가 한 연구에서 유의확률이 0.051이 나왔다면 좀 아깝지 않을까? p-hacking, p 해킹에 대해 더 찾아 읽어보자.


사실 이 0.05라는 값은 반드시 0.05이어야 할 과학적 근거가 있는 것은 아니다. 다만, 20세기 위대한 통계학자 중의 한명인 Ronald Fisher가 1925년 그의 저서 『Statistical Methods for Research Workers(p.46)』에서 처음 언급하게 된다. 

[출처] 위키피디아 https://en.wikipedia.org/wiki/Ronald_Fisher

"The value for which P = 0.05, or 1 in 20, is 1.96 or nearly 2 ; it is convenient to take this point as a limit in judging whether a deviation is to be considered significant or not."
"P = 0.05, 즉 20분의 1인 값은 1.96 또는 거의 2입니다. 편차가 중요한지 여부를 판단할 때 이 점을 한계로 삼는 것이 편리합니다."

귀납법이 갖는 철학적 한계를 해결하기 위해 통계적 접근방법을 활용한 것으로, 현대 통계의 역사를 다룬 『The Lady Tasting Tea: How Statistics Revolutionized Science in the 20th Century』에서 David Salsburg(2001)는 Fisher의 결정이 ‘임의적’인 것이었다고 말한다.
p<.05는 관행일 뿐 절대시할 수치는 아니라 할 것이지만, 사회적 약속인 것 또한 사실이다.

p value와 통계량은 연결되어 있다. 어쩌면 당연한 이야기이다.
하지만 직접 계산하여 통계량을 산출해 본 경험이 없이 통계 프로그램이 보여주는 결과값만을 확인해본 것이 전부라면, 따로따로 제시되는 유의확률과 통계량을 별도의 것으로 이해하는 경우도 생길 수 있다.
t test를 통해 통계량 t=2.127로 나와다면 무조건 p<.05일 수밖에 없다. 만일 당신이 통계적 유의미성만 확인하고자 한다면, 통계량 또는 p value 둘 중 하나만으로도 충분히 그 결과를 해석할 수 있다.

2010년의 APA((American Psychological Association) style manual 제6판(p.141)에 따르면, p value를 다음과 같이 표기하라고 말한다.

① 소숫점 앞의 0은 표기하지 않는다. 예) 0.051(X) .051(O)
② 소숫점 셋째자리까지 직접 기술한다. 예) p=.051
③ 만일 .000보다 더 작다면(예를 들어 p=.000123), p<.001로 표기한다.
   ※ SPSS의 경우 버전 26까지는 .000으로, 버전 27부터는 p<.001로 나타낸다.

덧붙여 몇 가지 주의사항을 언급해보자면,
④ 통계에서 쓰는 기호는 기본적으로 이탤릭체로 쓰며, 사이띄우기는 하지 않는다.
⑤ 또한, “유의미하다(significant)”의 반대말은 “무의미하다(insignificant)”가 아니라, “유의미하지 않다(nonsignificant)”이다.

앞서 언급했지만, 다소 익숙치 않은 영가설 기각에 대해 좀더 살펴보자. 일반적으로 가설 채택과 기각이라는 표현을 사용한다. 표현 그대로 가설을 채택한다는 말은 내가 주장하고자 하는 가설이 사실로 입증되었다는 말이며, 가설을 기각한다는 말은 해당 사실을 조사결과를 통해 입증할 수 없었다는 말이다. 이를 가설 검정(檢正, test)이라고 한다.
영가설이 ‘차이가 없다’는 가설이라고 하였다. 따라서 영가설이 기각된다는 말은 ‘차이가 있다’는 결론을 말한다.

이때 영가설을 기각할 수 없다는 말이 영가설을 채택한다는 뜻이 아님을 주의해야한다. 때문에 영가설을 기각할 수 없다는 표현을 사용하였다.
한걸음만 더 나아가보자. 영가설이 기각되면, 차이가 있다는 대립가설이 ‘통계적으로 유의미’하다는 결론을 도출하게 된다. 이는 확률적으로 보았을 때 해당결과가 단순한 우연으로 발생되었을 가능성이 희박하다는 뜻이기도 하다.

한편 여러 가지 이유로 우리는 영가설이 참임에도 이를 기각하는 오류를 범하는 경우가 있다. 이를 제1종 오류(Type 1 error)라고 한다. 거짓(僞)양성 또는 알파(α)오류라고도 부른다.
반대로 대립가설이 참인데, 영가설을 채택하는 오류를 제2종 오류(Type 2 error) 또는 베타(β)오류라 부른다.

이를 영가설의 개념으로 다시 구성해보면 다음과 같다.

조금더 쉽게는 『양치기소년』이라는 이솝우화를 들어 설명해 볼 수 있다. 양치기 소년은 늑대가 없음에도 늑대가 나타났다(있다)고 소리쳤다. 즉 실제 상황은 영가설이 참(늑대가 없음)인데, 이를 기각함으로써 오류가 발생했다. 이를 제1종 오류라고 부른다.
통계에서는 가설검정시 이런 제1종 오류를 5% 이내로 설정하는데, 이를 유의수준(significance level, α)이라한다.
혹자는 제1종 오류와 제2종 오류를 비교하면서 어떤 것의 위험성이 더 큰가를 설명하기도 한다. 그리고 의약품 개발을 예를 들어 제1종 오류가 더 위험성이 크다고 주장한다. 하지만 이는 상대적인 것으로 꼭 그리 말할 수 있는 것은 아니다. 또한 제1종 오류를 범할 확률(유의수준, α)을 줄이면 제2종 오류를 범할 확률(β)이 올라가게 된다.

따라서 가설검정을 수행할 때에는 어떤 유형의 오류가 더 심각한 결과를 초래할지 비교·반영하여 유의수준과 검정력을 결정하여야 할 것이다.