왜 유의확률(p value)은 0.05를 기준으로 하는가?

이 0.05라는 값은 통계적 유의미성을 지지하는 기준값이다. 즉 p<.05이면, 영가설 기각이 통계적으로 유의미하다는 뜻이 된다. 하지만 의문이 들지 않는가? 왜 하필 0.05일까? 만일 내가 한 연구에서 유의확률이 0.051이 나왔다면 좀 아깝지 않을까? p-hacking, p 해킹에 대해 더 찾아 읽어보자.


사실 이 0.05라는 값은 반드시 0.05이어야 할 과학적 근거가 있는 것은 아니다. 다만, 20세기 위대한 통계학자 중의 한명인 Ronald Fisher가 1925년 그의 저서 『Statistical Methods for Research Workers(p.46)』에서 처음 언급하게 된다. 

[출처] 위키피디아 https://en.wikipedia.org/wiki/Ronald_Fisher

"The value for which P = 0.05, or 1 in 20, is 1.96 or nearly 2 ; it is convenient to take this point as a limit in judging whether a deviation is to be considered significant or not."
"P = 0.05, 즉 20분의 1인 값은 1.96 또는 거의 2입니다. 편차가 중요한지 여부를 판단할 때 이 점을 한계로 삼는 것이 편리합니다."

귀납법이 갖는 철학적 한계를 해결하기 위해 통계적 접근방법을 활용한 것으로, 현대 통계의 역사를 다룬 『The Lady Tasting Tea: How Statistics Revolutionized Science in the 20th Century』에서 David Salsburg(2001)는 Fisher의 결정이 ‘임의적’인 것이었다고 말한다.
p<.05는 관행일 뿐 절대시할 수치는 아니라 할 것이지만, 사회적 약속인 것 또한 사실이다.