장갑을 낀 운전자 오류

내 인생 미드 how i met your mother에서 테드가 장갑을 끼고 운전하는 장면 ㅎㅎ

어떤 통계학자가 교통사고 조사에 나섰다. 그는 말도 안 되는 가설을 만들었는데, 가설은 다음과 같다.

“장갑을 끼고 운전하면 교통사고가 덜 날 것이야.” 그리고 실제 한 도시에서 샘플링을 한 후 기깔난 통계지식을 활용하여 분석하였다. 그는 교통사고율 = 사건의 수 / 집단의 수 로 정의하고 A/B testing을 하였다.

장값을 안 낀 운전자수와 장갑을 낀 운전자수는 10만명과 1000명으로 사고발생수는 1000건, 0건이었다.

통계학자는 이 사실을 보며 너무 놀랐다. 장갑을 끼면 사고가 안 나는 것이었다!

우리의 A/B test는?

이 스토리를 보면서 어처구니 없다는 듯이 통계학자를 놀려댈 것이다. 무슨 말도 안 되는 걸로 테스팅을 하고있느냐구.

그런데, A/B testing을 하면서 A/B testing은 결국 가설에 대해 논의하는 것인데, 본질을 흐려대며 어떤 케이스던 A/B testing을 시도하려는 경우가 많다. (주위에서 많이 볼 수 있을 것이다.)

그리고 위의 장갑을 낀 운전자의 오류에 빠져 tool을 이용하여 어떤 케이스던 동일한 산출공식을 사용하여 결과를 산출하고, 데이터를 기반으로 판단하였다고 착각에 빠진 경우가 많은 것 같다.

A/B test는 도구다

A/B test는 가설을 위한 도구이며, A/B test는 가설에 대한 검증을 하며, 비즈니스 의사결정에 도움을 줄 뿐이다.

그러나 의문

우리는 왜 장갑을 낀 운전자가 멍청하다고 생각하는건가

repo="ghk829" issue-term="pathname" theme="github-dark" crossorigin="anonymous" async>