데이터는 객관적이지만 데이터 해석은 그렇지 않습니다. 같은 숫자에서 정반대의 결론을 끌어내는 일이 흔하며, 그 원인은 대개 통계적 함정입니다. 이 글은 실무에서 가장 자주 사람을 속이는 세 가지 함정을 사례로 다루고, 지표를 믿기 전 점검할 체크리스트를 제시합니다.
함정 1: 상관을 인과로 착각
아이스크림 판매량과 익사 사고는 강하게 상관합니다. 하지만 아이스크림이 익사를 일으키지 않습니다. 둘 다 “여름 더위”라는 숨은 변수의 결과일 뿐입니다. 마케팅에서 “이메일을 연 사용자가 구매를 더 많이 했으니 이메일이 매출을 올린다”는 주장도 같은 오류입니다. 원래 관심이 많은 사용자가 이메일도 열고 구매도 한 것일 수 있습니다. 인과를 주장하려면 무작위 통제 실험(A/B 테스트)이 필요합니다.
함정 2: 평균의 함정
“평균 세션 시간 8분”이라는 지표는 사용자 대부분이 1분 만에 나가고 소수가 1시간씩 머무는 분포를 가립니다. 평균은 극단값에 휘둘립니다. 중앙값과 분포(히스토그램)를 함께 보세요. 객단가 평균이 5만 원인데 중앙값이 2만 원이라면, 소수의 고액 구매자가 평균을 끌어올린 것이고 대부분의 고객은 2만 원짜리 고객입니다. 이 차이가 전략을 바꿉니다.
함정 3: 심슨의 역설
전체에서는 A안이 좋아 보이는데, 모든 세부 그룹에서는 B안이 좋은 모순이 일어날 수 있습니다.
| 그룹 | A안 전환율 | B안 전환율 |
|---|---|---|
| 신규 사용자 | 5% (100명) | 7% (900명) |
| 기존 사용자 | 30% (900명) | 35% (100명) |
| 전체 | 27.5% | 9.8% |
각 그룹에서는 B안이 이기지만 전체로 합치면 A안이 이깁니다. B안에 전환율이 낮은 신규 사용자가 몰려서 생긴 착시입니다. 데이터를 합치기 전에 그룹 구성이 다른지 반드시 확인해야 합니다.
신뢰성 점검 체크리스트
- 이 상관에 숨은 공통 원인은 없는가
- 평균만 보고 있지 않은가, 분포와 중앙값은 어떤가
- 세그먼트별로 쪼개면 결론이 뒤집히지 않는가
- 표본이 충분한가, 우연으로 설명 가능한 크기는 아닌가
- 지표 정의가 측정 시점·기간에 따라 일관적인가
숫자는 거짓말을 하지 않지만, 거짓말쟁이는 숫자를 쓴다.
정리
지표를 믿기 전에 항상 의심하세요. 상관과 인과를 구분하고, 평균 뒤의 분포를 보고, 세그먼트로 쪼개 역설을 확인하는 습관이 분석가의 신뢰성을 만듭니다. 결론이 너무 깔끔하게 떨어진다면, 그것이 바로 한 번 더 의심할 신호입니다.
