한때 우리 팀은 매주 월요일 오전을 통째로 “주간 리포트”에 썼습니다. 여러 소스에서 데이터를 받아 엑셀에 붙이고, 차트를 다시 그리고, 슬라이드에 옮기는 작업이었습니다. 한 사람의 반나절이 매주 사라졌고, 실수도 잦았습니다. 이 글은 그 반복 작업을 자동화 파이프라인으로 바꾼 과정과 그 과정에서 배운 것을 회고합니다.
무엇이 문제였나
가장 큰 문제는 시간이 아니라 신뢰였습니다. 매주 손으로 만들다 보니 지난주 정의와 이번 주 정의가 미묘하게 달라졌고, 누군가 셀 하나를 잘못 복사하면 숫자가 틀렸습니다. “이 숫자 맞아?”라는 질문에 자신 있게 답하지 못하는 리포트는 의사결정 근거가 될 수 없었습니다. 자동화의 목적은 시간 절약이 아니라 일관성과 신뢰 확보로 재정의했습니다.
파이프라인 설계
구조는 단순하게 잡았습니다. 데이터 웨어하우스에 정의된 지표를 SQL로 추출하고, 스케줄러가 매주 월요일 새벽에 실행하며, 결과를 대시보드와 자동 요약 메시지로 전달하는 흐름입니다.
- 추출: 지표 정의를 SQL로 코드화하고 버전 관리(한 곳에서만 정의)
- 변환: 코호트·증감률 등 계산 로직을 재사용 가능한 모듈로 분리
- 적재: 결과를 BI 도구가 읽는 테이블에 저장
- 전달: 핵심 지표 변화를 슬랙 메시지로 자동 요약 발송
시행착오
첫 시도는 너무 욕심을 부렸습니다. 모든 리포트를 한 번에 자동화하려다 6주를 쓰고도 완성하지 못했습니다. 방향을 바꿔 가장 자주 쓰는 5개 지표만 먼저 자동화하니 2주 만에 가치를 냈습니다. 또 하나의 교훈은 데이터 검증 단계의 중요성입니다. 자동화는 틀린 숫자도 자동으로, 빠르게, 그럴듯하게 만들어 냅니다. 그래서 “오늘 활성 사용자가 어제의 절반 미만이면 경고” 같은 이상 탐지 규칙을 파이프라인에 넣었습니다.
자동화하면 안 되는 부분
중요한 깨달음은 “해석은 자동화하지 않는다”였습니다. 숫자 추출과 차트 생성은 기계가 잘하지만, “왜 이번 주 가입이 줄었는가”를 묻고 맥락을 붙이는 일은 사람의 몫입니다. 그래서 파이프라인은 숫자와 변화를 자동으로 준비해 주고, 분석가는 그 위에 “이번 감소는 명절 연휴 효과로 보임” 같은 주석을 다는 방식으로 역할을 나눴습니다.
자동화의 목표는 사람을 없애는 것이 아니라, 사람이 기계적인 일에서 벗어나 판단에 집중하게 하는 것이다.
결과와 정리
전환 후 주간 리포트 작성 시간은 반나절에서 30분으로 줄었고, 무엇보다 숫자에 대한 신뢰가 올라갔습니다. 핵심 교훈은 세 가지입니다. 지표 정의를 한 곳에 코드로 박아 일관성을 확보하고, 작게 시작해 빠르게 가치를 내며, 검증과 해석은 사람의 몫으로 남기는 것입니다. 자동화는 반복을 없애는 일이 아니라, 분석가가 진짜 분석에 시간을 쓰게 만드는 투자였습니다.
