한때 우리 팀은 매주 월요일 오전을 통째로 “주간 리포트”에 썼습니다. 여러 소스에서 데이터를 받아 엑셀에 붙이고, 차트를 다시 그리고, 슬라이드에 옮기는 작업이었습니다. 한 사람의 반나절이 매주 사라졌고, 실수도 잦았습니다. 이 글은 그 반복 작업을 자동화 파이프라인으로 바꾼 과정과 그 과정에서 배운 것을 회고합니다.무엇이 문제였나가장 큰 문제는 시간이 아니라 신뢰였습니다. 매주 손으로 만들다 보니 지난주 정의와 이번 주 정의가 미묘하게 달라졌고,...
데이터가 늘어날수록 “우리 회사에 어떤 데이터가 있는지” 아무도 모르는 상황이 발생한다. 분석가는 같은 지표를 매번 새로 정의하고, 데이터 엔지니어는 어떤 테이블이 실제로 쓰이는지 파악하지 못한 채 파이프라인을 운영한다. 이런 발견성(discoverability) 부재는 중복 작업과 잘못된 의사결정의 주된 원인이 된다. 왜 데이터 카탈로그가 필요한가 데이터 카탈로그는 조직이 보유한 데이터 자산의 메타데이터를 한곳에 모아 검색 가능하게 만든 시스템이다....
“이 대시보드 숫자 맞아요?”라는 질문이 반복된다면 데이터 품질에 대한 공식 약속이 없다는 신호다. 데이터 품질 SLA(Service Level Agreement)는 데이터 공급자가 소비자에게 보장하는 품질 수준을 명문화한 계약이다. 이 약속이 없으면 품질 책임은 항상 모호하게 흩어진다. SLA가 해결하는 리스크 품질 SLA가 없으면 세 가지 문제가 발생한다. 첫째, 소비자는 데이터를 어디까지 믿어야 할지 모른다. 둘째, 장애가 생겨도 누가 언제까지...
메타데이터는 흔히 “데이터에 관한 데이터”로 정의되지만, 실무에서는 데이터에 의미와 맥락을 부여하는 모든 정보를 뜻한다. 컬럼 이름만으로는 그 값이 무엇을 의미하는지, 신뢰할 수 있는지, 누가 책임지는지 알 수 없다. 메타데이터 관리는 이 보이지 않는 맥락을 체계적으로 보존하는 작업이다. 메타데이터의 네 가지 유형 기술 메타데이터: 스키마, 데이터 타입, 인덱스, 저장 포맷 등 시스템이 생성하는 정보 비즈니스 메타데이터: 용어 정의, KPI 계산식,...
개발자가 운영 데이터로 테스트하다 실수로 고객 전화번호가 유출되는 사고는 의외로 흔하다. 데이터를 활용하려면 비식별 환경이 필요하지만, 보호하느라 활용을 막으면 비즈니스가 멈춘다. 데이터 마스킹은 이 긴장을 해소하는 핵심 기술이다. 마스킹이 필요한 시나리오 운영 데이터를 개발·테스트 환경으로 복제할 때 분석가에게 데이터를 제공하되 식별 정보는 가려야 할 때 외부 협력사나 BI 도구에 데이터를 노출할 때 로그·화면에 민감 정보가 노출되는 것을 막을 때 정적 마스킹 vs 동적...
e-wikidversity