대시보드의 매출 숫자가 갑자기 절반으로 떨어졌을 때, 가장 먼저 던지는 질문은 “이 숫자가 어디서 왔는가”다. 데이터 리니지는 데이터가 원천 시스템에서 변환을 거쳐 최종 산출물에 이르는 전체 경로를 추적하는 기술이다. 리니지가 없으면 장애 원인 파악은 추측에 의존하고, 변경의 파급 효과는 배포 후에야 드러난다.
리니지가 답하는 질문들
- 이 컬럼을 바꾸면 어떤 리포트가 영향을 받는가 (영향 분석)
- 이 지표의 이상값은 어느 단계에서 발생했는가 (근본 원인 분석)
- 이 개인정보 항목은 어디서 유입되어 어디까지 퍼졌는가 (규제 추적)
- 이 테이블은 실제로 어디에 쓰이는가, 폐기해도 되는가 (자산 정리)
리니지의 해상도
리니지는 추적 수준에 따라 가치가 크게 달라진다. 테이블 수준 리니지는 “테이블 A가 테이블 B에서 파생됨”을 보여주지만, 컬럼 수준 리니지는 “B의 매출 컬럼이 A의 수량과 단가에서 계산됨”까지 추적한다. 가장 정교한 것은 변환 로직까지 포함하는 수준으로, 어떤 SQL 표현식이 값을 만들었는지를 보여준다. 해상도가 높을수록 근본 원인 분석이 정밀해진다.
| 수준 | 추적 단위 | 주 활용 |
|---|---|---|
| 테이블 수준 | 테이블 간 의존 | 개략적 영향 분석 |
| 컬럼 수준 | 컬럼 간 매핑 | 정밀 영향·원인 분석 |
| 변환 수준 | 로직·표현식 | 값 검증, 감사 |
리니지 수집 방식
리니지는 주로 세 가지 방식으로 수집된다. SQL 쿼리 로그를 파싱해 의존성을 추출하는 방식, dbt 같은 변환 도구의 매니페스트에서 추출하는 방식, 그리고 데이터 오케스트레이션 도구의 작업 그래프를 활용하는 방식이다. 자동 수집이 원칙이며, 수동으로 리니지를 그리는 순간 곧 현실과 어긋난다. 이질적 시스템이 섞인 환경에서는 OpenLineage 같은 표준 규격으로 리니지를 통합하는 것이 유효하다.
리니지는 데이터 파이프라인의 지도이자 블랙박스 기록 장치다. 장애가 났을 때 비로소 그 진가가 드러난다.
운영 활용 시나리오
실무에서 리니지는 변경 관리에 직접 연결된다. 엔지니어가 원천 스키마를 바꾸기 전에 리니지로 하류 영향 자산을 자동 산출하고, 영향받는 팀에 사전 통지하는 워크플로를 만들 수 있다. 또한 품질 이슈가 발생했을 때 리니지를 거슬러 올라가 오염이 시작된 지점을 특정하고, 같은 원천에서 파생된 모든 자산에 경고를 전파할 수 있다. 규제 측면에서는 개인정보의 확산 경로를 시각화해 삭제 요청의 완전성을 보장한다.
정리
데이터 리니지는 데이터의 출처와 흐름을 추적해 신뢰와 통제를 가능하게 한다. 컬럼 수준 이상의 해상도를 목표로 자동 수집을 구축하고, 영향 분석·근본 원인 분석·규제 추적에 활용하라. 리니지는 평소엔 보이지 않다가 위기 상황에서 조직을 구하는 거버넌스의 안전망이다.
