데이터 연금술: 로우 데이터를 파이프라인을 통해 '금'으로 바꾸는 법 #우아콘2025 #우아한형제들

정책과 데이터가 늘면서 같은 판단이 여러 task에 흩어져 신규 담당자가 수정 위치를 찾기 어렵고, 재사용되는 schema와 task의 결합 때문에 한 팀의 변경이 관심 없는 팀까지 전파됐다. 많은 역할을 맡은 task가 전체 흐름의 병목이 되자 Spring의 layer처럼 책임과 경계를 명시해 가독성, 변경 격리, 성능 문제를 함께 다룰 필요가 생겼다.

정형 table과 Spark를 전제로 한 원래 Medallion Architecture를 그대로 복제하지 않고, bronze는 제공 팀의 원본 수집, silver는 검증·최적 단위 가공, gold는 조회 요구에 맞춘 비즈니스 로직으로 재정의한다. 조회 팀이 bronze schema를 직접 참조하지 못하게 하고 각 layer가 해야 할 일과 금지할 일을 규칙으로 정해 변경 전파를 끊으며, 중복 trigger도 silver 단계에서 걸러낸다.

퀵커머스 상품은 본사 정보에 지점별 재고와 속성을 합쳐야 하므로 본사 상품 하나의 변경이 최대 1만 5천 지점에 복제되고, 상품 수가 많으면 수천만 건의 쓰기로 증폭됐다. Silver layer에서 본사 공통 schema와 지점별 schema를 분리하고 Gold 조회 시 애플리케이션에서 조합하며 필요한 필드가 바뀐 경우에만 pipeline을 실행해 불필요한 fan-out과 저장 중복을 제거했다.

현재 계층 경계는 convention으로 지키고 있어 앞으로 interface와 module로 잘못된 참조를 compile 단계에서 차단하는 것이 첫 목표다. 각 layer를 지나는 데이터 흐름을 확인하는 lineage·monitoring도 구축할 계획이며, 추상화는 많이 쌓는 것 자체가 목적이 아니라 팀의 변경과 운영을 실제로 더 편하게 만드는 범위에서 유지해야 한다.