DB / 데이터·
LINE Engineering·
Hive에서 Iceberg로: 데이터 반영 속도 12배 향상의 비밀
문제Hive 기반 데이터 레이크에서 데이터 반영 속도가 느려 down-stream 분석/머신러닝 파이프라인이 지연된다.
접근Apache Iceberg 로 마이그레이션. 파티션 evolution, schema evolution, time travel 같은 Iceberg 기능을 활용한 lakehouse 패턴 적용.
결과데이터 반영 속도 12배 개선. 운영 복잡도는 낮추면서 분석 latency 도 줄임.
#data-engineering#migration#iceberg+2