광고 추천의 실시간 지표 pipeline을 언어·배포·schema가 파편화된 legacy 구조에서 Spark Structured Streaming 단일 repository로 통합한 사례다. 사용자 행동을 빠르게 반영해야 click·conversion 품질을 개선할 수 있어 실시간 처리가 핵심인 배경에서 출발한다.
핵심 포인트- 오랜 요구 수용으로 stream job의 언어·repository·배포 방식이 흩어지고 schema가 code에 hardcoding됐으며, 장애 시 consumer 지연이나 개별 application 상태를 한 화면에서 찾기 어려워 운영 비용이 커진 문제 진단
- batch와 stream 처리를 하나의 SBT·Scala repository로 합쳐 source·build를 표준화하고, pipeline별 schema·실행 설정은 MongoDB에 분리해 변경마다 code를 고치지 않게 함
- 개발자의 pipeline code와 MongoDB 설정을 조합해 Hadoop 환경에 배포하고, web interface에서 설정을 관리하는 공통 deployment flow로 stream·batch를 같은 방식으로 versioning
- Spark 기본 UI로는 추적하기 어려운 Kafka consumer lag을 offset commit 전용 consumer로 관측하고 custom metric과 함께 시계열 DB에 적재해 Grafana dashboard로 통합, 배포 상태와 처리 지연을 빠르게 진단
왜 읽나파편화된 스트리밍 job을 운영하는 데이터 엔지니어에게, 단일 repository 표준화와 설정 기반 배포·통합 monitoring으로 batch·stream 운영 일관성을 확보하는 방법을 보여준다.