pile·
DB / 데이터·데브시스터즈데브시스터즈·

지금 매출 얼마인가요?

문제게임 런칭 당일 매출/동접 지표가 1시간 이상 지연되고 국가/OS/스토어 차원이 빠져 있어 의사결정이 어려웠다.
접근Kafka 토픽을 분리하고 Spark Structured Streaming의 Stream-Stream JOIN과 watermark로 late data를 다룬다. Databricks SQL + Airflow 2분 micro batch로 집계하고 Delta Lake Medallion 구조로 저장한 뒤 Kibana 대시보드로 본다.
결과10분 이내 SLO와 5% 이내 오차를 만족하는 준실시간 지표를 만들었다. 쿠키런:모험의 탑은 출시 일주일에 200만 다운로드, 누적 매출 100억 원을 이 지표로 추적했다.
데브시스터즈
데브시스터즈 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. DB / 데이터·pinterest-engPinterest Engineering·

    Pinterest 차세대 DB 수집 프레임워크의 자동화된 스키마 진화

    Pinterest의 CDC 기반 DB 수집 파이프라인은 MySQL에서 Kafka, Flink, Spark, Iceberg를 거치는 다층 구조다. 스키마 변경이 생기면 모든 계층을 동시에 업데이트해야 해 드리프트, 배포 실패, 데이터 불일치가 반복됐다. Pinterest 엔지니어링 팀은 이를 해결하기 위해 가산적 변경만 자동화하는 스키마 진화 프레임워크를 구축하고, PR 기반 롤아웃과 SLA 기반 일관성 모델을 도입했다.

    #data-pipeline#apache-flink#cdc+2