pile·
DB / 데이터·meta-engMeta Engineering·

Meta 규모의 데이터 적재 시스템 마이그레이션

문제Meta의 MySQL 기반 social graph ingestion은 petabyte 규모와 엄격한 landing latency 요구가 커지며 레거시 파이프라인 안정성이 한계에 닿았다.
접근CDC 기반 신규 시스템으로 shadow, canary, partial, full migration 수명주기를 설계하고 row count·checksum·latency·resource 기준으로 검증한다.
결과전체 워크로드를 신규 ingestion 서비스로 이전하고 레거시 시스템을 폐기했다. 기존 snapshot 재사용으로 불필요한 full dump 비용도 줄였다.
meta-eng
Meta Engineering 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  1. DB / 데이터·pinterest-engPinterest Engineering·

    Pinterest 차세대 DB 수집 프레임워크의 자동화된 스키마 진화

    Pinterest의 CDC 기반 DB 수집 파이프라인은 MySQL에서 Kafka, Flink, Spark, Iceberg를 거치는 다층 구조다. 스키마 변경이 생기면 모든 계층을 동시에 업데이트해야 해 드리프트, 배포 실패, 데이터 불일치가 반복됐다. Pinterest 엔지니어링 팀은 이를 해결하기 위해 가산적 변경만 자동화하는 스키마 진화 프레임워크를 구축하고, PR 기반 롤아웃과 SLA 기반 일관성 모델을 도입했다.

    #data-pipeline#apache-flink#cdc+2