pile·
DB / 데이터·linkedin-engLinkedIn Engineering·

Espresso 온보딩 사례: InMail을 Oracle 에서 Espresso 로 이관하기

문제LinkedIn InMail 의 메일박스 2억 개를 Oracle 에서 Espresso 로 무중단 이관하면서 검색 속도와 대량 쓰기 부하를 동시에 해결해야 했다.
접근Time Partitioned Index 로 최근 메시지 위주 검색을 가속, Group Commit 으로 대량 초대 발송 시 락 경합과 스레드 풀 고갈을 막고, Materialized Aggregate 로 다중 DC 간 카운터를 충돌 없이 유지. 마이그레이션은 Oracle → Hadoop → 1024 파티션 Espresso → MySQL bulk load 로 단계화하고 PDR (Personal Data Routing) 로 사본 수를 3 DC → 2 DC 로 축소.
결과3개월 안에 2억+ 메일박스를 무중단 이관, Oracle 샤드 5개(2,500만 메일박스) 단위 배치로 진행. 압축 + 네트워크 파이프로 HDFS 병목 우회, CAPEX 절감까지 달성.
linkedin-eng
LinkedIn Engineering 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  1. DB / 데이터·pinterest-engPinterest Engineering·

    Pinterest 차세대 DB 수집 프레임워크의 자동화된 스키마 진화

    Pinterest의 CDC 기반 DB 수집 파이프라인은 MySQL에서 Kafka, Flink, Spark, Iceberg를 거치는 다층 구조다. 스키마 변경이 생기면 모든 계층을 동시에 업데이트해야 해 드리프트, 배포 실패, 데이터 불일치가 반복됐다. Pinterest 엔지니어링 팀은 이를 해결하기 위해 가산적 변경만 자동화하는 스키마 진화 프레임워크를 구축하고, PR 기반 롤아웃과 SLA 기반 일관성 모델을 도입했다.

    #data-pipeline#apache-flink#cdc+2