pile·
DB / 데이터·미리디미리디·

Amazon DocumentDB로 미리캔버스의 성능 50%와 비용 30%를 개선하다

문제미리캔버스의 MongoDB Atlas가 3,000 IOPS 한계에 부딪혀 체크포인트마다 쓰로틀링과 복제 지연이 발생했다.
접근POC 로 호환성을 검증한 뒤 AWS DMS Full Load 를 range 기반 수동 파티셔닝과 CDC 로 11억 건을 무중단 이관하고 Secrets Manager 로 연결 전환, IO-Optimized 스토리지와 ESR·partial index 재설계까지 진행했다.
결과응답시간 50% 개선, 복제 지연 37ms→2.5ms, 비용 30% 절감하며 DocumentDB가 Aurora 기반 호환 엔진임을 전제로 한 운영 노하우를 남겼다.
미리디
미리디 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  1. DB / 데이터·pinterest-engPinterest Engineering·

    Pinterest 차세대 DB 수집 프레임워크의 자동화된 스키마 진화

    Pinterest의 CDC 기반 DB 수집 파이프라인은 MySQL에서 Kafka, Flink, Spark, Iceberg를 거치는 다층 구조다. 스키마 변경이 생기면 모든 계층을 동시에 업데이트해야 해 드리프트, 배포 실패, 데이터 불일치가 반복됐다. Pinterest 엔지니어링 팀은 이를 해결하기 위해 가산적 변경만 자동화하는 스키마 진화 프레임워크를 구축하고, PR 기반 롤아웃과 SLA 기반 일관성 모델을 도입했다.

    #data-pipeline#apache-flink#cdc+2