pile·
DB / 데이터·데브시스터즈데브시스터즈·

MySQL online alter부터 CPU 100% 장애까지

문제쿠키런: 오븐브레이크의 구매 기록 테이블에 컬럼을 추가해야 했지만 일반 ALTER TABLE은 서비스 중단 위험으로 불가능하다.
접근MySQL inplace algorithm은 중복 키 에러로 실패해 Percona Toolkit으로 전환한다. Staging 복제본, Production 복제본(chunk-size 250), Staging, Production 순으로 다단계 검증한다. 배포 후 CPU 100% 장애는 쿼리 최적화와 분산 캐시를 스케줄러 기반 중앙 캐시로 재설계해 해결한다.
결과online alter는 약 23초 만에 완료된다. CPU 100% 장애의 근본 원인을 파악해 정상화하고 이후 동일 도구로 추가 alter 작업을 안전하게 수행한다.
데브시스터즈
데브시스터즈 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  1. DB / 데이터·pinterest-engPinterest Engineering·

    Pinterest 차세대 DB 수집 프레임워크의 자동화된 스키마 진화

    Pinterest의 CDC 기반 DB 수집 파이프라인은 MySQL에서 Kafka, Flink, Spark, Iceberg를 거치는 다층 구조다. 스키마 변경이 생기면 모든 계층을 동시에 업데이트해야 해 드리프트, 배포 실패, 데이터 불일치가 반복됐다. Pinterest 엔지니어링 팀은 이를 해결하기 위해 가산적 변경만 자동화하는 스키마 진화 프레임워크를 구축하고, PR 기반 롤아웃과 SLA 기반 일관성 모델을 도입했다.

    #data-pipeline#apache-flink#cdc+2