pile·
백엔드·모두싸인모두싸인·

달리는 서비스의 이벤트 버스 개선하기

모두싸인이 AWS에서 Naver Cloud로 마이그레이션하면서 SNS/SQS, Kafka, Redis, BullMQ가 혼재하던 이벤트 버스를 무중단으로 통합 개선한 과정을 다룬다. 이벤트를 통합이벤트/비동기커맨드/비동기태스크로 분류하고, headers에 context와 failure 정보를 표준화한 전략이 핵심이다.

핵심 포인트
  • 기존 SNS/SQS, Kafka, Redis, BullMQ 혼용 구조를 이벤트 타입별로 재분류해 통합
  • 이벤트를 통합이벤트(도메인 사실), 비동기 커맨드(작업 지시), 비동기 태스크(단순 처리)로 3분류
  • Kafka + BullMQ 조합으로 최종 이벤트 버스 구성, 각 타입에 적합한 브로커 배치
  • headers에 traceId/spanId 등 context 정보와 failure 정책(retry/dlq)을 표준 스키마로 정의
  • 무중단 배포: 레거시 consumer를 유지한 채 신규 채널만 먼저 발행해 점진적 전환
상세 정리
  • AWS 리전 철수로 Naver Cloud 마이그레이션 필요, 기존 SNS/SQS 의존 코드가 수백 곳 분산
  • 이벤트 분류 기준: 통합이벤트는 도메인 상태 변화 사실(발행자 중심), 비동기 커맨드는 처리 책임 위임(수신자 중심), 비동기 태스크는 retry/backoff 필요한 단순 작업
  • Kafka를 통합이벤트와 비동기 커맨드에, BullMQ(Redis 기반)를 비동기 태스크에 배정
  • 모든 메시지 headers에 x-trace-id, x-span-id, x-failure-count, x-dlq-reason 필드를 표준화해 디버깅 일관성 확보
  • 레거시 consumer를 삭제하지 않고 신규 채널로 동일 메시지를 발행하는 dual-write 전략으로 롤백 경로 보존
  • 전환 완료 후 레거시 채널 발행 중단, consumer 제거 순서로 정리
  • 브로커별 특성(Kafka: ordering/replay, Redis/BullMQ: backoff/concurrency) 이해가 타입 배정에 필수
  • 마이그레이션 중 메시지 유실 없이 서비스 연속성 유지가 핵심 제약, dual-write가 그 해법
왜 읽나운영 중인 마이크로서비스의 이벤트 버스를 무중단으로 재설계해야 하는 팀에 분류 체계와 점진적 전환 전략을 제공한다.
모두싸인
모두싸인 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 백엔드·twilio-engTwilio Engineering·

    Programmable Messaging에서 Verify API로 마이그레이션하기

    Twilio의 Programmable Messaging API로 자체 OTP 솔루션을 운영하던 서비스가 Verify API로 전환하는 방법을 코드 예시와 함께 설명한다. Verify는 OTP 전송·검증을 위한 전용 API로, 전화번호 구매, 토큰 생성, DB 저장·만료 관리를 내부에서 처리해 개발자가 직접 구현할 코드를 크게 줄인다.

    요약 이어보기
    #authentication#twilio#sms+2
  2. 백엔드·포스타입포스타입·

    포스타입이 개인화 추천을 하는 방법 2부

    포스타입 백엔드 엔지니어가 벡터 기반 개인화 추천 시스템을 실제 운영하며 맞닥뜨린 성능 장애와 용량 문제를 해결한 과정을 담은 2부다. 수백만 개의 벡터 KNN 검색이 피크 시간대에 전체 Elasticsearch 검색 성능을 흔드는 문제부터 클러스터 OOM 사태까지, 쿼리 최적화와 인프라 분리 두 가지 경로로 근본 해결에 이른다.

    요약 이어보기
    #elasticsearch#vector-search#recommendation-system+2
  3. 백엔드·포스타입포스타입·

    포스타입이 개인화 추천을 하는 방법 1부

    포스타입이 태그 기반 추천의 한계를 극복하고 벡터 임베딩 기반 개인화 추천 시스템을 구축한 과정을 담은 1부다. 유사한 콘텐츠가 다른 용어를 쓰거나 동일한 태그가 전혀 다른 톤의 콘텐츠를 가리키는 문제를 임베딩 벡터로 해결하고, OpenSearch의 HNSW ANN 검색으로 수백만 벡터를 실시간 검색하는 시스템을 구축해 구매율 15% 향상을 달성했다.

    요약 이어보기
    #opensearch#vector-search#recommendation-system+2