최적의 메시지 브로커를 찾아서

문제MADUP의 Prism은 K8s 환경에서 마이크로서비스가 비동기 메시지로 통신하는데, 처리 시간이 1~30분으로 들쭉날쭉하고 컨슈머 오토스케일·at-least-once 전달까지 동시에 만족시켜야 했다.

접근SQS는 visibility timeout 튜닝이 어렵고 중복 처리 로직이 늘어 포기. Kafka는 컨슈머 그룹 리밸런싱과 파티션 단위 병목이 긴 메시지 처리에 불리. 최종 선택한 RabbitMQ는 connection-based ack로 안정 전달, 리밸런싱 없이 컨슈머 스케일링, 메시지 단위 분배, 교환기 기반 라우팅으로 테넌트 격리·우선순위 큐까지 지원했다.

결과처리 시간 편차가 큰 워크로드에 RabbitMQ가 적합하다는 결론과 함께, 메시지 브로커 선택은 요구사항에 맞춰 반복 검증해야 한다는 운영 교훈으로 정리.