pile·

Kafka & 이벤트 기반 아키텍처 — 입문부터 운영까지

발행

메시지 브로커 선택부터 파티션 설계, 이벤트 기반 아키텍처(EDA), CDC, 메시지 중복·순서 보장까지. 국내 IT 회사들의 Kafka 실전 사례를 학습 순서로 묶었습니다.

12
  1. 01
    매드업매드업

    최적의 메시지 브로커를 찾아서

    MADUP의 Prism은 K8s 환경에서 마이크로서비스가 비동기 메시지로 통신하는데, 처리 시간이 1~30분으로 들쭉날쭉하고 컨슈머 오토스케일·at-least-once 전달까지 동시에 만족시켜야 했다.

  2. 02
    카카오페이카카오페이

    Spring Cloud Stream 도입하기

    카카오페이 데이터 플랫폼이 여러 admin API 와 소스의 데이터를 결합하면서 코드 품질과 확장성 유지 필요.

  3. 03
    channel-talk채널톡

    카프카 파티션 개수 산정식 설계 여정

    Kafka 토픽 생성 시 파티션 개수를 일관된 기준 없이 결정해 운영 편차가 컸다.

  4. 04
    flexflex

    [미래를 담아낸 뼈대 2/7] 모듈 경계를 넘는 이벤트

    HR SaaS 에서 직원 부서 변경이 일어나면 급여/근무정책/권한 시스템이 원자적으로 같이 반영돼야 하는데 Dual Write 는 둘 중 하나만 실패해도 불일치를 만든다.

  5. 05
    29CM29CM

    쿠폰, 어디에 쓸 수 있어요? — 이벤트 기반 적용 상품 조회 시스템 구축

    수십만 상품에 대해 쿠폰 적용 가능 여부가 실시간으로 변하고 복합 조건이 얽혀 사용자가 쿠폰을 어디에 쓸 수 있는지 확인할 수 없었다.

  6. 06
    oliveyoung올리브영 테크블로그

    Kafka Streams 기반 EDA로 품절 시스템 현대화하기

    Oracle 함수 직접 호출 구조로 DB 과부하가 발생하고 대규모 트래픽(올영세일) 시 품절 정보 조회가 지연돼 서비스 품질이 저하됐다.

  7. 07
    oliveyoung올리브영 테크블로그

    실시간 캠페인 타겟팅을 위한 CDC 전환기

    ODI 기반 배치 동기화(20분~1시간 주기)로 고객의 마케팅 동의 철회·쿠폰 발급이 즉시 반영되지 않아 타겟팅 오류와 소스 DB 과부하가 발생했다.

  8. 08
    라포랩스 (퀸잇)라포랩스 (퀸잇)

    누가 내 DB CPU를 훔쳐갔을까? (feat. debezium)

    Aurora MySQL의 CPU 사용률이 80% 이상으로 간헐적으로 급증하는 현상이 트래픽 증가와 무관하게 반복되어 장애 위험이 제기됐다.

  9. 09
    롯데ON롯데ON

    DynamoDB야 진정해! Kafka와 Redis로 구현하는 실시간 역압력 아키텍처 구축기

    새벽 배치 작업이 DynamoDB 자원을 독점해 대고객 실시간 API에 쓰로틀링 에러가 발생했다.

  10. 10
    oliveyoung올리브영 테크블로그

    Kafka 메시지 중복 및 유실 케이스별 해결 방법

    OMS 물류 데이터 파이프라인에서 네트워크 장애, Consumer 재기동, Rebalancing 등으로 Kafka 메시지 중복·유실 문제가 발생했다.

  11. 11
    oliveyoung올리브영 테크블로그

    제로베이스 WMS 구축기: Kafka 기반 분산 물류 시스템 설계와 Out-of-Order Events 해결

    글로벌 WMS 구축 시 리전 간 지연·특송사 API 응답 지연으로 Kafka 메시지 순서가 뒤바뀌는 Out-of-Order Events 문제가 발생했다.

  12. 12
    SK플래닛SK플래닛

    실시간 파생 데이터 생성 : Kafka + Spark로 하루를 앞당기다

    기존 배치 기반 처리는 파생 데이터 생성이 1일 이상 지연되어 실시간 인사이트를 제공할 수 없었다.