글로벌 타깃팅 서비스, 수억 명의 고객을 향한 도전 #우아콘2025 #우아한형제들

우아한테크·우아콘 2025 2025·7개월 전·

#opensearch#distributed-systems#dynamodb#targeting-system#tail-latency#multi-region

AI 요약

배민 고객 속성으로 segment를 만들어 coupon·push와 실시간 personalization에 쓰는 Buzz를, 70개 국가·수억 명 규모의 글로벌 Segmentum으로 확장하며 내린 architecture 결정을 정리한다. 지연·비용·tail latency·코드 분기라는 상충 요구를 어떻게 절충했는지 보여준다.

핵심 포인트

p95 60ms·수만 TPS를 비용 효율적으로 맞추기 위해 중앙 집중과 70개국 개별 배포 사이에서 4개 region 배포를 택하고, 일관된 millisecond 성능·managed scaling을 근거로 Redis·Cassandra 대신 DynamoDB를 선택
매일 전체 관계를 재작성하는 대신 snapshot delta만 반영하는 CDC로 보통 3~4% 변경분만 write하고, 만료는 유료 delete 없이 TTL로 자동 정리하며, partition key=customer ID·sort key=segment ID로 활성 segment를 range query
metadata를 15초마다 Caffeine local cache로 복제해 요청당 DB 호출을 한 번으로 줄이고 fail-fast·request hedging으로 tail latency를 잡아 p95 10ms·p99 20ms 달성, tenant 조건은 AOP·Hibernate session filter로, 국내외 platform 차이는 interface·repository mirroring으로 흡수

왜 읽나글로벌 규모의 저지연·저비용 personalization 백엔드를 설계하며 DynamoDB data model, tail latency, 멀티테넌시를 동시에 다뤄야 하는 엔지니어에게 밀도 높은 결정 기록.

챕터별 상세

010:50 – 7:15

Buzz segment와 OpenSearch 기반 targeting

Buzz는 나이·성별부터 최근 주문, category, coupon 같은 수백 개 customer property를 조합해 target segment를 만들고 분포까지 약 1초 안에 집계한다. Schema-less JSON, query DSL, shard 확장성을 가진 OpenSearch에 warehouse data를 적재하고, 선정한 customer 목록에 coupon·push를 보내거나 app 요청 시 속한 segment를 조회해 광고를 개인화한다.

글로벌 Segmentum은 70개 국가와 수억 명의 customer를 대상으로 p95 60ms, p99 80ms 이하와 수만 TPS를 비용 효율적으로 충족해야 했다. 중앙 집중의 network latency와 70개국 개별 배포의 운영 비용 사이에서 네 region 배포를 택하고, customer 1억 명과 segment 만 개의 관계를 계산한 뒤 Redis·Cassandra와 비교해 일관된 millisecond 성능과 managed scaling을 제공하는 DynamoDB를 선택했다.

매일 전체 관계를 삭제하고 다시 쓰면 write마다 과금되므로 날짜별 segment customer snapshot의 delta만 추출하는 CDC를 적용해 보통 3~4%인 변경분만 반영한다. Campaign 종료 시 관계 row를 유료 delete하지 않고 expiry column과 DynamoDB TTL로 자동 정리하며, partition key에는 customer ID, sort key에는 segment ID를 두어 한 customer의 활성 segment 목록을 range query로 읽는다.

DynamoDB 결과와 PostgreSQL의 활성 segment를 매 요청마다 교집합하면 blocking I/O가 수만 TPS의 병목이 되므로 metadata를 15초마다 Caffeine local cache로 복제해 request당 database 호출을 한 번으로 줄였다. TCP keepalive connection pool, 짧은 timeout 뒤 retry하는 fail-fast와 두 요청 중 빠른 응답을 택하는 request hedging을 적용해 Segmentum은 p95 10ms·p99 20ms, Buzz는 약 15,000 RPS에서도 두 지표 모두 약 10ms를 기록했다.

국가를 구분하는 global entity ID를 controller부터 repository까지 전달하면 거의 모든 code가 바뀌므로 annotation, AOP와 Hibernate session filter로 필요한 transaction에 tenant 조건을 동적으로 삽입했다. GitHub·GitLab, Okta·Google auth, EC2·EKS 같은 국내외 platform 차이는 interface와 repository mirroring으로 격리하고, 기본은 Cloudflare public network를 사용하되 latency가 중요한 consumer에는 private link를 제공해 하나의 product를 두 환경에서 운영한다.