pile·
인프라 / DevOps·aws-architectureAWS Architecture·

CloudFront로 스포츠 이벤트 실시간 텔레메트리에서 1억 2,100만 동시 gRPC 연결을 확장한 방법

bitdrift가 T20 월드컵 크리켓 중계 도중 Amazon CloudFront를 통해 1억 2,100만 개의 동시 gRPC 연결을 처리한 장애 분석과 해결 과정을 다룬다. Route 53 가중치 기반 라우팅이 DNS 쿼리당 단일 IP만 반환해 특정 NLB에 트래픽이 집중됐고, gRPC 지속 연결 특성이 이를 치명적 과부하로 증폭시켰다. Multi-Value Answer 라우팅으로 전환해 피크 5xx 에러율을 79.80%에서 0.033%로 낮추고 서버 측 장애를 0건으로 줄였다.

핵심 포인트
  • Route 53 가중치 기반 라우팅은 DNS 쿼리당 단일 IP만 반환해 CloudFront 엣지 전체가 동일 NLB로 몰리는 thundering herd 현상이 발생했다.
  • HTTP 단기 요청과 달리 gRPC 지속 연결은 시간이 지날수록 축적되므로, DNS 불균형의 영향이 stateless 트래픽보다 훨씬 크게 증폭된다.
  • Multi-Value Answer 라우팅은 DNS 쿼리당 최대 8개 IP를 랜덤 하위 집합으로 반환해 여러 NLB에 분산시킨다.
  • 결과: 피크 5xx 에러율 79.80% → 0.033%(2,418배 개선), 평균 에러율 1.87% → 0.003%(623배 개선), 서버 측 장애 0건.
  • 아키텍처 자체는 건전했고 DNS 구성 변경 하나만으로 극단적 규모의 트래픽 처리에 성공했다.
상세 정리
  • 배경: bitdrift는 모바일 앱에서 실시간 원격 측정 데이터를 수집하는 서비스로, T20 월드컵 중계 중 트래픽이 거의 0에서 초당 110K+ 요청으로 급격히 증가했다.
  • 인프라 구성: Amazon CloudFront + NLB 조합으로 gRPC 엔드포인트 운영, Route 53 가중치 기반 라우팅으로 NLB 간 트래픽 분산을 시도했다.
  • 장애 발생: 피크 트래픽 시 여러 NLB에서 동시에 원본 실패가 발생, 5xx 에러율이 79.80%까지 치솟았다.
  • 근본 원인 진단: Route 53 가중치 기반 라우팅은 DNS 쿼리당 단일 IP만 반환한다. gRPC 연결은 한 번 연결된 IP로 장시간 지속되므로, DNS 불균형이 stateless HTTP보다 훨씬 심각한 편중을 유발했다.
  • thundering herd 효과: CloudFront 엣지 PoP들이 동일 NLB IP를 캐싱한 채 대량 연결을 쏟아내자 그 NLB만 과부하에 빠졌다.
  • 해결책: Multi-Value Answer 라우팅은 동일 DNS 이름에 여러 레코드를 묶어 쿼리당 최대 8개 IP를 랜덤 하위 집합으로 반환한다. 헬스 체크와 결합하면 불량 엔드포인트를 자동 제외한다.
  • 전환 절차: 기존 가중치 기반 레코드 식별 → 각 NLB마다 TCP/HTTP 헬스 체크 생성 → Multi-Value Answer 레코드 생성(NLB당 1개) → 기존 가중치 기반 레코드 삭제.
  • 최종 결과: 1억 2,100만 고유 기기 처리, 초당 110K+ 요청, 피크 5xx 에러율 0.033%, 서버 측 장애 0건 달성.
  • 핵심 교훈: 정적 트래픽에서 약한 불균형도 gRPC 같은 지속 연결 프로토콜에서는 치명적 장애로 증폭된다. DNS 라우팅 정책 선택이 극단적 규모에서 매우 중요하다.
왜 읽나gRPC나 WebSocket처럼 지속 연결을 사용하는 서비스를 클라우드 로드 밸런서 뒤에서 대규모로 운영하는 인프라·백엔드 엔지니어에게 DNS 라우팅 정책 선택의 중요성을 실제 장애 사례로 보여준다.
aws-architecture
AWS Architecture 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  2. 인프라 / DevOps·AWS KoreaAWS Korea Tech·

    Claude Apps Gateway on AWS 자세히 알아보기

    Anthropic의 Claude Code 바이너리에 내장된 LLM 게이트웨이 솔루션 Claude Apps Gateway의 AWS 인프라 배포 방법과 엔터프라이즈 기능을 다룬다. API 키 대신 IdP(Identity Provider) 기반 SSO를 사용해 Okta, Microsoft Entra ID, Keycloak과 연동하며, 그룹별 권한 정책, 예산 관리, OpenTelemetry 기반 관측성을 제공한다.

    #claude#bedrock#opentelemetry+2
  3. 인프라 / DevOps·AWS KoreaAWS Korea Tech·

    금융 클라우드 길라잡이 A to Z Part 2 – 연구개발망 예외와 망분리 개선 로드맵

    2024년 8월 금융위원회의 망분리 개선 로드맵에 따라 허용된 연구개발망(R&D 망)을 AWS 멀티 계정 아키텍처로 구현하는 방법을 다룬다. 물리적 망분리 대신 논리적 분리로 전환되면서 생성형 AI와 SaaS 서비스 사용이 R&D 망에서 허용됐다. 3계층 VPC 설계, AI 도구 통합, 아티팩트 이전 파이프라인 등 실무 구현 사례를 포함한다.

    #aws#network-security#compliance+2