pile·
백엔드·11번가11번가·

한계에 도달한 전시 서버, 그리고 우리의 해답

문제11번가 전시 API 서버는 매년 트래픽이 늘고 행사·라이브 방송 같은 버스트도 잦아져 서버 증설로 버티고 있었지만, 배포 시간과 운영 비용이 함께 커지는 한계가 있었다.
접근MongoDB의 maxConnectionIdleTime을 인스턴스별 5분 간격으로 분산하고 minPoolSize·maxPoolSize를 같게 잡아 즉시 처리량을 확보했으며, 버스트에서는 Fast-Fail 재시도 정책, 로컬 캐시 크기 제한, 100건 이상 조회의 단계적 분할을 적용했다.
결과TPS가 65.9K에서 87.9K로 약 33% 늘고, 노후 장비 CPU 스파이크가 25%→9%, 신규 장비는 8%→2~3%로 줄었으며, 평균 응답 23ms를 유지하면서 서버 대수를 110대에서 70대로 줄였다.
11번가
11번가 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 백엔드·twilio-engTwilio Engineering·

    Programmable Messaging에서 Verify API로 마이그레이션하기

    Twilio의 Programmable Messaging API로 자체 OTP 솔루션을 운영하던 서비스가 Verify API로 전환하는 방법을 코드 예시와 함께 설명한다. Verify는 OTP 전송·검증을 위한 전용 API로, 전화번호 구매, 토큰 생성, DB 저장·만료 관리를 내부에서 처리해 개발자가 직접 구현할 코드를 크게 줄인다.

    요약 이어보기
    #authentication#twilio#sms+2
  2. 백엔드·포스타입포스타입·

    포스타입이 개인화 추천을 하는 방법 2부

    포스타입 백엔드 엔지니어가 벡터 기반 개인화 추천 시스템을 실제 운영하며 맞닥뜨린 성능 장애와 용량 문제를 해결한 과정을 담은 2부다. 수백만 개의 벡터 KNN 검색이 피크 시간대에 전체 Elasticsearch 검색 성능을 흔드는 문제부터 클러스터 OOM 사태까지, 쿼리 최적화와 인프라 분리 두 가지 경로로 근본 해결에 이른다.

    요약 이어보기
    #elasticsearch#vector-search#recommendation-system+2
  3. 백엔드·포스타입포스타입·

    포스타입이 개인화 추천을 하는 방법 1부

    포스타입이 태그 기반 추천의 한계를 극복하고 벡터 임베딩 기반 개인화 추천 시스템을 구축한 과정을 담은 1부다. 유사한 콘텐츠가 다른 용어를 쓰거나 동일한 태그가 전혀 다른 톤의 콘텐츠를 가리키는 문제를 임베딩 벡터로 해결하고, OpenSearch의 HNSW ANN 검색으로 수백만 벡터를 실시간 검색하는 시스템을 구축해 구매율 15% 향상을 달성했다.

    요약 이어보기
    #opensearch#vector-search#recommendation-system+2