pile·
인프라 / DevOps·oliveyoung올리브영 테크블로그·

랭킹 시스템 개편기

문제19개 카테고리 랭킹을 Oracle 프로시저로 계산하던 기존 구조는 타겟 데이터 집계가 중복으로 일어났고, 랭킹 종류가 늘수록 배치 지연·DB 자원 낭비·계산 근거 추적 어려움이 커졌다.
접근AWS Glue로 Oracle 데이터를 추출해 Parquet로 변환·S3에 적재하고, Athena 네임드 쿼리로 랭킹을 계산해 CSV로 떨어뜨린다. Step Functions가 Glue·Athena 잡을 오케스트레이션하고 Secrets Manager로 자격증명을 관리해, 운영 DB와 랭킹 파이프라인을 완전히 분리했다.
결과중복 집계가 제거되고 DB 결합도가 낮아져 확장 여력이 생겼다. Step Functions 콘솔로 워크플로우를 시각적으로 모니터링하며, OpenSearch 연동·실시간 큐잉 등 후속 확장 기반까지 함께 마련했다.
oliveyoung
올리브영 테크블로그 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·cloudflare-blogCloudflare Blog·

    대규모 도그푸딩: cdnjs를 Cloudflare 개발자 플랫폼으로 이전하다

    cdnjs는 하루 90억 요청을 처리하는 오픈소스 JS/CSS CDN으로, 전 세계 웹사이트의 12%가 의존한다. 2026년 6월, Cloudflare는 6년간 GCP에서 운영하던 발행 파이프라인을 Workers, Workflows, R2, KV, Queues, Containers, Durable Objects로 완전 전환했다. 성능 문제가 아닌 관측성·유지보수성 한계가 동인이었으며, 마이그레이션 과정에서 플랫폼 한도를 직접 끌어올렸다.

    #durable-objects#workflows#cloudflare-workers+2
  2. 인프라 / DevOps·github-engGitHub Engineering·

    Dependabot 길들이기: 업데이트 묶고, 주기 늦추고, 보안은 빠르게

    GitHub의 Dependabot은 의존성 업데이트를 자동화하지만, 기본 설정에서는 10개 업데이트 = 10개 PR이 쏟아져 메인테이너가 알림을 무시하게 된다. Microsoft의 GCToolkit 사례(578개 커밋 중 92개가 Dependabot 버전 범프)를 바탕으로, 그룹핑·주기 조절·보안 업데이트 분리 3가지 설정으로 노이즈를 줄이면서 보안 속도는 유지하는 방법을 다룬다.

    #github-actions#devops#supply-chain-security+2
  3. 인프라 / DevOps·cloudflare-blogCloudflare Blog·

    Cloudflare, 프라이버시 프로토콜 디버깅 CLI pvcli 오픈소스 공개

    Cloudflare가 OHTTP(Oblivious HTTP) 등 프라이버시 보존 프로토콜 디버깅을 위한 CLI 도구 pvcli를 오픈소스(Apache-2.0)로 공개했다. 기존에는 RFC를 참조하며 바이너리를 수작업으로 파싱해야 했는데, pvcli는 curl과 유사한 문법으로 이 과정을 단일 명령으로 줄인다. Apple Private Relay·Microsoft Edge Secure Network를 구동하는 실전 규모의 경험에서 나온 도구다.

    #rust#cli#ohttp+2