pile·
인프라 / DevOps·oliveyoung올리브영 테크블로그·

올리브영 데이터 엔지니어링

문제기존 IDC 기반 ETL 시스템은 빠르게 늘어나는 데이터 소스와 다양한 채널을 위한 데이터 제공 요구를 따라가지 못했다. 단순 파이프라인 개발을 넘는 클라우드 기반 데이터 플랫폼 전환이 필요했다.
접근GCP를 중심 플랫폼으로 두고 Apache Airflow로 워크플로우를 오케스트레이션, Apache Spark로 분산 처리, BigQuery로 분석을 수행하는 스택으로 재설계했다. 전통적인 ETL에 더해 로그 수집 인프라까지 묶어 다양한 소스를 한 흐름에서 받고, MSA 기반 데이터 서비스 아키텍처를 위한 준비도 함께 진행했다.
결과데이터 엔지니어링이 좁은 파이프라인 개발에서 ETL·로그·분석·서비스 제공까지 아우르는 데이터 생태계 운영으로 확장됐다. 올리브영 데이터 엔지니어링의 현재 스택과 방향성을 외부에 공유하는 개요 글로 정리됐다.
oliveyoung
올리브영 테크블로그 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·cloudflare-blogCloudflare Blog·

    대규모 도그푸딩: cdnjs를 Cloudflare 개발자 플랫폼으로 이전하다

    cdnjs는 하루 90억 요청을 처리하는 오픈소스 JS/CSS CDN으로, 전 세계 웹사이트의 12%가 의존한다. 2026년 6월, Cloudflare는 6년간 GCP에서 운영하던 발행 파이프라인을 Workers, Workflows, R2, KV, Queues, Containers, Durable Objects로 완전 전환했다. 성능 문제가 아닌 관측성·유지보수성 한계가 동인이었으며, 마이그레이션 과정에서 플랫폼 한도를 직접 끌어올렸다.

    #durable-objects#workflows#cloudflare-workers+2
  2. 인프라 / DevOps·github-engGitHub Engineering·

    Dependabot 길들이기: 업데이트 묶고, 주기 늦추고, 보안은 빠르게

    GitHub의 Dependabot은 의존성 업데이트를 자동화하지만, 기본 설정에서는 10개 업데이트 = 10개 PR이 쏟아져 메인테이너가 알림을 무시하게 된다. Microsoft의 GCToolkit 사례(578개 커밋 중 92개가 Dependabot 버전 범프)를 바탕으로, 그룹핑·주기 조절·보안 업데이트 분리 3가지 설정으로 노이즈를 줄이면서 보안 속도는 유지하는 방법을 다룬다.

    #github-actions#devops#supply-chain-security+2
  3. 인프라 / DevOps·cloudflare-blogCloudflare Blog·

    Cloudflare, 프라이버시 프로토콜 디버깅 CLI pvcli 오픈소스 공개

    Cloudflare가 OHTTP(Oblivious HTTP) 등 프라이버시 보존 프로토콜 디버깅을 위한 CLI 도구 pvcli를 오픈소스(Apache-2.0)로 공개했다. 기존에는 RFC를 참조하며 바이너리를 수작업으로 파싱해야 했는데, pvcli는 curl과 유사한 문법으로 이 과정을 단일 명령으로 줄인다. Apple Private Relay·Microsoft Edge Secure Network를 구동하는 실전 규모의 경험에서 나온 도구다.

    #rust#cli#ohttp+2