DB / 데이터·

매드업·2023년

매드업의 DMP - 프리즘(prism)을 소개합니다

매드업이 구글, 페이스북, 네이버, 카카오모먼트 등 다수 광고 플랫폼의 데이터를 일괄 수집·처리·배포하기 위해 구축한 데이터 관리 플랫폼(DMP) 프리즘(Prism)을 소개한다. Python 기반 수집기 → S3 → Airflow ELT → Redshift → JupyterHub로 이어지는 V1 아키텍처와 그 한계를 극복한 V2 개선 사항(비동기·EKS·MWAA·Redshift RA3)까지 상세히 다룬다. 하루 수백~수천 GB 광고 데이터를 처리하는 규모의 실사용 사례다.

핵심 포인트

Google, Facebook, Naver, Kakao Moment + Appsflyer, GA 등 멀티플랫폼 데이터 통합
Python 수집기가 AWS ECS에서 컨테이너 수백~수천 개로 스케일 아웃해 일 수백 GB 처리
ELT 파이프라인: S3(raw) → Apache Airflow → Amazon Redshift
JupyterHub(ECS Fargate + Google Workspace 인증)로 전사 분석가 셀프서비스
V1 한계: 동기 코드 확장성 부족, Redis Stream 복잡도, EC2 Airflow 가용성 위험
V2 개선: 비동기 Python, SQS+Managed Kafka, EKS, MWAA, Redshift RA3+AQUA

상세 정리

수집 대상: Google, Facebook, Naver, Kakao Moment, Appsflyer, Google Analytics
V1 수집기: Python, AWS ECS, 광고주 수에 비례해 컨테이너 인스턴스 수백~수천 개 실행
V1 저장: 수집 데이터를 AWS S3에 원본 저장
V1 처리: Apache Airflow ELT로 S3 데이터를 Redshift로 이관·변환
V1 접근: JupyterHub on ECS Fargate, Google Workspace 계정으로 인증
V1 한계: 동기 수집 코드 확장성 제약, Redis Stream 복잡도, ECS 리소스 관리 한계
V1 한계: EC2 기반 Airflow 가용성 위험, 초기 Redshift 설정 부족
V2 개선: 비동기 Python으로 수집기 재작성
V2 개선: Redis Stream → AWS SQS + Managed Kafka 대체
V2 개선: ECS → EKS로 컨테이너 오케스트레이션 전환
V2 개선: EC2 Airflow → Amazon MWAA(Managed Airflow)
V2 개선: Redshift → RA3 노드(AQUA 가속 + Managed Storage)

왜 읽나멀티 광고 플랫폼의 대용량 데이터를 ELT 파이프라인으로 통합하고 전사 셀프서비스 분석까지 연결하는 데이터 플랫폼 아키텍처를 참고하고 싶은 데이터 엔지니어.

매드업 블로그

원문은 여기서 이어서 읽을 수 있어요

읽음 (0)

·takedown 요청

이 글과 비슷한