우아한 데이터 허브. 일 200억 건 데이터 안전하게 처리하는 대용량 시스템 구축하기 #우아콘2024 #우아한형제들

시간대별 유입 편차를 consumer가 감당하도록 event-driven architecture를 택하고, domain 앞의 RPC publisher가 broker 기술을 추상화하며 Java interface 기반 message schema와 message ID별 Kafka partition ordering을 보장한다. Listener는 message 종류별 consumer concurrency로 backpressure를 조절하고 timestamp seek로 재발행하며 runtime start·stop을 admin에 제공해, 장애나 resource 교체 때도 ingestion과 처리 속도를 분리해 제어한다.

Replication으로 고가용성을 확보하고 table partition으로 index와 lock 병목을 줄인 뒤, database product마다 sharding 지원이 다른 환경을 통일하기 위해 application-level persistent API를 만들었다. Schema의 shard key를 hash해 logical partition을 구하고 ZooKeeper·YAML lookup table로 실제 shard를 찾는 두 단계를 두어 hot partition만 다른 node로 옮기며, 1억 event가 몰려도 Kafka concurrency와 worker 수로 write rate를 평탄화한다.

서로 다른 JVM·network stack의 중복 구현을 없애려고 client·protocol·server interface를 Java module로 공유해 request·response schema의 일관성, 호환성과 version을 관리한다. Data 특성에 따라 JSON·MessagePack·Protobuf와 compression, Netty·Grizzly, HTTP/1.1·HTTP/2·TCP, blocking·reactive·coroutine thread model을 선택하게 하고, write는 thread pool 중심, aggregate read는 non-blocking 중심으로 구성했다.

Data 하나가 여러 파생 data와 외부 system을 갱신하는 기존 layered code는 호출 순서·transaction·retry가 한 method에 결합돼 작은 변경과 부분 재처리가 어려웠으므로, 데이터 흐름을 중심으로 하는 Data-Driven Development와 우아한 workflow를 만들었다. 원본을 다루는 main task와 병렬 subtask를 각각 독립 transaction·Spring bean으로 정의하고 실패 지점만 재실행하며, task가 `next`로 다음 task를 선언하는 DAG flow와 framework 실행으로 호출 결합을 낮추고 처리 순서를 code 안에서 유연하게 바꾼다.