인프라 / DevOps·

KT 클라우드·2주 전

[구축사례] 흩어진 운영 데이터를 하나로, kt cloud 운영 데이터 통합 플랫폼 Deck 구축기

KT 클라우드는 수십 개의 클라우드 서비스에서 발생하는 로그·메트릭·이벤트·사용량 데이터가 각기 다른 형식과 시스템에 분산되어 의사결정에 활용하기 어렵다는 문제를 해결하기 위해 통합 운영 데이터 플랫폼 Deck를 구축했다. Object Storage를 단일 진실 공급원(SSOT)으로 삼는 레이크하우스 아키텍처를 채택했으며, 오픈소스 스택만으로 구성해 벤더 종속을 원천 차단했다.

핵심 포인트

Object Storage를 SSOT로 설정해 원본 데이터를 한 번만 저장하고 하위 계층은 파생 참조 방식으로 재활용
수집(Kafka+Vector) → 저장(Object Storage) → 쿼리(Trino) → 처리(Airflow+Spark) → 서빙(StarRocks) → 시각화(Superset) 의 6계층 파이프라인
오픈소스 스택만 채택해 특정 벤더 기술에 종속되지 않는 아키텍처 실현
수십 개 클라우드 제품의 사용량 기반 과금을 표준화하는 빌링 파이프라인을 Deck 위에 구현
데이터 중복 없이 수집→저장→처리→서빙이 단방향으로 흐르며 비용 계산의 감사 추적(audit trail) 보장
향후 멀티테넌시·RBAC·자동 서비스 프로비저닝으로 보안·운영 자동화 강화 예정

상세 정리

핵심 문제: 클라우드 운영 데이터가 서로 다른 시스템에 파편화 → 트러블슈팅에 과도한 시간 소요, 의사결정에 활용 불가
핵심 설계 원칙 1: Object Storage를 SSOT로 삼아 원본은 한 번만 보존, 이후 계층은 파생 참조
핵심 설계 원칙 2: 전체 스택을 오픈소스로 구성해 특정 벤더 기술 종속 방지
수집 레이어: Kafka(메시지 큐)와 Vector(수집 에이전트)를 조합해 다양한 운영 소스에서 데이터 수집
저장 레이어: Object Storage가 SSOT 역할, 모든 원본 데이터의 영구 저장소
쿼리 레이어: Trino가 Object Storage에 직접 SQL 실행, 별도 데이터 이동 없이 임시 분석 가능
처리 레이어: Airflow로 파이프라인 오케스트레이션, Spark로 대규모 배치 변환 처리
서빙 레이어: StarRocks(실시간 OLAP 엔진)가 대시보드·리포팅 워크로드를 위한 저지연 집계 제공
시각화 레이어: 오픈소스 BI 툴 Superset으로 통합 운영 대시보드 구성
빌링 파이프라인: Deck 위에서 수십 개 클라우드 제품의 사용량 기반 과금 표준화, 감사 추적 보장
데이터가 수집→저장→처리→서빙을 단방향으로 흐르며 중복 적재 없이 일관성 유지
향후 계획: 운영 도메인 확장, 의사결정 분석 고도화, RBAC·멀티테넌시·자동 프로비저닝 강화

왜 읽나클라우드 사업자가 수십 개 서비스의 이기종 운영 데이터를 레이크하우스로 통합한 실제 구현기. Kafka·Trino·Spark·StarRocks·Superset 조합의 레이어별 역할 분담과 오픈소스 중심 SSOT 설계 원칙을 실사례로 확인할 수 있다.

KT 클라우드 블로그

원문은 여기서 이어서 읽을 수 있어요

읽음 (0)

·takedown 요청

이 글과 비슷한