[NHN Cloud make IT 2023] Data Platform on NHN Cloud

NHN Cloud·NHN Cloud make IT 2023 2023·2023년·

#kubernetes#data-engineering#data-platform#object-storage#trino#etl#parquet

AI 요약

NHN Cloud의 Log & Crash Search, Data Flow, Data Query를 수집·변환·저장·연합 조회로 이어지는 하나의 데이터 플랫폼으로 엮어 설명한다. NKS 위에서 도는 ETL과 Trino 기반 분산 SQL의 구조를 살펴본 뒤, 로그를 암호화·적재하고 Parquet으로 변환해 쿼리 성능을 끌어올리는 데모로 이론을 확인한다.

핵심 포인트

Log & Crash Search가 대규모 로그·크래시를 샤드·백업 구조로 수집·검색·시각화하며 플랫폼의 수집 계층을 담당
Data Flow는 source·filter·branch·sink 노드로 ETL을 구성하고 사용자 테넌트의 NKS 위 Pod로 실행하며 Object Storage·Kafka·S3를 연결, 암호화·날짜 변환 필터 제공
Data Query는 데이터를 옮기지 않고 원 저장소에 둔 채 Trino로 표준 SQL 조인 — Object Storage의 fact와 RDS의 dimension을 결합하고 DBeaver·Zeppelin·Superset을 JDBC URL만으로 연결
데모: 원시 로그의 민감한 host 값을 암호화하고 시간 파티션으로 적재한 뒤 JSON을 Parquet으로 변환해 동일 쿼리를 약 1.5초에서 200ms로 단축, 콜드 데이터 검색과 커넥터·코덱 확장 로드맵까지 제시

왜 읽나로그·이벤트 데이터를 클라우드 위에서 수집·조회·분석하려는 데이터 엔지니어에게, 연합 쿼리와 Parquet 변환이 성능에 주는 실제 차이를 데모로 보여주는 플랫폼 개요.

챕터별 상세

010:13 – 9:14

데이터 플랫폼과 Log & Crash Search

데이터 플랫폼을 여러 소스의 데이터를 수집하고 저장한 뒤 변환·분석·서빙하는 전체 체계로 정의하고, NHN Cloud의 구성 서비스를 소개한다. 먼저 대규모 로그와 크래시를 수집·검색·시각화하는 Log & Crash Search의 샤드·백업 구조와 내부 서비스 모니터링 사례를 통해 플랫폼의 수집 계층을 설명한다.

Data Flow는 source·filter·branch·sink 노드를 조합해 데이터 추출·변환·적재 흐름을 만들고, CPU·메모리·처리량 모니터링과 스케줄링·템플릿·DSL을 제공한다. 각 사용자 테넌트의 NKS 위에서 Pod를 실행하며 Log & Crash Search, Object Storage, Kafka, S3를 연결하고 암호화·날짜 변환 같은 필터로 운영 인프라 부담을 줄인다.

Data Query는 데이터를 한 웨어하우스로 옮기지 않고 원래 저장소에 둔 채 표준 SQL로 조인하는 Trino 기반 분산 쿼리 서비스다. Object Storage의 대용량 fact 데이터와 RDS의 dimension 데이터를 결합하고, 웹 에디터·쿼리 이력·JDBC를 제공한다. DBeaver·Zeppelin·Superset 같은 기존 분석 도구도 인증 정보와 JDBC URL만으로 연결할 수 있다.

Log & Crash Search의 원시 로그를 Data Flow로 읽어 민감한 host 값을 암호화하고 시간 파티션으로 Object Storage에 적재한 뒤, Data Query의 external table에서 검증한다. 이어 JSON 원본을 Parquet으로 변환해 동일 쿼리 응답을 약 1.5초에서 200ms 수준으로 줄이는 흐름을 보여준다. 변환된 테이블은 Zeppelin과 Superset에서 차트와 대시보드 데이터셋으로 곧바로 활용한다.

Log & Crash Search의 HDFS 백업을 Object Storage로 전환하고, 범용 collector를 분리해 로그 외 데이터까지 수집하는 방향을 제시한다. 콜드 데이터는 Data Query와 연동해 검색하고, Data Flow·Data Query 실행 기반은 NKS에서 관리형 컨테이너 서비스로 옮길 계획이다. Parquet·ORC 코덱, JDBC source, Kafka·Elasticsearch·MongoDB connector와 멀티 클러스터 지원도 확장 항목으로 소개한다.