Name: [NHN FORWARD 2021] 오픈소스를 활용한 모니터링 플랫폼 개선기 feat. Cortex
Uploaded: 2021-12-13T00:00:00Z
Duration: 28 min 59 s
Description: 서버 중심의 오래된 사내 모니터링 플랫폼이 새 metric과 tag 기반 dimensional 지표를 담지 못해 현대 애플리케이션 지표를 버리던 문제에서 출발한다. Prometheus의 확장·보관 한계를 CNCF 프로젝트 Cortex로 보완하며 기존 수집망에 최소 침습으로 붙인 과정을 따라간다.

AI 요약

서버 중심의 오래된 사내 모니터링 플랫폼이 새 metric과 tag 기반 dimensional 지표를 담지 못해 현대 애플리케이션 지표를 버리던 문제에서 출발한다. Prometheus의 확장·보관 한계를 CNCF 프로젝트 Cortex로 보완하며 기존 수집망에 최소 침습으로 붙인 과정을 따라간다.

핵심 포인트

Nsight·NHN Cloud System Monitoring이 묶인 legacy가 새 metric 추가·dimensional 저장·Prometheus 생태계 호환 세 가지에서 막혀, 작은 변경마다 QA·debugging 비용이 컸던 진단
기존 agent가 스크랩한 지표 중 Prometheus 형식만 Cortex로 분기하고 익숙한 Cassandra·Grafana를 재활용해 legacy 변경 범위를 최소화, gateway·distributor·ingester·querier·ruler의 microservice 구조에 사내 gateway와 Object Storage rule 저장을 맞춤
Redis connection pool이 가득 차면 캐시 요청을 버리는 동작에 설정 옵션을 추가해 첫 PR을 병합하고, Cassandra Time Window Compaction과 ring migration 중복 metric bug까지 직접 수정해 upstream 기여 — 초당 6만 sample·360만 metric 규모까지 성장

왜 읽나Prometheus 단일 인스턴스의 벽에 부딪힌 모니터링 운영자에게 Cortex 도입 판단부터 legacy 병행·upstream 기여까지의 실전 전환기를 보여준다.

챕터별 상세

010:10 – 3:02

NHN 지표 모니터링 플랫폼의 범위

CPU·메모리·disk·network 같은 지표를 수집하는 사내 Nsight와 NHN Cloud System Monitoring의 역할을 소개한다. Agent가 서버와 일부 application metric을 모으고 dashboard와 임계값 알림을 제공하지만, 두 서비스의 내부가 오래된 공통 legacy platform에 묶여 있어 겉의 기능과 달리 개선이 어려운 상황을 설명한다.

새 metric을 추가하기 어렵고 tag로 여러 차원을 표현하는 dimensional metric을 저장하지 못해 현대 application 지표 상당수를 버려야 했다. 자체 개발 코드와 오래된 library, 부족한 문서 때문에 작은 변경도 QA와 debugging 비용이 컸으며, Prometheus 생태계 도구와 protocol에 호환되지 않아 기존 기능을 계속 다시 만드는 문제까지 분석한다.

팀이 익숙한 Cassandra와 Prometheus exporter를 활용하고, 기존 agent가 스크랩한 지표 중 Prometheus 형식만 Cortex로 분기해 legacy 변경 범위를 줄인다. Remote write 호환 agent와 Grafana를 연결하고, gateway·distributor·ingester·querier·ruler를 분리한 microservice 구조에서 사내 gateway와 Object Storage rule 저장, 알림 adaptor를 필요한 interface에 맞춰 개발한다.

Redis client의 connection pool이 가득 차면 cache 요청을 버리는 동작을 발견해 설정 옵션을 추가하고 첫 pull request를 병합한다. 시계열 workload에 맞게 Cassandra를 Time Window Compaction으로 구성하는 기능과 key-value ring migration의 중복 metric bug도 직접 수정한다. 초당 약 6만 sample·360만 metric까지 키웠지만 legacy를 확장하는 방식으로 도입해 완전 제거가 늦어진 점을 가장 큰 후속 과제로 꼽는다.