데이터독은 데이터독을 어떻게 모니터링할까?│인프콘2024

마이크로서비스 환경의 핵심은 태그 정보로, 데이터독은 환경·서비스·버전·팀 네 가지 표준 태그를 쓰며 쿠버네티스 레이블·어노테이션에도 꼭 넣어야 한다. 매트릭은 JVM·GC 같은 런타임, 톰캣 스레드 풀·카프카 컨슈머 랙 같은 미들레이어, CPU·메모리·네트워크·디스크를 모두 수집하고, 마이크로서비스에서는 네트워크 리소스 매트릭이 필수다. 분산 트레이싱에서는 구글 SRE의 네 가지 골든 시그널(처리량·응답시간·에러·포화도)과 사용자 만족도 지표 Apdex를 핵심으로 든다. 또 최소한 블랙박스 모니터링(헬스 체크), 클라이언트 리소스 모니터링, SLO는 가져가라고 권한다. 대시보드는 내부에 약 2만 개가 있고 팀·개발자별 오너십을 가지며 골든 시그널 배치를 표준화했다. 알림은 자사 사례로 크리티컬·하이·미디엄·로우·인포 우선순위를 두고, 설명·런북·업무 시간 정보를 넣어 엔지니어 피로도를 관리하며 구체적 액션을 건다.

최적화 단계에서는 콘티뉴어스 프로파일러로 배포 전후 함수·스레드 레벨 CPU·메모리를 비교해 내 코드의 비용을 점검한다. 이어 스태프 엔지니어 이성우가 '데이터독을 활용한 트러블슈팅'을 진행한다. 로그인 장애 시나리오로 탐지 → 전파 → 롤백 → 루트 코즈 분석 흐름을 보이며 자동화의 필요성을 강조한다. 데이터독은 알림 프리셋으로 클릭만으로 슬랙 알림을 걸고, 14일 이상 데이터로 이상 패턴을 자동 감지해 예컨대 새 버전 배포 후 정확히 372명이 영향받고 있다는 인사이트와 롤백 권장을 제시한다(버전 태그가 전제). 에러 트래킹·세션 리플레이·인프라 가시성·트레이스 ID 로그 그루핑으로 엔드 투 엔드 분석하고, 압권인 라이브 디버깅(동적 인스트루먼테이션)으로 무중단으로 특정 라인의 변수 값을 실시간 캡처한다. 쌓인 노하우는 SLO로 만들고, 워크플로로 '새 버전 에러율↑ + 임팩트 100명↑'이면 슬랙 버튼으로 자동 롤백한다. 끝으로 데이터 수집은 사일로를 허무는 기회이며 최대한 모아 연계 분석하라고 강조하며 마친다.