서비스 가용성 측정을 위한 신서틱 헬스체커 ‘바이탈사인’ 구축기

LG U+ Ucube DAX팀이 AWS 관리형 서비스(EventBridge + Lambda + DynamoDB) 기반으로 자체 구축한 신서틱 헬스체커 '바이탈사인(Vitalsign)'의 설계 원칙과 구현 사례를 공개한다. 클라우드워치·트레이스 등 기존 인프라 메트릭으로는 확인할 수 없는 실제 사용자 시나리오 단위의 가용성 측정을 목표로, 단계별 의존성 인식 실패 판정 로직과 1분 주기 헬스체크를 구현했다. 상용 신서틱 모니터링 서비스(Datadog, Runscope) 대비 최대 1,080배 저렴한 비용(API 10개 시나리오 1건 기준 월 0.6달러)으로 동일한 기능을 자체 운영한 경험을 정량 수치와 함께 공유한다.

핵심 포인트

클라이언트 관점에서 사용자 시나리오 전체를 순차 실행해 인프라 메트릭이 감지 못하는 애플리케이션 레벨 장애를 탐지
AWS EventBridge(스케줄러) + Lambda(로직) + DynamoDB(결과 저장) 서버리스 아키텍처로 SLA 99.95~99.99% 이상의 헬스체커 가용성 확보
스텝 간 의존성 인식 실패 판정: 의존 스텝 실패 시 종속 스텝은 실패로 기록하지 않고 미검증으로 처리
장애 노이즈 필터링: 연속 실패가 아닌 구간 내 실패 비율 기준으로 장애 판정(예: 10분 내 9건 중 4건 초과 실패 시 장애)
상용 서비스 5개 적용 후 실제 장애 조기 탐지에 기여, YAML 기반 설정으로 TypeScript 비숙련자도 시나리오 구성 가능

상세 정리

기존 CloudWatch·Application Trace는 인프라 상태 확인 가능하나 애플리케이션 기능의 실제 정상 동작 여부는 확인 불가
신서틱 헬스체커는 실제 시나리오를 반복 실행해 가용성 측정 — 예: 1분 주기 60회 측정 중 54회 성공 시 가용성 90%
설계 요구조건 8가지: 자체 개발·운영 가능, 헬스체커 자체 가용성 99.99% 이상, 순차적 시나리오 실행, HTTP/TCP/WebRTC/gRPC/DNS 등 다중 프로토콜 지원, 1분 주기 빈틈 없는 실행, 결과 전달(Teams/Slack/Datadog), PagerDuty 얼러트, 서버리스 기반 최소 인프라
EventBridge 스케줄 → Lambda 트리거 → DynamoDB 결과 저장 → Datadog 메트릭 전달 → PagerDuty 얼러트 흐름
장애 판단: 단순 연속 실패가 아닌 시간 구간 내 비율 기준 — 간헐적 장애 탐지 포함
헬스체커 다운타임 감지: DynamoDB 타임스탬프 비교 누락 탐지 또는 Datadog No data 얼러트 활용
API 10개 기준 월 0.6달러 수준 — 상용 신서틱 모니터링 대비 최대 1,080배 저렴
실제 서비스 적용 시 월 0.03달러 사용 확인
YAML 설정 방식으로 개선 후 TypeScript 비숙련 개발자도 시나리오 구성 가능