장애 대응의 성패를 가르는 First Action: 우아한형제들의 장애 관리 라이프사이클

문제장애 인지는 빠르지만 초동 조치가 핫픽스인지 롤백인지에 따라 고객 영향 시간이 갈리고, First Action 이 핫픽스였던 장애가 롤백 케이스보다 거의 두 배 더 오래 지속됐다.

접근Potential-Incident 1단계 + Incident 6단계로 라이프사이클을 표준화하고, 롤백·스케일 조정 같은 사전 정의된 기계적 완화를 First Action 으로 우선 실행한다. MTTD, MTTR, MTTFA, MTTEA, MTTIR, MTTPM 으로 단계별 시간을 추적한다.

결과약 70건의 장애를 같은 메트릭으로 분석해 First Action 속도가 고객 영향을 가르는 핵심 변수임을 확인했다. 개인 역량 의존을 줄이고 AIOps · Observability 기반 체계로 옮기는 토대를 만들었다.