Spotify 팟캐스트 영상 발행 지연 장애 리포트

Spotify 팟캐스트 영상의 신규 에피소드가 6월 24일 수 시간 동안 발행이 지연된 장애의 원인·타임라인·조치를 정리한 리포트다. 영상 트랜스코딩 인프라가 최대 용량에 도달하며 처리 큐가 밀렸는데, 알림이 13:30에 떴지만 용량 문제로 인식되지 못해 정식 대응은 약 4시간 뒤에야 시작됐다. 용량 여유 부족·배치 잡·처리 비용 증가·하드웨어 이전 버그가 겹친 복합 장애로, 트랜스코딩 용량을 약 67% 늘려 복구했다.

핵심 포인트

신규 에피소드는 공개 전에 트랜스코딩(포맷 변환)과 콘텐츠 분석을 거치는데, 이 트랜스코딩 단계가 최대 용량에 닿아 발행 백로그가 쌓였다.
단일 원인이 아니라 네 요인이 동시에 겹쳤다: 용량 여유 부족, 재처리 배치 잡, 화질 개선에 따른 에피소드당 처리 비용 증가, 하드웨어 이전 후 처리량을 약 10% 깎은 버그.
13:30에 초기 알림이 떴지만 용량 이슈로 연결하지 못해, 자동 알림이 큐 백로그를 확정한 17:34에야 정식 대응이 시작됐다(약 4시간 공백).
즉시 조치로 트랜스코딩 용량을 약 67% 증설하고 리소스 스케줄링 버그를 고쳤다.

상세 정리

배경: 에피소드가 사용자에게 노출되기 전 트랜스코딩과 콘텐츠 분석 파이프라인을 통과해야 하는데, 이 인프라가 큰 유입 스파이크를 감당할 헤드룸 없이 운영됐다.
원인 1 — 용량 여유 부족: 평소 부하는 처리해도 대량 제출이 몰리는 급증 상황엔 여유가 없었다.
원인 2 — 배치 잡 경합: 기존 에피소드를 호환성 목적으로 재처리하는 정기 백그라운드 잡이 제출 피크 시간에 용량을 함께 소모했다.
원인 3 — 처리 비용 증가: 최근 영상 화질 개선으로 에피소드당 처리량이 늘었는데 용량 계획에 충분히 반영되지 않았다.
원인 4 — 이전 후 버그: 하드웨어 이전 뒤 리소스 스케줄링 버그가 처리량을 약 10% 떨어뜨렸다.
타임라인 초반: 13:30 초기 모니터링 알림 발생(용량 이슈로 미인식) → 15:00 영상 전송 스파이크로 트랜스코딩이 최대치 근접 → 16:35 배치 잡 중단.
타임라인 대응: 17:31 첫 크리에이터 제보 → 17:34 자동 알림이 큐 백로그 확정, 인시던트 대응 개시 → 19:00 제보 확대.
타임라인 복구: 20:49 소프트웨어 수정 배포 → 6/25 00:14 추가 처리 클러스터 투입 → 01:02 전체 큐 해소 → 07:30 정상 운영 최종 확인.
핵심 공백: 초기 알림(13:30)과 정식 대응(17:34) 사이 약 4시간이 비어, 알림이 용량 신호로 연결되지 못한 관측 갭이 지연을 키웠다.
즉시 조치: 트랜스코딩 용량 약 67% 증설, 리소스 스케줄링 버그 수정, 더 이른 용량 경보를 위한 모니터링 개선.
장기 개선: 버스트 시나리오 용량 계획 강화, 크리에이터 콘텐츠를 백그라운드 작업보다 우선하도록 우선순위 조정, 파이프라인 전반에 rate limiting 확대, 크리에이터 알림 체계 도입.