pile·
인프라 / DevOps·meta-engMeta Engineering·

Lights Out, Systems On: 즉각적인 전력 손실 대비 검증

문제데이터센터 전체 전력 손실 시 Twine 오케스트레이터 제어 평면 서비스들이 순환 의존성(Ouroboros)과 Boomerang 효과로 복구에 실패하는 문제.
접근Belljar를 CI/CD 파이프라인에 통합해 임계 시작 의존성을 사전 탐지하고, Twrko로 순환 의존성을 자동 복구했다. 제어 평면 서비스에 전력 관련 종료 신호 무시 로직을 추가했다.
결과사전제작 → 섀도우 → 소규모 → 대규모 프로덕션 지역 순으로 점진적 검증을 완료. 실제 장애와 동일한 MTTR 수준에서 전력 손실 내성을 확보했다.
meta-eng
Meta Engineering 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·vercel-blogVercel Blog·

    Vercel CLI 드라이런 배포로 실제 배포 전 구성 미리 확인하기

    Vercel CLI v54.17.2부터 vercel deploy --dry 명령으로 실제 파일 업로드 없이 배포 구성을 미리 검사할 수 있다. 프레임워크 감지 결과, 포함/제외 파일 목록, 디렉터리 크기 분포, 콘텐츠 해시까지 사전에 확인하고 나서 배포를 결정할 수 있어 의도치 않은 배포 실패를 예방한다.

    #deployment#ci-cd#vercel-cli+1