Adobe Firefly의 Amazon Managed Prometheus 기반 옵저버빌리티 단순화

Adobe Firefly가 16,000개 GPU 학습 인프라를 모니터링하기 위해 Amazon Managed Prometheus를 도입하고 24시간 쿼리 속도를 28.8배 향상시킨 사례다. 자체 호스팅 Prometheus의 쿼리 타임아웃 문제를 기존 인프라와 병행하는 점진 마이그레이션으로 해결했다.

핵심 포인트

2,000노드 16,000 GPU 학습 잡 하나가 30초 간격 샘플링으로 단일 쿼리 윈도우에 10억 개 이상 데이터 포인트를 생성하는 극고밀도 시계열이다.
기존 자체 호스팅 Prometheus에서 24시간 쿼리가 60초 타임아웃이나 2분 부분 결과로 실패했다.
관리형 서비스 전환 후 4시간 쿼리 3.5배, 12시간 22.6배, 24시간 28.8배 속도 개선, 완료 시간 10초.
기존 인프라와 병행 점진 마이그레이션으로 워크플로우 중단 없이 2백만 핵심 시계열을 이전했다.
실용 조회 창이 6시간에서 24시간으로 연장되어 장시간 학습 잡 전체를 한 번에 모니터링할 수 있게 됐다.

상세 정리

Adobe의 규모: EKS 기반 GPU 학습 클러스터를 2008년부터 AWS에서 운영. Photoshop·Illustrator 등에 Firefly AI 기능을 제공한다.
병목: 자체 Prometheus는 고카디널리티(GPU 상태·컴퓨팅 성능·메모리 등 다수 차원)·고볼륨 쿼리에서 60초 타임아웃 또는 2분 부분 결과 반환.
마이그레이션 전략: 완전 교체 대신 관리형 스크레이퍼를 기존 자체 Prometheus와 병행 구동. 원격 쓰기(remote write) 설정만으로 전환해 워크플로우를 유지했다.
이전 대상: Job 단위 GPU 활용률·메모리 추적, Pod·노드 헬스 모니터링, GPU 상태 판정 2백만 시계열.
쿼리 성능: 4시간 3.5배, 12시간 22.6배, 24시간 28.8배 향상. 기존에 타임아웃이나 부분 결과였던 쿼리가 10초 내 완료.
운영 윈도우 확장: 256노드 이상 장시간 학습 잡도 24시간 메트릭 전체를 조회 가능해졌다.
인프라 부담 제거: 에이전트 불필요, 데이터·컨트롤 플레인 완전 관리, 단일 워크스페이스 5천만 활성 시계열 지원.
다음 단계: 나머지 메트릭 티어로 관리형 Prometheus 확대, 멀티 테넌트 옵저버빌리티 스택 구성 예정.

왜 읽나대규모 GPU 학습 클러스터를 운영하며 Prometheus 쿼리 타임아웃에 시달리는 ML 인프라·SRE 팀에게 점진 마이그레이션 전략과 실측 수치 레퍼런스.

AWS Architecture 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

Adobe Firefly의 Amazon Managed Prometheus 기반 옵저버빌리티 단순화

이 글과 비슷한

엔터프라이즈 보안 요구사항을 충족하는 프라이빗 Amazon Bedrock AgentCore 구축하기

OpenTofu와 Argo CD로 구성하는 GitLab 기반 AWS 제어 플레인

Amazon Bedrock 기반 사내 LLM, 키 발급부터 비용 차단까지: F&F의 LiteLLM 게이트웨이 운영 사례