pile·
백엔드·flexflex·

[의존성의 방향을 따라 4/5] PR을 전파하는 Distributer

flex의 Evergreen 파이프라인 4번째 편으로, 의존성 변경을 50개 이상 레포에 실제로 전파하는 Distributer 컴포넌트를 다룬다. Updater가 코드를 변환한 이후, Distributer가 PR 생성 → CI 검증 → 리뷰 → 머지까지의 과정을 레포 간 의존 순서를 지키며 자동화하는 방법을 설명한다.

핵심 포인트
  • Wave 기반 전파 모델: Planner가 위상 정렬(Topological Sort)로 의존 순서 정의 → Distributer가 "현재 Wave의 모든 PR이 머지되어야 다음 Wave PR을 생성" 원칙 강제
  • 자동 머지 조건: CI 통과 + 승인 + Wave 선행 조건 + 충돌 없음 → 4가지 조건 모두 충족 시에만 자동 머지
  • Flaky 테스트 구분: 30일 이력 분석으로 진짜 실패와 간헐적 오류를 구분 → 자동화 불필요 재시도 방지
  • PR 구조 분리: 결정론적 recipe 변경과 AI 기반 수정을 구분해 리뷰어가 고위험 영역에 집중
  • 실측 결과: Wave 2(40개 이상 독립 서비스)에서 42개 중 39개 자동 머지, 3개만 수동 개입 필요
  • Escalation 프로토콜: 자동화 불가 시 "어떤 결정이 필요한가"를 특정해 에스컬레이션 — 전체 변경 검토가 아닌 타겟 판단 포인트
상세 정리
  • Wave 전파 원리: 상위 레포가 새 버전을 퍼블리시하기 전에 하위 레포가 참조하면 빌드 깨짐 → Wave 직렬화로 방지
  • Wave 1 예시: 공통 라이브러리(단일 레포, 빠름) → Wave 2: 해당 라이브러리를 의존하는 40개 서비스(병렬 실행)
  • Wave 2 병렬 처리: 같은 Wave 내 독립 서비스들은 동시에 PR 생성·CI·머지 진행 → 순차 대비 시간 대폭 단축
  • CI 추적: 모든 레포 상태를 중앙에서 폴링, 각 PR의 CI 상태를 Wave 진행 판단에 반영
  • Flaky 기준: 최근 30일 동일 테스트의 실패 패턴 분석 → 재현율 낮으면 Flaky로 분류 후 재시도 허용
  • 자동 머지 안전장치: 4가지 조건 중 하나라도 미충족 시 자동 머지 중단 → 인간 개입 요청
  • PR 리뷰 최소화: recipe 변경 부분(코드 자동 변환)은 diff만 확인, AI 변경 부분은 집중 리뷰 안내
  • 수동 개입 3건 원인: 테스트 로직 변경 필요 / 의존성 호환 이슈 / 빌드 스크립트 수정 필요
  • 결과 리포트: 자동 성공/수동 개입/개선 기회를 정량 수치로 제공 → 다음 마이그레이션에 활용
왜 읽나50개 레포 전반에 의존성 업그레이드를 자동 전파하는 시스템을 구축할 때, Wave 직렬화와 Flaky 테스트 구분으로 자동화 신뢰도를 높이는 설계 패턴을 구체적으로 확인할 수 있다.
flex
flex 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 백엔드·twilio-engTwilio Engineering·

    Programmable Messaging에서 Verify API로 마이그레이션하기

    Twilio의 Programmable Messaging API로 자체 OTP 솔루션을 운영하던 서비스가 Verify API로 전환하는 방법을 코드 예시와 함께 설명한다. Verify는 OTP 전송·검증을 위한 전용 API로, 전화번호 구매, 토큰 생성, DB 저장·만료 관리를 내부에서 처리해 개발자가 직접 구현할 코드를 크게 줄인다.

    요약 이어보기
    #authentication#twilio#sms+2
  2. 백엔드·포스타입포스타입·

    포스타입이 개인화 추천을 하는 방법 2부

    포스타입 백엔드 엔지니어가 벡터 기반 개인화 추천 시스템을 실제 운영하며 맞닥뜨린 성능 장애와 용량 문제를 해결한 과정을 담은 2부다. 수백만 개의 벡터 KNN 검색이 피크 시간대에 전체 Elasticsearch 검색 성능을 흔드는 문제부터 클러스터 OOM 사태까지, 쿼리 최적화와 인프라 분리 두 가지 경로로 근본 해결에 이른다.

    요약 이어보기
    #elasticsearch#vector-search#recommendation-system+2
  3. 백엔드·포스타입포스타입·

    포스타입이 개인화 추천을 하는 방법 1부

    포스타입이 태그 기반 추천의 한계를 극복하고 벡터 임베딩 기반 개인화 추천 시스템을 구축한 과정을 담은 1부다. 유사한 콘텐츠가 다른 용어를 쓰거나 동일한 태그가 전혀 다른 톤의 콘텐츠를 가리키는 문제를 임베딩 벡터로 해결하고, OpenSearch의 HNSW ANN 검색으로 수백만 벡터를 실시간 검색하는 시스템을 구축해 구매율 15% 향상을 달성했다.

    요약 이어보기
    #opensearch#vector-search#recommendation-system+2