pile·
인프라 / DevOps·버즈빌버즈빌·

데이터 엔지니어의 Airflow 데이터 파이프라인 CI 테스트 개선기

문제Airflow 데이터 파이프라인 CI 테스트가 7분대 이상 소요되어 개발 효율이 저하됐다.
접근브랜치 단위 빌드 캐시 충돌을 해결하고, airflow.db를 리포지토리에 직접 저장해 db init 1분 40초를 단축했다. mypy_cache 캐싱과 pytest·아테나 쿼리 검증 병렬화를 추가했다.
결과CI 실행 시간을 7분대에서 3분 중반대로 약 50% 단축했다.
버즈빌
버즈빌 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·vercel-blogVercel Blog·

    Vercel CLI 드라이런 배포로 실제 배포 전 구성 미리 확인하기

    Vercel CLI v54.17.2부터 vercel deploy --dry 명령으로 실제 파일 업로드 없이 배포 구성을 미리 검사할 수 있다. 프레임워크 감지 결과, 포함/제외 파일 목록, 디렉터리 크기 분포, 콘텐츠 해시까지 사전에 확인하고 나서 배포를 결정할 수 있어 의도치 않은 배포 실패를 예방한다.

    #deployment#ci-cd#vercel-cli+1