pile·
인프라 / DevOps·데보션 (SK)데보션 (SK)·

Apache Airflow 3.x Dag Parsing 최적화 체크리스트

문제Apache Airflow 3.x에서 DAG 파일 파싱이 느려지면 태스크 실행 지연·스케줄러 심박 지연·CPU/메모리 폭증이 발생하지만 설정 위치와 안티패턴이 흩어져 있어 진단이 어렵다.
접근`dag_processing.total_parse_time` 메트릭으로 현황을 정량화한 뒤 `[dag_processor]`로 옮겨진 `parsing_processes`·`file_parsing_sort_mode`를 튜닝하고, 3.x의 `parsing_pre_import_modules`로 공통 import를 1회로 줄이며, 글로브로 바뀐 `.airflowignore` 문법과 top-level Variable/Connection 호출 같은 안티패턴을 제거하는 체크리스트로 정리했다.
결과실제 환경에서 파싱 시간이 약 155초 → 72초로 절반 이하로 줄어 스케줄러 안정성이 회복됐다.
데보션 (SK)
데보션 (SK) 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  2. 인프라 / DevOps·vercel-blogVercel Blog·

    Vercel CLI 드라이런 배포로 실제 배포 전 구성 미리 확인하기

    Vercel CLI v54.17.2부터 vercel deploy --dry 명령으로 실제 파일 업로드 없이 배포 구성을 미리 검사할 수 있다. 프레임워크 감지 결과, 포함/제외 파일 목록, 디렉터리 크기 분포, 콘텐츠 해시까지 사전에 확인하고 나서 배포를 결정할 수 있어 의도치 않은 배포 실패를 예방한다.

    #deployment#ci-cd#vercel-cli+1