pile·
인프라 / DevOps·네이버 플레이스네이버 플레이스·

Airflow 환경 Docker compose로 containerization하기

문제네이버 플레이스 데이터 팀은 로컬 개발과 Kubernetes 프로덕션 환경이 달라서 "로컬에선 되는데 배포하면 오류"가 자주 났고, 파이썬 가상환경 관리도 일관되지 않았다.
접근Docker Compose로 Redis 메시지 큐, PostgreSQL, Airflow 컴포넌트를 단일 YAML에서 함께 띄운다. 로컬은 LocalExecutor, 운영은 CeleryExecutor로 파일을 분리하고, PyCharm을 Docker Compose 인터프리터로 묶어 DAG를 디버깅한다.
결과로컬에서도 프로덕션과 동일한 이미지로 개발·테스트가 가능해졌다. 환경 불일치에서 오는 배포 사고가 줄고 팀 작업 흐름이 표준화됐다.
네이버 플레이스
네이버 플레이스 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·vercel-blogVercel Blog·

    Vercel CLI 드라이런 배포로 실제 배포 전 구성 미리 확인하기

    Vercel CLI v54.17.2부터 vercel deploy --dry 명령으로 실제 파일 업로드 없이 배포 구성을 미리 검사할 수 있다. 프레임워크 감지 결과, 포함/제외 파일 목록, 디렉터리 크기 분포, 콘텐츠 해시까지 사전에 확인하고 나서 배포를 결정할 수 있어 의도치 않은 배포 실패를 예방한다.

    #deployment#ci-cd#vercel-cli+1