pile·
인프라 / DevOps·channel-talk채널톡·

팀 내 전처리 프레임워크 dagster 도입기

문제FastAPI 기반 문서 전처리 시스템이 트래픽 증가로 리소스 경합·타임아웃·OOM 을 겪는다.
접근워크플로우 오케스트레이션 프레임워크를 비교한 뒤 Dagster 를 도입한다. K8sRunLauncher 로 파드 단위 리소스를 격리하고 Code Location 분리로 CI/CD 를 자동화한다. Asset 중심 DAG 로 파이프라인을 재구성한다.
결과하루 1만 건 넘는 무거운 전처리도 별 이슈 없이 처리한다. 모니터링·재실행성도 같이 개선된다.
channel-talk
채널톡 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·vercel-blogVercel Blog·

    Vercel CLI 드라이런 배포로 실제 배포 전 구성 미리 확인하기

    Vercel CLI v54.17.2부터 vercel deploy --dry 명령으로 실제 파일 업로드 없이 배포 구성을 미리 검사할 수 있다. 프레임워크 감지 결과, 포함/제외 파일 목록, 디렉터리 크기 분포, 콘텐츠 해시까지 사전에 확인하고 나서 배포를 결정할 수 있어 의도치 않은 배포 실패를 예방한다.

    #deployment#ci-cd#vercel-cli+1