pile·
인프라 / DevOps·LINE EngineeringLINE Engineering·

LINE 서비스의 대규모 광고 데이터를 처리하기 위한 Spark on Kubernetes 적용기

문제광고 플랫폼의 대규모 데이터 처리를 YARN 클러스터로 운영하면 자원 활용도와 격리에서 한계가 온다.
접근Spark on Kubernetes 로 마이그레이션. 동적 자원 할당, 네임스페이스 기반 격리, 자동 스케일링까지 K8s 패턴 적용.
결과자원 효율 향상 + 워크로드 격리 강화. YARN → K8s 전환 시 마주친 함정과 해결 패턴 정리.
LINE Engineering
LINE Engineering 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 인프라 / DevOps·vercel-blogVercel Blog·

    Vercel CLI 드라이런 배포로 실제 배포 전 구성 미리 확인하기

    Vercel CLI v54.17.2부터 vercel deploy --dry 명령으로 실제 파일 업로드 없이 배포 구성을 미리 검사할 수 있다. 프레임워크 감지 결과, 포함/제외 파일 목록, 디렉터리 크기 분포, 콘텐츠 해시까지 사전에 확인하고 나서 배포를 결정할 수 있어 의도치 않은 배포 실패를 예방한다.

    #deployment#ci-cd#vercel-cli+1