Karpenter Consolidation을 활용한 EKS 비용 절감 사례

LG U+ Ucube DAX팀이 멤버십 서비스 EKS 환경에서 Karpenter의 Disruption·Consolidation과 스케줄 기능으로 노드 자원 파편화율을 약 60%에서 12%대로 줄이고 EC2 비용을 30% 이상 절감한 사례다. 매달 10회쯤 진행하는 이벤트 때 트래픽이 평소의 8배로 치솟아 리소스를 미리 4배 이상 증량하는데, 이벤트가 끝난 뒤에도 그 파드들이 유지돼 비용이 그대로 낭비되는 것이 출발점이었다.

핵심 포인트

Spot 인스턴스는 절감 효과가 크지만 손실된 가용성을 수 분 이내에 복구해야 하는 환경에는 제약이 있어, 안정성을 충분히 확보한 뒤 단계적으로 검토하기로 미뤘다.
총 파편화율에서 확장 대비용 계획 여분율을 뺀 나머지를 낭비율로 정의하고, 낭비율을 줄인 만큼이 곧 비용 절감이라는 단순 모형을 세웠다.
Drain 안정성이 확보돼도 언제든 Disruption이 일어나도 되는 것은 아니다. 고부하 대응 사전 프로비저닝 구간이나 파드가 충분치 않은 상태에서는 동작하면 안 된다.
consolidateAfter를 4시간처럼 길게 잡으면 선 스케일링 직후의 저부하를 Consolidation이 걷어가는 것을 막을 수 있다.
Schedule 기능의 budgets 설정으로 특정 시간대에는 Disruption을 0으로, 나머지 시간대에는 20%씩 진행하게 고정해 예측 가능성을 높였다.

상세 정리

비용 모형: 동일 자원 서버 10대의 총 사용률이 50%, 낭비율이 30%일 때 낭비율을 0으로 만들려면 각 서버 사용률을 80%로 올려야 하고, 그러면 서버 7대로 축소 운영이 가능하다. 비용이 서버 수에 비례한다고 보면 약 30% 절감이다.
일반화하면 단순화된 모형 기준으로 사용률 증가분만큼 비용이 줄어든다. 사용률을 30% 높이면 비용은 30% 감소한다.
계획 여분율의 예: 파드의 requests와 limit 사이 용량차 비율이 20%라면 확장을 위해 그만큼의 공간을 미리 확보해 둘 수 있다.
Drain 안정성 판단 기준: Spot과 달리 최대 2분 같은 제한 시간이 없으므로, 최소 1개월 이상 부하가 있으면서 노드 대수가 감소하는 상황의 요청 실패율을 평시와 비교해 유의미한 차이가 없으면 확보된 것으로 봤다.
검증이 필요한 설정들: 상시 Consolidation, 만기 종료 시간, 기존 노드를 패치하는 Drift 설정은 운영 환경에 적용하기 전 충분한 검증이 필요하다고 정리한다.
검증 환경: Schedule 기능을 쓰기 위해 Karpenter v0.34.0과 Kubernetes 1.30으로 구성하고, 공식 getting-started의 CloudFormation과 Helm 설치 절차를 그대로 따랐다.
실험 결과: inflate 파드로 노드를 늘린 뒤 스케줄된 시간부터 컨트롤러를 제외한 노드가 3분 동안 순차적으로 20%씩 감소하는 것을 15대에서 0까지 확인했다. 21시부터 21시 50분까지는 Disruption이 일어나지 않는 것도 함께 검증했다.
실서비스 적용: 검증을 토대로 본 서비스에 적용하면서 동료 검토와 지원을 받아 여러 메트릭과 로그로 정상 동작을 확인했다.
첫 도입 단계에서 Consolidation 적용 시간을 명확히 고정한 이유는 트래픽이 몰리는 시간대를 피하면서, 장애가 나더라도 이 기능 도입 때문일 가능성을 통제하기 위해서였다.
최종 성과: 개선 초기 60%에 육박하던 파편화율을 12%대로 줄였고 이 중 30%포인트가 Karpenter Consolidation 적용에 따른 개선이었다. 노드 타입이 같다는 가정에서 파편화율과 비용이 비례하므로 비용도 그만큼 줄었다.
결론: 서비스 안정성과 비용 효율은 종종 상충하는 목표로 여겨지지만 충분한 분석을 통해 개선할 수 있는 부분이 있고, Consolidation이 그 균형을 맞추는 수단이 될 수 있다고 정리한다.