백엔드·
삼쩜삼·
500만 데이터 엑셀 출력을 4GB 메모리에서 하는방법
월 500만 건 데이터를 엑셀로 다운로드할 때 4GB 메모리 서버에서 OOM이 발생했다.
#performance#streaming#async+2
월 500만 건 데이터를 엑셀로 다운로드할 때 4GB 메모리 서버에서 OOM이 발생했다.
종합소득세 신고 기간에 Aurora MySQL이 일 수천만·월 수억 건 스크래핑 데이터와 집중 트래픽을 감당하지 못했다.
사립학교교직원연금 같은 복잡한 한국어 세금 도메인을 영어 변수명으로 표현하면 가독성이 극도로 낮아진다.
월 평균 3.5억 원의 AWS 비용을 Cost Explorer만으로 관리하기에는 서비스·팀별 비용 분포 파악과 커스텀 분석에 한계가 있었다.
Terraform으로 80개 이상 프로젝트를 관리하는 AWS CodePipeline 기반 CI/CD가 모듈 증가와 함께 성능 저하·오류 빈도 증가로 배포 시간이 약 20분에 달함.
AWS CodePipeline 기반 빌드가 소스 푸시 이후 배포까지 8분 이상 소요되며 외부 저장소에서 매번 의존성을 다운로드하는 비용이 높음.