LinkedIn Engineering

LinkedIn InMail 의 메일박스 2억 개를 Oracle 에서 Espresso 로 무중단 이관하면서 검색 속도와 대량 쓰기 부하를 동시에 해결해야 했다.

LinkedIn은 15개 이상의 독립 데이터 파이프라인을 운영하며 오류 모드, 품질 관리, 확장성이 제각각이어서 운영 복잡도가 폭증했다.

YARN ResourceManager는 현재 시점만 표시해 과거 클러스터 자원 활용 추이 분석이 불가능했고, Job History Server는 MapReduce 작업만 지원했다.

포워드 인덱스 기반 Faceted Search는 early termination 시 낮은 카디널리티의 정확한 개수를 보장하지 못했고, 높은 카디널리티 샘플링 추정과 정확한 개수를 동시에 달성하기 어려웠다.