pile·
인프라 / DevOps·쏘카쏘카·

로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용

문제Kinesis Data Stream + Firehose 기반 로그 파이프라인이 S3/GCS 중복 저장, 1~2시간 배치 지연, 스키마 변경 추적 부재로 비효율적이었다.
접근MSK(Managed Streaming for Apache Kafka) + 커스텀 Python Consumer로 전환하고 Protobuf + Buf 기반 Schema Registry로 스키마 관리를 자동화한다. GCS를 SSoT로 두고 BigQuery 외부 테이블로 적재한다.
결과데이터 신선도가 1~2시간에서 약 3분 수준으로 줄었고 수기 스키마 작업이 사라졌다. 단일 장애점이 제거되어 선택적 로그 적재가 가능해졌다.
쏘카
쏘카 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  2. 인프라 / DevOps·vercel-blogVercel Blog·

    Vercel CLI 드라이런 배포로 실제 배포 전 구성 미리 확인하기

    Vercel CLI v54.17.2부터 vercel deploy --dry 명령으로 실제 파일 업로드 없이 배포 구성을 미리 검사할 수 있다. 프레임워크 감지 결과, 포함/제외 파일 목록, 디렉터리 크기 분포, 콘텐츠 해시까지 사전에 확인하고 나서 배포를 결정할 수 있어 의도치 않은 배포 실패를 예방한다.

    #deployment#ci-cd#vercel-cli+1