“kafka” 검색 결과

여기어때 데이터 분석팀(UB팀)이 개발 경험 없이 AI 에이전트 바이브 코딩으로 마케팅 자동화 시스템 '오디언스 빌더'를 구축한 과정이다. SQL 없이 UI에서 타겟 조건을 설정하면 BigQuery에서 수천만 행 대상자를 추출해 Kafka·S3를 통해 마케팅 도구로 전달하는 파이프라인을 직접 만들어, 캠페인 준비 시간을 2~3일에서 10분으로 단축했다.

AWS의 AI-Driven Development Lifecycle(AI-DLC)를 LG CNS가 엔터프라이즈 System Maintenance 환경에 맞게 커스터마이징한 실전 사례를 다룬다. AWS 원본 방법론을 수정하지 않고 3계층 Override 구조로 회사별 규칙을 분리하는 방식으로, AI Hallucination·멀티 Repository 영향도 누락·불필요한 반복 질문 세 가지 핵심 문제를 해결했다.

KT 클라우드는 수십 개의 클라우드 서비스에서 발생하는 로그·메트릭·이벤트·사용량 데이터가 각기 다른 형식과 시스템에 분산되어 의사결정에 활용하기 어렵다는 문제를 해결하기 위해 통합 운영 데이터 플랫폼 Deck를 구축했다. Object Storage를 단일 진실 공급원(SSOT)으로 삼는 레이크하우스 아키텍처를 채택했으며, 오픈소스 스택만으로 구성해 벤더 종속을 원천 차단했다.

여기어때 정산개발팀 백엔드 개발자가 Kafka 컨슈머의 실패 처리를 non-blocking 재시도와 공통 DLT(Dead Letter Topic)로 표준화한 공통 라이브러리 구현 과정을 공유한다. 정산 시스템의 각 Kafka 컨슈머가 제각각 다른 방식으로 실패를 처리하던 상황을 @CommonKafkaRetry 어노테이션 하나로 일관되게 표준화하고, 그 과정에서 Spring Kafka의 3가지 숨겨진 함정을 발굴해 해결한 실전 기록이다.

kt cloud 가 VPC Flow Log 서비스를 만들며 OpenStack 기본 Packet Logging Framework 대신 OVN 의 ACL Flow Sampling(IPFIX)을 택한 과정이다. 기존 방식은 텍스트 로그를 로컬 디스크에 쓰느라 I/O 가 병목이었는데, IPFIX 로 바꿔 네트워크 전송으로 돌리면서 초당 수만 Flow Record 를 감당한다.

토스가 각 팀이 각자 운영하던 작은 디바이스 팜을 하나의 중앙 플랫폼 '네뷸라(Nebula)'로 통합한 과정을 다룬다. Appium 대신 자체 드라이버를 개발해 클릭 13.5배, 텍스트 입력 10배의 성능을 달성했고, Android와 iOS 미러링도 직접 내재화해 실기기 원격 조작과 화면 실시간 공유를 동시에 가능하게 만들었다. 현재 100대를 넘어 수백 대를 향해 24시간 가동 중이다.

퇴사하거나 부서를 옮긴 사람의 권한이 남는 문제를, 지연을 0으로 만드는 대신 지연을 인정하고 추적 가능하게 만드는 쪽으로 푼 이야기다. HR 시스템이 쥔 관계 데이터와 인가 엔진 사이의 동기화 지연이 원인이며, ReBAC 과 기존 CDC 파이프라인 재활용으로 대응한다.

채널코퍼레이션 DevOps팀이 Grafana Mimir에 Kafka 기반 ingest-storage architecture를 도입하며 겪은 운영 포인트를 정리했다. distributor와 ingester 사이에 durable buffer가 없어 ingester 부하가 곧장 429와 metrics 유실로 번지던 구조를 Kafka로 흡수하려 했고, Mimir 3.0에서 이 구조가 stable·preferred가 된 것도 이유였다. 그런데 Mimir가 Kafka를 쓰는 방식이 일반적인 consumer group 모델과 달라, ingester pod의 ordinal이 곧 Kafka partition number가 되는 1:1 결합에서 예상 못 한 함정이 나왔다.

KT Cloud가 OpenStack ML2/OVN 전환 이후 iptables 기반 미터링이 불가능해진 상황에서 IPFIX 프로토콜과 Goflow2를 활용해 클라우드 트래픽 과금 미터링 파이프라인을 재구축한 사례다. 단순 도입을 넘어 Goflow2 소스 코드를 직접 수정해 OVSDB 연동 인메모리 캐시를 구현하고, CPU 사용률을 115%에서 4% 미만으로 낮췄다. 오픈소스 네트워크 미터링 도구를 프로덕션 과금 시스템에 적용하는 전 과정을 상세히 다룬다.

당근 커뮤니티실이 2021년 약 100 RPS에서 현재 약 20,000 RPS를 처리하는 규모로 성장한 과정과, 이를 가능하게 한 "여러 웹앱 + 하나의 서버앱" 모듈형 모놀리스 아키텍처를 다룬다. 동네생활, 모임, 카페, 아파트 서비스를 소규모 팀이 장기 운영 가능한 구조로 설계한 원칙과, 장애 경험에서 도출한 resilience 패턴까지 단계별로 정리했다.

여기어때가 피크 타임에 Redis CPU 100% + P95 응답시간 4초 이상을 기록하던 전시(숙소 목록 조회) 서비스 병목을 해결한 3부작 1편이다. MongoDB 컬렉션 파편화, 순차 처리, Redis 단일 의존이라는 세 가지 병목을 동시에 공략하여 Redis CPU를 90% 줄이고 TPS를 3배 높였다. CDC+Kafka 기반 메타 캐시와 3단계 방어선(Redis→로컬 캐시→MongoDB)으로 고가용성까지 확보했다.

LY Corporation이 LINE 메신저의 Kafka 클라이언트 간 종단 간 암호화(E2EE)를 설계·구현·배포한 과정을 다룬다. 초당 최대 100만 건의 트래픽을 처리하는 프로덕션 토픽에 무중단으로 적용했으며, CPU 오버헤드 1% 미만이라는 성과를 냈다.

올리브영 인벤토리 스쿼드가 전국 1,400개 매장·1,200만 건 기초재고 생성 리드타임 증가, 동기식 파이프라인 병목, API 과부하 등 세 가지 구조적 한계를 Spring Batch Partitioning·Kafka Fan-Out·Push/Pull 분리로 해결한 아키텍처 전환 사례다.

Pinterest의 CDC 기반 DB 수집 파이프라인은 MySQL에서 Kafka, Flink, Spark, Iceberg를 거치는 다층 구조다. 스키마 변경이 생기면 모든 계층을 동시에 업데이트해야 해 드리프트, 배포 실패, 데이터 불일치가 반복됐다. Pinterest 엔지니어링 팀은 이를 해결하기 위해 가산적 변경만 자동화하는 스키마 진화 프레임워크를 구축하고, PR 기반 롤아웃과 SLA 기반 일관성 모델을 도입했다.

LY Corporation이 구 LINE의 Verda와 구 Yahoo Japan의 YNW를 통합하며 구축한 차세대 클라우드 플랫폼 Flava의 DBaaS 아키텍처를 상세히 설명한다. Kubernetes 오퍼레이터 패턴으로 DBA 도메인 지식을 코드화했고, 마이그레이션 전략부터 AI 기반 DBA-as-a-Service까지 미래 로드맵을 함께 다룬다.

에잇퍼센트가 레거시 EC2 기반 워크로드를 Kiro CLI와 오픈소스 AI-Driven Modernization Prompt Sets를 활용해 Amazon ECS Fargate로 전환한 사례다. 소규모 백엔드 팀이 기능 개발·장애 대응을 병행하면서도 내부 API는 2영업일, 메인 API는 약 2주 만에 전환을 완료했다. 월 운영 비용 약 76% 절감이라는 실측 성과도 달성했다.

Cloudflare가 Security Insights 스캔 시스템의 처리량을 초당 10건에서 120건 이상으로 12배 끌어올린 과정을 다룬다. 추가 하드웨어 없이 Kafka 소비자, PostgreSQL 쿼리, API 아키텍처 최적화만으로 달성했으며, 스캔 주기를 주 1~2회에서 플랜별 1~7일로 대폭 단축했다.

초당 10억 건 이상의 이벤트가 ClickHouse, Kafka, BigQuery 등 수십 개 분산 시스템에 흩어져 통합 분석이 불가능했다.

AI 에이전트가 Issue 도메인 수정 시 전체 인프라 초기화 없이 도메인 슬라이스만 독립 실행 가능한 standalone-app 모듈 구조를 소개한다. 헥사고날 아키텍처의 Port/Adapter로 프로덕션 Adapter를 테스트용으로 교체해 빠른 피드백 루프를 제공하는 방법을 다룬다.

KBO 라이브 방송 이닝 교체 시 모든 시청자가 동시에 광고를 요청해 SSAI 서버 병목이 발생했다.