pile·
DB / 데이터·엔라이즈엔라이즈·

엔라이즈의 실험 방법론을 소개합니다

문제빠른 실험이 필요한 상황에서 항상 사전분석을 강제하면 실험 속도가 저하되고, p-value 기반 해석은 두 집단 차이를 직관적으로 전달하기 어렵다.
접근사전분석을 유연화하고 A/B 테스트/전후분석을 상황에 맞게 선택했다. 결과 분석은 Zeppelin 대시보드로 10개 이상 지표를 추적하고, Bayesian T-test와 HDI(Highest Density Interval)로 확률 기반 집단 차이를 검증했다.
결과자기사진 배너 실험 인사이트를 푸시 썸네일에 적용해 약 24% 개선 효과를 얻었다. 성공/실패 원인 분석으로 인사이트를 다음 실험에 연결하는 지속적인 실험 사이클을 구축했다.
엔라이즈
엔라이즈 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)
·takedown 요청

이 글과 비슷한

  1. DB / 데이터·pinterest-engPinterest Engineering·

    Pinterest 차세대 DB 수집 프레임워크의 자동화된 스키마 진화

    Pinterest의 CDC 기반 DB 수집 파이프라인은 MySQL에서 Kafka, Flink, Spark, Iceberg를 거치는 다층 구조다. 스키마 변경이 생기면 모든 계층을 동시에 업데이트해야 해 드리프트, 배포 실패, 데이터 불일치가 반복됐다. Pinterest 엔지니어링 팀은 이를 해결하기 위해 가산적 변경만 자동화하는 스키마 진화 프레임워크를 구축하고, PR 기반 롤아웃과 SLA 기반 일관성 모델을 도입했다.

    #data-pipeline#apache-flink#cdc+2