pile·
AI / ML·meta-engMeta Engineering·

Meta 광고 딥 퍼널 최적화를 위한 계층적 관심사 표현 탐구

Meta는 광고 딥 퍼널 최적화를 위해 사용자-광고 간 수십억 건의 상호작용을 처리하는 계층적 관심사 표현 시스템을 공개했다. 타입·가중치·시간 감쇠가 적용된 이종 그래프 위에 FlexAttention 기반 트랜스포머 인코더를 올려 효율적인 임베딩을 생성하고, Bag-of-Meaning(BoM) 토큰으로 변환해 GEM·Andromeda 같은 Meta 내 다운스트림 시스템과 통합한다. 대규모 추천 시스템에서 그래프 신경망, 자기 지도 학습, 이산 토크나이제이션을 결합하는 구체적인 아키텍처 패턴을 다룬다.

핵심 포인트
  • 관심사 그래프는 사용자·광고·광고주·캠페인·상품·픽셀을 노드로 하는 타입·가중치·시간 감쇠 구조로, 각 엣지에 행동 유형과 타임스탬프를 부여해 최근 의도와 장기 관심사의 균형을 맞춘다
  • 인코더는 FlexAttention을 활용해 그래프 구조 신호를 어텐션 바이어스로 주입하되, 쌍별 행렬을 메모리에 올리지 않고 온-더-플라이 계산으로 처리해 메모리 효율을 확보한다
  • 자기 지도 학습은 교사-학생 교차 뷰 증류(cross-view distillation)와 Sinkhorn-Knopp 균형 할당을 결합해 단일 클러스터 붕괴 없이 안정적으로 수렴한다
  • 사용자와 광고는 연속 임베딩을 복합 양자화(composite quantization)로 변환한 Bag-of-Meaning(BoM) 토큰으로 표현해 검색·랭킹·개인화에 동일한 이산 표현을 재사용한다
  • 시계열 무결성을 위해 엣지를 시간 순서로 학습·검증·테스트 윈도우로 분리하고, 셔플은 고정된 시간 청크 내에서만 허용한다
상세 정리
  • 그래프 노드는 노드 타입, deep-hash 기반 노드 ID, 세계 지식 피처, 타입별 메타데이터를 융합한 초기 임베딩을 사용한다
  • 포지션 인코딩은 랜덤 워크와 중요도 우선 전략을 결합해 그래프 구조 내 위치를 표현한다
  • 어텐션 바이어스는 그래프 구조 신호를 어텐션 가중치에 직접 합산하는 방식으로 주입해 모델이 위상 정보를 학습한다
  • FlexAttention은 각 바이어스 항을 온-더-플라이로 계산해 쌍별 어텐션 행렬을 메모리에 완전히 올리지 않고 대규모 노드를 처리한다
  • 교사 모델은 학생보다 더 넓은 그래프 뷰를 보고 더 확신 있는 예측을 제공해 학생이 더 명확한 학습 신호를 받는다
  • Sinkhorn-Knopp 균형 할당은 모든 표현이 단일 클러스터로 수렴하는 붕괴 현상을 방지한다
  • 감독 목표는 주어진 노드 표현·행동 유형·타임스탬프에서 실제 상호작용 엣지 존재 여부를 예측한다
  • BoM 토큰은 이산화된 관심사 개념의 비순서 집합으로, 사용자와 광고 모두 동일한 어휘 공간에 표현된다
  • 이 표현 레이어는 GEM(Generative Ads Model), Andromeda 검색 엔진, Adaptive Ranking Model과 통합해 안정적인 관심사 앵커 위에서 계층적 추론을 수행한다
  • 멀티모달 콘텐츠 처리를 통한 LLM 기반 지식 강화로 노드 피처의 의미적 품질을 높인다
왜 읽나대규모 추천·광고 시스템에서 이종 그래프, FlexAttention, 이산 토크나이제이션을 통합하는 Meta의 실전 아키텍처를 통해 딥 퍼널 최적화의 표현 학습 설계 패턴을 파악할 수 있다.
meta-eng
Meta Engineering 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. AI / ML·AWS KoreaAWS Korea Tech·

    1시간 대화로 만드는 Amazon Connect Customer AI Agent [AICC Builder 시리즈 #1]

    Amazon Connect Customer AI Agent를 1시간 내에 구축할 수 있게 해주는 오픈소스 샘플 앱 AICC Builder를 다룬다. 요구사항 인터뷰를 통해 Lambda 함수, OpenAPI 명세, AI 프롬프트, Contact Flow JSON, CDK 인프라 코드, FAQ/지식베이스 총 6가지 배포 에셋을 자동 생성한다. 코드 한 줄 없이 전화받는 PoC까지 완성하는 것이 핵심 목표다.

    #mcp#voice-ai#bedrock+2
  2. AI / ML·twilio-engTwilio Engineering·

    PHP에서 Conversation Relay 사용 시 배경 소음 처리 방법

    Twilio Conversation Relay를 PHP로 구현할 때 배경 소음이 STT(음성→텍스트) 정확도를 저하시키는 문제를 다룬다. 음성 AI는 STT → LLM → TTS 순차 파이프라인이라 전사 오류가 전체 응답 품질을 망친다. Nova-3 모델 설정 튜닝과 Flux 모델 전환 두 가지 해결책을 실측 테스트 결과와 함께 제시한다.

    #voice-ai#stt#deepgram+2