AI 네이티브 시대의 프라이버시 인식 인프라: 데이터 자산 분류 사례 연구

Meta가 AI 네이티브 환경에서 데이터 자산 분류를 위해 LLM과 결정론적 규칙을 결합한 하이브리드 아키텍처를 구현한 사례다. 같은 필드명이 컨텍스트에 따라 다른 의미를 갖는 문제(예: 'age'가 사용자 데이터 vs. 캐시 TTL)를 처리하면서, 생산 요청의 85%를 단일 자리 밀리초 내에 결정론적 규칙으로 해결하고 나머지 15%만 LLM에 위임한다.

핵심 포인트

결정론적 경로가 약 85%의 요청을 처리하고, 나머지 15%의 모호하거나 신규 자산은 LLM이 처리하며 비용은 결정론적 규칙 대비 약 400배다.
프롬프트 최적화보다 컨텍스트 품질이 더 큰 정확도 향상을 가져온다 — 코드 해석, 계보 분석, 소유자 메타데이터, 시맨틱 주석을 포함한 Evidence Brief를 먼저 조립한다.
LLM이 처리한 패턴이 안정화되면 버전화된 결정론적 규칙으로 증류(distillation)해 LLM의 생산 footprint를 점진적으로 줄인다.
평가 루프는 최적화 루프와 분리 — 모델이 자신의 출력을 검증하는 자기 강화 루프를 방지하기 위해 동결된 레퍼런스 세트와 사람이 검토한 라벨을 사용한다.
3가지 추론 전략(직접 분류, 비판 후 분류, 메타데이터 전용)을 사용하는 멀티 패널 판사와 Cohen's kappa로 평가자 간 신뢰도를 측정한다.

상세 정리

핵심 문제: 동일한 필드명이 컨텍스트에 따라 의미가 달라진다. 'age'는 사용자 테이블에서는 개인정보이고 시스템 파이프라인에서는 캐시 TTL이다. AI 네이티브 시스템은 파생 피처, 임베딩, 빠른 이터레이션으로 이 복잡도를 증폭한다.
7단계 구현 패턴: (1)명확한 서비스 계약 확립 (2)Evidence Brief를 통한 컨텍스트 조립 (3)결정론적 우선 결정 퍼널 (4)정책 가이드 콜드 스타트 (5)학습 루프와 레퍼런스 루프 분리 (6)규칙 증류 및 프로모션 (7)타깃 자동화.
Evidence Brief: 원시 필드 대신 지원 신호, 반박 신호, 출처 체인을 포함한 구조화된 브리프를 조립. 기존 프라이버시 레이블은 순환 추론 방지를 위해 의도적으로 마스킹한다.
결정론적 경로: 단일 자리 ms(컨텍스트 조립 포함 약 40ms)로 85% 처리. LLM 폴백은 수 초 소요, 비용 400배.
콜드 스타트 전략: 무작위 샘플링 대신 희귀 민감 카테고리, 경계선 정책 케이스, 부정 예제, 신호 불일치 케이스를 초기 학습에 시드해 사람 검토가 필요한 곳에 집중.
규칙 증류 조건: 필드 기반 패턴(최소 순도 80%), 복합 규칙(순도 95%, 예제 10개 이상). 프로모션은 홀드아웃 검증 + 섀도우 모드 테스트 + 민감 데이터 보호에 영향을 주는 규칙에 대한 사람 검토 필요.
불변성(Invariant): 마스킹된 필드는 규칙 증류에서도 차단 — 마스킹된 신호가 학습된 규칙을 통해 다시 결정에 들어오는 것을 방지.
튜닝 컨트롤러: Observing→Maintaining→Conserving→Pausing→Diagnosing 상태 머신. Diagnosing 상태에서 사람 에스컬레이션 트리거.
자동화 범위: 컨텍스트 수집, Evidence Brief 생성, 후보 분류, 평가, 실패 분석, 규칙 제안. 사람 판단: 모호한 정책 해석, 레퍼런스 라벨 조정, 고위험 불일치, 보호 변경 규칙 프로모션.

왜 읽나LLM과 결정론적 시스템을 결합한 하이브리드 분류 파이프라인을 설계하거나, ML 환경에서 데이터 거버넌스와 프라이버시 강제를 구현하는 데이터/ML 엔지니어에게 상세 아키텍처 레퍼런스.

Meta Engineering 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

AI 네이티브 시대의 프라이버시 인식 인프라: 데이터 자산 분류 사례 연구

이 글과 비슷한

1시간 대화로 만드는 Amazon Connect Customer AI Agent [AICC Builder 시리즈 #1]

PHP에서 Conversation Relay 사용 시 배경 소음 처리 방법

PHP로 AI 음성을 더 인간적으로 만드는 방법