Data & Analytics in the GPT Era

네이버 DnA 팀이 GPT 등 LLM 시대에 데이터 수집·분석·리포팅 각 단계에서 AI를 활용하는 방법과 그를 위한 데이터 인프라 준비 전략을 정리한 글이다. Microsoft Copilot 연구, AI 기반 어노테이션, 가상 사용자 시뮬레이션 등 실용적 AI 적용 사례를 다룬다.

핵심 포인트

AI 데이터 분석의 전제: 세션이 끝나면 데이터 수집 기회가 닫히므로 AI 분석 이전에 풍부한 세션 로그 인프라를 먼저 구축해야 함
Microsoft Copilot 연구에서 도출한 AI-HI(Human Intelligence) 협업 패턴: 완전 자동화가 아닌 AI 출력을 사람이 검증하는 하이브리드 워크플로우
AI 기반 데이터 레이블링: 도메인 전문가가 저품질 세션 예시를 시드로 제공하면 AI가 유사 케이스를 발견해 어노테이션 확장
A/B 테스트 자동화: AI 에이전트가 가설을 제안하고 실험을 실행하는 방향으로 진화 전망
가상 사용자 시뮬레이션: 합성 사용자 집단을 생성해 실제 실험 없이 가설을 검증하는 자동차 충돌 테스트 방식 적용

상세 정리

세션 기반 풍부한 로깅이 AI 분석의 선제 조건: Rewind.AI, Windows Recall처럼 포괄적 세션 데이터를 캡처해야 AI가 패턴 분석 가능
최소 로깅만 하면 이후 AI 도입 시 분석 가능한 데이터가 없어 뒤늦게 인프라를 재구축해야 하는 기술 부채 발생
Microsoft 대화형 검색 연구에서 사용자 의도와 결과 품질을 AI로 추출, 인간 피드백 루프로 검증하는 패턴 제시
AI 어노테이션은 도메인 전문가의 초기 시드(저품질 세션 예시) → AI 유사 케이스 발견 → 어노테이션 확장 순으로 진행
A/B 테스트 자동화: 현재는 인간이 가설 수립→AI가 보조, 미래는 AI 에이전트가 실험 제안·실행 후 인간 검토
가상 사용자 시뮬레이션으로 실제 사용자 실험 없이 가설 테스트 가능, 자동차 안전 테스트의 충돌 더미와 유사 개념
2024년 기준 AI 비용·품질 한계를 인정하면서도 AI 역량 향상에 대비한 데이터 인프라 준비 전략 권고
리포팅 단계: 템플릿 기반 보고서 → AI가 초안 작성·인간 검토 → Q&A 시스템으로 분석가가 AI 리포팅 모델 훈련