엣지 배포를 위한 오프라인 퍼스트 생성형 AI 아키텍처 구축

클라우드 연결이 불안정하거나 불가능한 산업 현장에 생성형 AI를 배포하는 오프라인 퍼스트 아키텍처를 다룬다. AWS 서비스를 활용해 클라우드에서 모델을 파인튜닝하고 IoT Greengrass로 엣지 기기에 배포하며, 현장에서는 Ollama와 ChromaDB로 RAG 추론을 자급자족한다. 파인튜닝된 모델이 베이스 모델 대비 도메인 특화 평가에서 12~17%p 성능 향상을 기록했다.

핵심 포인트

클라우드 연결 없이 작동하는 완전 자급자족 엣지 AI 스택: Ollama(추론), ChromaDB(로컬 RAG), Strands Agents(쿼리 오케스트레이션), Flask(오퍼레이터 포털).
모델 커스터마이징 전략 4단계: 파인튜닝(FT) → 지속 사전학습(CPT) → 하이브리드(FT+RAG) → 최적화 하이브리드(CPT+RAG+FT). 도메인 특화도와 복잡도 순으로 선택.
g4dn.12xlarge(NVIDIA T4 GPU x4)에서 모델 복제(동시 4요청, GPU 81% 사용)와 텐서 병렬(128K 컨텍스트) 두 가지 배포 전략 비교.
LLM 판사 3종(Claude 4.5 Haiku/Sonnet, Nova Pro)으로 평가 시 파인튜닝+RAG가 베이스+RAG 대비 일관되게 12~17%p 우위.
AWS IoT Greengrass가 클라우드→엣지 모델 패키징·배포 오케스트레이션을 담당, 연결 없이도 배포 가능.

상세 정리

문제 배경: Siemens 2024년 연구에 따르면 Fortune 500 기업이 비계획 다운타임으로 연 1.4조 달러 손실. AI가 도움이 될 수 있지만 오프쇼어 플랫폼, 원격 드릴 사이트, 농업 시설은 클라우드 연결이 불안정함.
클라우드측 파이프라인(Step 1-3): Amazon S3에 기술 매뉴얼/SOP 저장 → Amazon Nova Pro(Bedrock)로 Q&A 라벨 데이터 자동 생성 → SageMaker AI Pipelines로 gpt-oss-20b 파인튜닝 자동화.
엣지 배포(Step 4): AWS IoT Greengrass가 파인튜닝된 모델을 패키징해 엣지 기기로 배포. 지속적 연결 없이도 동작.
엣지측 추론(Step 5-9): Ollama로 파인튜닝 모델 실행 → Strands Agents가 쿼리 워크플로우 오케스트레이션 → Flask 기반 오퍼레이터 포털 → ChromaDB 로컬 RAG 파이프라인 → 연결 복구 시 피드백 데이터 클라우드 동기화.
GPU 배포 전략 1 — 모델 복제: 4개 T4 GPU에 각각 모델 로드. 동시 4요청 대기 없이 처리, GPU 메모리 81% 사용.
GPU 배포 전략 2 — 텐서 병렬: 모델을 4개 GPU에 샤딩. 128K 컨텍스트 윈도우와 풀 KV 캐시 지원.
평가 방법: 도메인 특화 Q&A 30쌍 + LLM 판사 3종(Claude 4.5 Haiku, Claude 4.5 Sonnet, Nova Pro). 12점 만점 척도.
평가 결과: Claude 4.5 Haiku 기준 파인튜닝+RAG 85% vs 베이스+RAG 68.3%. Claude Sonnet 76.7% vs 61.7%. Nova Pro 82.5% vs 72.5% — 세 판사 모두 파인튜닝 우위 일관.
보안 프레임워크: SAML/OIDC 또는 상호 TLS 인증, LUKS/BitLocker 전체 디스크 암호화, TLS 1.2+ 전송 암호화, 프롬프트 인젝션 방지 가드레일, 추론/포털/클라우드 동기화 네트워크 분리.
적용 범위: 제조 현장 외에도 오프쇼어 에너지, 원격 농업, 교통, 국방 등 간헐적 연결·엄격한 레이턴시·데이터 지역화 요건이 있는 모든 환경.