Pelago의 서버리스 AI 어시스턴트 구축: 2주 만에 개념에서 운영까지

미국 디지털 헬스 기업 Pelago가 약물 의존 치료 코치의 AI 어시스턴트를 AWS 서버리스로 2주 만에 배포한 과정을 다룬다. 수십 개의 동시 대화에서 코치에게 AI 제안을 즉시 제공하면서 HIPAA 컴플라이언스를 유지하는 이벤트 기반 비동기 설계를 적용했다.

핵심 포인트

핵심 문제: 긴 대화 이력을 LLM으로 처리하면 지연이 발생 → 코치가 대화창 열기 전 비동기로 미리 생성해 100ms 이내 즉시 제공.
SNS 팬아웃으로 메시지 수신 시 메타데이터 저장, 분석, 푸시 알림, AI 어시스턴트 4개 Lambda를 병렬 실행 — 기존 코드 수정 없이 AI 기능 추가.
성능: AI 제안 생성 4초 이내, 코치 조회 100ms 이내, 응답 준비 속도 40% 향상, 제안 도움이 됨 79.6%, 8배 트래픽 스파이크 무설정 처리.
보안: VPC 엔드포인트로 Amazon Bedrock 호출이 프라이빗 네트워크 안에서만 이루어짐. HIPAA 적격 요건 충족.
폴리글랏 구현: AI/Bedrock 연동은 Python, 조회 함수는 기존 백엔드와 일관성 유지를 위해 TypeScript.

상세 정리

문제 구조: 코치가 동시에 수십 개 대화를 관리하는 환경에서 AI 제안을 실시간 생성하면 LLM 처리 지연이 UX를 망침. 사전 생성 + 저장 + 즉시 조회 패턴으로 해결.
이벤트 흐름: 멤버 메시지 → AWS AppSync → Lambda → DynamoDB 저장 + SNS 발행 → SNS가 4개 Lambda 구독자에 팬아웃(메타데이터, 분석, 푸시 알림, AI 어시스턴트).
AI 어시스턴트 Lambda: 전체 대화 이력 비동기 조회 → Amazon Bedrock(Claude 모델) 호출 → 제안 MySQL/RDS 저장.
코치 조회 경로: 대화창 열기 → 미리 생성된 제안 MySQL 조회 → 100ms 이내 반환.
스토리지 이중화: DynamoDB는 초당 100건 이상의 메시지 쓰기(고처리량 최적화), MySQL은 AI 제안의 구조화 쿼리와 관계 관리.
AI 프롬프트 설계: 공감, 맥락 연속성, 대화체 간결함 강조. 의료적 조언 대신 치료적 코칭 맥락에 맞게 튜닝.
HIPAA 컴플라이언스: Bedrock 호출이 VPC 엔드포인트를 통해 퍼블릭 인터넷 미노출. TLS 1.2+ 암호화, 최소 권한 IAM 정책 적용.
SNS 팬아웃의 확장 이점: 기존 메시지 처리 Lambda 코드 변경 없이 AI 어시스턴트 구독자만 추가 — 기능 독립성 확보.
성능 수치: 생성 4초 이내, 조회 100ms 이내, 응답 준비 40% 향상, 유용성 79.6%, 8배 트래픽 스파이크 자동 처리.