Twilio Engineering·Twilio Conversation Relay와 Python(FastAPI)을 사용해 실시간 AI 음성 에이전트를 구축하는 튜토리얼이다. WebSocket으로 발신자 음성을 STT(Deepgram Flux)로 전사하고 OpenAI로 응답을 생성한 뒤 TTS(ElevenLabs)로 재생하는 전체 파이프라인을 구현한다. 가상 항공사를 예제로 비행 상태 조회 등 OpenAI function calling까지 다룬다.
AWS Korea Tech·Amazon Connect Customer AI Agent를 1시간 내에 구축할 수 있게 해주는 오픈소스 샘플 앱 AICC Builder를 다룬다. 요구사항 인터뷰를 통해 Lambda 함수, OpenAPI 명세, AI 프롬프트, Contact Flow JSON, CDK 인프라 코드, FAQ/지식베이스 총 6가지 배포 에셋을 자동 생성한다. 코드 한 줄 없이 전화받는 PoC까지 완성하는 것이 핵심 목표다.
Twilio Engineering·Twilio Conversation Relay를 PHP로 구현할 때 배경 소음이 STT(음성→텍스트) 정확도를 저하시키는 문제를 다룬다. 음성 AI는 STT → LLM → TTS 순차 파이프라인이라 전사 오류가 전체 응답 품질을 망친다. Nova-3 모델 설정 튜닝과 Flux 모델 전환 두 가지 해결책을 실측 테스트 결과와 함께 제시한다.
Twilio Engineering·Twilio Conversation Relay와 OpenAI, PHP로 고객 상담 AI 음성 에이전트를 구축하면서 로봇 느낌을 줄이고 인간적인 음성을 구현하는 기법을 다룬다. 토큰별 스트리밍으로 500ms 미만 응답을 달성하고, ElevenLabs TTS, SSML 호흡 브레이크, 인터럽트 처리로 자연스러운 대화 흐름을 만든다.