pile·
백엔드·twilio-engTwilio Engineering·

How to Make Your AI Voice Sound More Human and Less Robotic with C#

Twilio Conversation Relay와 ASP.NET Core(.NET 8)을 결합해 자연스러운 음성 AI 에이전트를 구현하는 C# 튜토리얼이다. OpenAI GPT-4o의 토큰 단위 스트리밍, ElevenLabs TTS, Deepgram STT를 WebSocket으로 연결하는 아키텍처를 완전한 코드와 함께 제시한다. 실시간 발화 중단 감지(interrupt event)와 CancellationTokenSource를 통한 스트림 즉시 취소, SSML break 태그를 활용한 자연스러운 발화 리듬 구현 등 프로덕션급 음성 AI에 필요한 핵심 패턴을 다룬다.

핵심 포인트
  • ASP.NET Core Minimal API로 TwiML 엔드포인트 구현, ElevenLabs TTS + Deepgram Nova-3 STT + 파라미터 튜닝 설정 포함
  • Twilio WebSocket에서 `prompt` / `interrupt` 이벤트를 구분해 발화 중단 시 즉각 응답 전환
  • CancellationTokenSource로 OpenAI 스트리밍 작업을 취소하고 Twilio에 `clear` 신호 전송
  • GPT-4o 응답을 토큰 단위로 WebSocket에 스트리밍해 500ms 이내 첫 번째 오디오 재생 달성
  • SSML break 태그와 자연어 필러 시스템 프롬프트 기법으로 로봇 음성 특유의 부자연스러움 제거
상세 정리
  • Twilio ConversationRelay는 TwiML 한 줄로 STT/LLM/TTS 파이프라인을 WebSocket 기반으로 연결
  • `ttsProvider="ElevenLabs"` 속성만으로 기본 TTS 대비 자연스러운 음성 운율(cadence) 확보
  • `ignoreBackchannel="true"`: 사용자의 청취 확인음을 새 프롬프트로 처리하지 않도록 차단
  • `eotThreshold="0.8"`: 화자 전환 감지 신뢰도 임계값 — 발화 종료 판정의 민감도 조절
  • WebSocket 루프는 `prompt` 이벤트마다 이전 OpenAI 스트리밍 작업을 취소하고 새 작업을 백그라운드에서 실행
  • `interrupt` 이벤트 수신 시: CancellationToken 취소 → Twilio에 `{"type": "clear"}` 전송으로 오디오 버퍼 즉시 비움
  • OpenAI 응답의 `...` 토큰을 SSML 200ms break으로 변환해 자연스러운 호흡 포즈 삽입
  • 시스템 프롬프트 설계: 2문장 이내 응답, 숫자 텍스트 표기, 이모지/마크다운/목록 형식 금지
  • `last=true` 토큰으로 스트리밍 턴 종료 신호를 Twilio에 전달
  • GitHub 템플릿 리포지터리(ai-phone-agent-conversation-relay-csharp) 공개
왜 읽나Twilio Conversation Relay 기반 음성 AI 에이전트에서 500ms 이내 응답, 실시간 발화 중단 처리, 자연스러운 음성 리듬을 C# 코드로 완전하게 구현하는 방법을 처음부터 끝까지 보여주는 실전 튜토리얼이다.
twilio-eng
Twilio Engineering 블로그
원문은 여기서 이어서 읽을 수 있어요
원문 읽기
읽음 (0)

이 글과 비슷한

  1. 백엔드·twilio-engTwilio Engineering·

    Programmable Messaging에서 Verify API로 마이그레이션하기

    Twilio의 Programmable Messaging API로 자체 OTP 솔루션을 운영하던 서비스가 Verify API로 전환하는 방법을 코드 예시와 함께 설명한다. Verify는 OTP 전송·검증을 위한 전용 API로, 전화번호 구매, 토큰 생성, DB 저장·만료 관리를 내부에서 처리해 개발자가 직접 구현할 코드를 크게 줄인다.

    요약 이어보기
    #authentication#twilio#sms+2
  2. 백엔드·포스타입포스타입·

    포스타입이 개인화 추천을 하는 방법 2부

    포스타입 백엔드 엔지니어가 벡터 기반 개인화 추천 시스템을 실제 운영하며 맞닥뜨린 성능 장애와 용량 문제를 해결한 과정을 담은 2부다. 수백만 개의 벡터 KNN 검색이 피크 시간대에 전체 Elasticsearch 검색 성능을 흔드는 문제부터 클러스터 OOM 사태까지, 쿼리 최적화와 인프라 분리 두 가지 경로로 근본 해결에 이른다.

    요약 이어보기
    #elasticsearch#vector-search#recommendation-system+2
  3. 백엔드·포스타입포스타입·

    포스타입이 개인화 추천을 하는 방법 1부

    포스타입이 태그 기반 추천의 한계를 극복하고 벡터 임베딩 기반 개인화 추천 시스템을 구축한 과정을 담은 1부다. 유사한 콘텐츠가 다른 용어를 쓰거나 동일한 태그가 전혀 다른 톤의 콘텐츠를 가리키는 문제를 임베딩 벡터로 해결하고, OpenSearch의 HNSW ANN 검색으로 수백만 벡터를 실시간 검색하는 시스템을 구축해 구매율 15% 향상을 달성했다.

    요약 이어보기
    #opensearch#vector-search#recommendation-system+2