How to Handle Background Noise When Using Conversation Relay

Twilio Conversation Relay 기반 음성 AI 에이전트에서 배경 소음이 STT 정확도에 미치는 영향을 실측 테스트로 검증하고, Deepgram 모델 선택과 TwiML 파라미터 튜닝 방법을 파이썬 코드와 함께 제시하는 실전 튜토리얼이다. 진공청소기(70~75 dB)와 전동 드릴(85~90 dB)을 포함한 4가지 소음 조건에서 Deepgram Nova-2/Nova-3/Flux 모델을 비교 실험했다. 소음 환경에서의 전사 오류가 STT → LLM → TTS 파이프라인 전체에 미치는 연쇄 영향을 분석하며, 복합 소음 최악 조건에서도 오류를 0건으로 줄이는 설정 조합을 도출했다.

핵심 포인트

소음 조건에서 STT 전사 오류는 LLM 입력까지 그대로 전파되어 에이전트 전체 응답 품질을 결정
Deepgram Nova-3 기본 설정은 단일 소음에는 강하지만 복합 소음(진공청소기 + 전동 드릴)에서 2건 오류 발생
`interruptSensitivity="low"` 설정으로 소음 스파이크가 에이전트 응답을 중단시키는 오작동을 방지
`ignoreBackchannel="true"` 설정으로 청취 확인음("uh huh", "yeah")이 새 프롬프트로 처리되는 것을 차단
Deepgram Flux 모델은 기본 설정만으로 복합 소음 포함 전체 조건 통과 + 응답 지연 200~600ms 단축

상세 정리

Twilio Conversation Relay 파이프라인: 발화자 → Deepgram(STT) → LLM → ElevenLabs(TTS); 서버는 텍스트 전사 결과만 수신
STT 레이어가 유일한 소음 대응 포인트 — 이후 단계에는 원본 오디오 접근 불가
Nova-2는 조용한 환경 기본 테스트에서도 Nova-3보다 성능 저조해 추가 실험에서 제외
테스트 스크립트: 정책 질문, 항공편 번호 조회, 숫자 전사, 저정보 입력, 불완전 문장, 의도적 끊기 등 6종 시나리오
`interruptSensitivity`와 `ignoreBackchannel`은 다른 동작 제어: 전자는 에이전트 발화 중단 임계값, 후자는 청취 확인음의 프롬프트 처리 여부
Nova-3 + 두 파라미터 튜닝 조합으로 복합 소음 환경에서도 전사 오류 0건 달성
Flux는 STT와 화자 전환 감지를 단일 모델로 통합해 경쟁 조건(race condition) 제거
Flux의 `eotThreshold` 기본값 0.8; 극도로 시끄러운 환경에서 0.75로 낮추면 EOT 신뢰도 임계값 완화 가능(0.7 이하 비권장)
`noisereduce` 등 오디오 전처리 라이브러리는 Conversation Relay와 비호환 — 서버가 원시 오디오를 수신하지 않기 때문
전처리가 필요하다면 Conversation Relay를 포기하고 커스텀 Media Streams 아키텍처를 직접 구축해야 함

왜 읽나소음 환경에서 음성 AI 에이전트의 STT 정확도 문제를 실측 데이터와 파이썬 코드로 체계적으로 해결하는 방법을 보여주는, Twilio Conversation Relay 기반 프로덕션 배포에 직접 적용 가능한 레퍼런스다.

Twilio Engineering 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

How to Handle Background Noise When Using Conversation Relay

이 글과 비슷한

에이전틱 SDLC를 QA 엔지니어링 마인드셋으로 구축하기

보안 업무를 위한 AI 에이전트 플랫폼 「SAGE」 개발기 1편: 판단은 사람에게 남기는 설계

실리콘투의 사내 지식 MCP 게이트웨이 구축기