Node.js에서 Conversation Relay 사용 시 배경 소음 처리 방법

Twilio Conversation Relay를 Node.js로 구현할 때 배경 소음이 STT 정확도를 저하시키는 문제를 다룬다. 기본 Nova-3 모델은 최악 소음 조건에서 전사 실패 2회가 발생했으나, 두 가지 설정 변경으로 0회로 낮추거나 Deepgram Flux 모델로 전환해 소음 내성을 확보한다.

핵심 포인트

음성 AI 파이프라인에서 소음 영향은 첫 단계(STT 전사)에 집중 — 전사 오류가 LLM → TTS로 그대로 전파됨.
테스트 4조건(조용한 환경/진공청소기/드릴/동시 소음) 중 기본 Nova-3는 최악 조건에서 전사 실패 2회.
Nova-3 설정 조정 2가지로 전사 실패 0회: interruptSensitivity를 low로(소음 피크 인터럽트 방지), ignoreBackchannel을 true로(추임새 오반응 방지).
Flux 모델은 기본 설정으로도 모든 조건 통과 — 발화 종료 감지와 전사 통합, Nova-3 대비 불필요 중단 30% 감소, 지연 200~600ms 단축.
오디오 전처리(ElevenLabs Audio Isolation, FFmpeg) 서버측 적용 불가 — Twilio가 수신 오디오를 직접 Deepgram으로 라우팅.

상세 정리

소음과 음성 AI 파이프라인: STT → LLM → TTS 순차 처리에서 첫 단계 정확도가 전체를 결정. 전사 오류는 LLM에 그대로 전달되며 AI는 재확인 요청을 할 수 없음.
테스트 설계: 스피커폰 팔 길이 거리에서 4가지 소음 조건 비교. 기본 Nova-3, 튜닝된 Nova-3, Deepgram Flux 세 설정 평가.
테스트 결과: 기본 Nova-3는 동시 소음(진공청소기 + 드릴) 조건에서 전사 실패 2회. 튜닝 Nova-3와 Flux는 모두 실패 0회.
Nova-3 튜닝 1 — interruptSensitivity: low로 설정 시 소음 피크가 에이전트 발화 중간에 인터럽트로 처리되는 것을 차단.
Nova-3 튜닝 2 — ignoreBackchannel: true로 설정 시 "mm", "yeah" 같은 짧은 추임새가 불필요한 AI 응답을 트리거하지 않음.
Flux 특성: 전사와 발화 종료 감지(turn detection)를 통합 처리, 기본 설정에서 모든 소음 조건 통과. eotThreshold를 0.75로 낮추면 초고소음 환경에서 발화 종료 감지 민감도 보정 가능.
오디오 전처리 제약: Twilio 아키텍처에서 서버가 원본 오디오를 받지 못함 — FFmpeg adrc, ElevenLabs Audio Isolation 같은 클라이언트측 전처리는 적용 불가. 별도 Media Streams 아키텍처로 교체해야만 가능.
실무 권장: 신규 구현 시 Flux로 시작. 기존 Nova-3 운영 중이라면 위 두 설정 변경으로 충분한 소음 내성 달성 가능.

왜 읽나Twilio Conversation Relay Node.js 기반 음성 AI를 실환경에 배포하려는 개발자에게 소음 내성 확보를 위한 실측 기반 STT 설정 가이드.

Twilio Engineering 블로그

원문은 여기서 이어서 읽을 수 있어요

원문 읽기

읽음 (0)

·takedown 요청

Node.js에서 Conversation Relay 사용 시 배경 소음 처리 방법

이 글과 비슷한

1시간 대화로 만드는 Amazon Connect Customer AI Agent [AICC Builder 시리즈 #1]

PHP에서 Conversation Relay 사용 시 배경 소음 처리 방법

PHP로 AI 음성을 더 인간적으로 만드는 방법