[NHN FORWARD 2021] Non-Autoregressive 구조의 한국어 TTS 개발기

NHN Cloud·nhn-forward-2021 ·2021년·

#transformer#tts#speech-synthesis#deep-learning#fastspeech2#voice-cloning

AI 요약

이전 프레임에 의존하는 Tacotron 계열 대신 전체 시퀀스를 병렬로 생성하는 Non-Autoregressive 한국어 TTS를 개발한 경험이다. FastSpeech2 파이프라인 구성과 한국어 특유의 labeling, 과적합 제어, 그리고 10분 이내 녹음으로 목소리를 복제하는 voice cloning까지 실무 관점에서 다룬다.

핵심 포인트

Non-Autoregressive 모델은 전체 sequence를 한 번에 추론해 빠르고 attention 실패의 반복 전파가 적으며 모델 내에서 speed·pitch 조절이 가능. FastSpeech2의 variance adaptor가 duration·pitch·energy로 one-to-many 문제를 다룬다
대규모 corpus로 acoustic model·vocoder를 pretrain 후 target speaker의 작은 dataset으로 fine-tuning하고, forced aligner의 phoneme duration에 띄어쓰기·문장부호까지 label해야 부자연스러운 늘임과 억양 오류를 막는다
과적합은 layer·attention head·learning rate·dropout 조절과 scheduler 구간별 청취 선별로 제어. voice cloning은 speaker encoder로 800명 화자를 성별·화자 cluster로 구분하고 pretrained 모델에 음색을 넣어 10분 녹음으로 복제

왜 읽나병렬 TTS와 소량 데이터 개인화 음성 합성을 실제 서비스로 만들려는 음성 엔지니어에게 파이프라인·labeling·과적합 제어의 구체적 노하우.

챕터별 상세

010:11 – 4:57

Autoregressive TTS에서 병렬 생성으로

End-to-end TTS를 text에서 acoustic feature를 만드는 acoustic model과 waveform을 생성하는 vocoder로 나눈다. Tacotron은 이전 frame을 입력해 다음 frame을 순차 생성해 느리고 attention 실패가 뒤로 전파된다. Non-Autoregressive model은 전체 sequence를 한 번에 추론해 속도가 빠르고 반복 오류가 적으며, model 안에서 speed·pitch를 조절할 수 있다는 장점을 설명한다.

Audio normalization과 duration·pitch·energy 추출로 dataset을 만들고 대규모 corpus로 acoustic model과 vocoder를 pretrain한 뒤 target speaker의 작은 dataset으로 fine-tuning한다. FastSpeech2의 Transformer encoder·decoder 사이 variance adaptor가 one-to-many 문제를 다룬다. Forced aligner로 phoneme duration을 얻을 때 띄어쓰기와 문장부호까지 label해야 부자연스러운 늘임과 억양 오류를 막을 수 있다.

특정 종결 글자나 corpus 형식에 치우친 데이터는 비슷한 글자로 오발음하는 과적합을 만들기 때문에 encoder·decoder layer, attention head, learning rate와 dropout을 조절한다. 수치만으로 잡기 힘든 발음 오류는 scheduler 구간별 음성을 듣고 실패 문장을 모아 model을 선별한다. 따옴표·쉼표처럼 문맥에 따른 pause는 전후처리까지 결합해 실제 서비스에서 자연스럽게 읽도록 다듬는다.

개인화 TTS는 studio 수준 10~20시간 대신 noisy한 10분 이내 녹음으로 특정 사람의 목소리를 복제해야 한다. Speaker encoder는 같은 화자의 다른 문장을 가까운 feature로, 다른 화자는 멀리 배치하며 800명 embedding에서 성별·화자 cluster를 확인한다. Pretrained acoustic·vocoder model에 추출한 음색을 넣고 짧은 corpus로 fine-tuning해 음색을 유지하면서 품질 저하를 줄인다.

기본 model은 text 전후처리 고도화와 training pipeline 자동화로 더 빠르게 품질을 높이고, 새 architecture를 계속 추적한다. 문장의 sentiment에 맞춰 목소리에 감정을 입히는 emotion embedding도 서비스 요소로 확장한다. 개인화 영역에서는 실제 사용자의 noise가 많은 녹음에서도 음질을 보존하고 10분보다 더 적은 data로 고품질 합성이 가능하도록 연구할 계획을 밝힌다.