[NHN Cloud make IT 2023] 음성합성 기술을 활용한 AI 시대의 새로운 소통 방식

NHN Cloud·NHN Cloud make IT 2023 2023·2023년·

#generative-ai#speech-synthesis#deep-learning#diffusion#text-to-speech#language-model#voice-cloning

AI 요약

텍스트를 자연스러운 음성으로 바꾸는 TTS의 활용 분야와, 녹음 조각을 잇던 concatenative 방식에서 딥러닝 기반으로 이어진 모델 구조 변화를 설명한다. 적은 데이터로 특정 화자의 목소리를 복제하는 NHN의 voice cloning 접근을 소개하고, 그 기술이 열어줄 가능성과 악용 위험을 함께 다룬다.

핵심 포인트

딥러닝 TTS는 텍스트에서 음향 특징을 예측하는 acoustic model과 파형을 만드는 vocoder로 나뉘며, Tacotron 계열의 autoregressive 생성은 자연스럽지만 순차 참조로 느리고 발음 누락·반복에 취약, FastSpeech 계열은 전체 시퀀스를 병렬 생성해 속도·안정성을 높여 서비스 지연을 줄임
대규모 language model 기반 TTS는 웃음·말더듬·노래 같은 표현을 한 모델에서 생성하는 방향을, diffusion 기반은 noise에서 음성을 반복 복원해 품질·안정성을 얻는 방향을 보여 — 표현 범위·데이터 요구량·속도의 장단점이 달라 서비스 수준에 맞춰 병행 연구
Voice cloning은 화자의 높낮이·리듬·음색을 style로 추출하고, speaker embedding이 성별·음색을 벡터 공간에 담아 적은 표본으로 기존 화자 분포를 새 화자 쪽으로 빠르게 적응 — NHN은 과거 40분 이상 필요하던 학습 데이터를 약 1분 이하로 축소
다음 단계는 fine-tuning 없이 짧은 음성 prompt만으로 음색을 복제하는 zero-shot TTS와 노래·비정형 표현 생성이지만, 보이스피싱·유명인 IP 도용 위험이 커져 법적 기준·원본 동의·AI 음성 판별 탐지 파이프라인이 필요

왜 읽나TTS·음성 합성 기술의 흐름과 실서비스 적용을 파악하려는 개발자·기획자에게 모델 구조 변천, 1분 데이터 voice cloning, zero-shot 전망과 악용 대응까지 균형 있게 짚은 개요.

챕터별 상세

010:12 – 4:10

TTS가 텍스트에 목소리를 더하는 방식

음성합성은 텍스트를 입력받아 발음·운율·음색을 가진 음성 파형을 생성하는 기술이며, 안내 방송·내비게이션·오디오북·접근성 서비스에 활용된다. 생성형 언어 모델이 텍스트 정보를 만들더라도 사용자가 이를 듣고 소비하려면 TTS가 별도의 전달 채널이 된다. 긴 텍스트나 반복 안내를 사람이 모두 녹음하지 않고 다양한 목소리로 제공할 수 있다는 실용적 가치도 설명한다.

과거에는 녹음 조각을 이어 붙이거나 확률 모델로 음성을 만들었지만, 딥러닝 TTS는 텍스트에서 음향 특징을 예측하는 acoustic model과 실제 파형을 만드는 vocoder로 나뉜다. Tacotron 계열의 autoregressive 생성은 자연스럽지만 앞 출력을 순차적으로 참조해 느리고 발음 누락·반복에 취약하다. FastSpeech 계열은 전체 시퀀스를 병렬 생성해 속도와 안정성을 높이며 서비스 지연을 줄인다.

대규모 language model 기반 TTS는 많은 데이터를 수용해 웃음·말더듬·노래처럼 기존 모델이 다루기 어려운 표현을 한 모델에서 생성하는 방향을 보여준다. Diffusion 기반 접근은 noise에서 음성을 반복 복원해 품질과 안정성을 얻고 상대적으로 빠른 추론을 목표로 한다. 두 계열은 표현 범위, 데이터 요구량과 속도에서 서로 다른 장단점이 있어 서비스 수준에 맞춰 병행 연구된다.

Voice cloning은 화자의 높낮이·리듬·음색을 style로 추출해 새로운 문장을 같은 사람의 목소리로 읽게 한다. Speaker embedding이 성별과 음색 특성을 벡터 공간에 구분해 담고, 적은 표본으로 기존 화자 분포를 새 화자 쪽으로 빠르게 적응시키는 두 단계가 핵심이다. NHN은 과거 40분 이상 필요했던 학습 데이터를 약 1분 이하로 줄였고 여러 목소리의 합성 데모로 결과를 보여준다.

다음 단계는 별도 fine-tuning 없이 짧은 음성 prompt만으로 화자 음색을 복제하는 zero-shot TTS이며, 개인화된 소통·교육·엔터테인먼트와 singing voice 변환으로 확장될 수 있다. 언어 모델과 결합하면 웃음·울음·흥얼거림 같은 비정형 표현까지 생성하는 방향도 예상된다. 동시에 보이스피싱과 유명인 IP 도용 위험이 커지므로 법적 기준, 원본 동의와 AI 생성 음성을 판별하는 탐지 파이프라인이 필요하다고 강조한다.