LLM으로 음성인식 성능 개선하기

CTC, encoder-decoder, RNN-T 등 대표 구조가 acoustic frame을 label sequence로 정렬하고 text를 생성하는 방식을 비교한다. 제안 방식은 음성을 이해하는 encoder와 문장을 생성하는 transformer decoder를 baseline으로 삼아, paired speech-text data의 ASR objective를 유지하면서 text LLM을 teacher로 추가한다.

대규모 pretrained decoder는 풍부한 언어 지식으로 recognition error를 줄이지만 training memory와 autoregressive inference 시간이 크게 늘어난다. 실제 parameter 수와 decoding 시간을 baseline과 비교해 production에서 직접 사용할 수 없는 병목을 확인하고, teacher는 학습 때만 쓰고 serving model 크기는 유지하는 목표를 세운다.

Student가 teacher의 최종 token probability를 따라가게 하는 response distillation과, intermediate layer representation을 맞추는 feature distillation을 함께 사용한다. ASR 정답 loss와 두 distillation loss를 multi-task로 최적화해 단순 label보다 문맥적 예측 pattern과 내부 구조를 풍부하게 학습한다.

학습 단계에서만 LLM teacher와 중간 layer loss를 사용하고 inference에서는 baseline과 같은 작은 transformer decoder만 실행한다. Multilingual test의 모든 language category와 한국어 KsponSpeech에서 character error rate가 낮아졌으며, 큰 LLM decoder를 직접 쓰는 방식보다 평균 약 13배 빠른 decoding으로 품질·속도를 함께 얻는다.