[Paper 리뷰] Diff-TTS: A Denoising Diffusion Model for Text-to-Speech

Diff-TTS: A Denoising Diffusion Model for Text-to-Speech

---

• Neural text-to-speech 모델은 여전히 자연스러운 합성과 architecture 효율성이 요구됨
• Diff-TTS
  • 주어진 text에 대해 denoising diffusion을 활용하여 noise signal을 mel-spectrogram으로 변환
  • Text를 condition으로 하는 mel-spectrogram 분포를 학습하기 위한 likelihood-based optimization
  • 추론 속도 향상을 위한 accelerated sampling의 도입
• 논문 (INTERSPEECH 2021) : Paper Link

---

1. Introduction

• 대부분의 neural text-to-speech (TTS) 모델은 text를 mel-spectrogram으로 변환하는 TTS 모델과 acoustic feature로부터 waveform을 생성하는 Vocoder로 구성
• 그중 TTS 모델은 autoregressive (AR) 모델과 non-AR 모델로 분류될 수 있음
  • AR 모델 : output 분포를 순차적으로 조건부 분포의 곱으로 factorizing 하여 고품질 sample을 생성
    - Tacotron2, Transformer-TTS는 자연스러운 음성 생성이 가능하지만 추론 시간이 mel-spectrogram 길이에 따라 선형적으로 증가
    - AR 모델은 누적되는 prediction error로 인해 word skipping, repeating과 같은 문제가 발생함
  • Non-AR 모델 : AR 모델에 비해 안정적인 합성이 가능하고 추론 속도가 빠름
    - FastSpeech2, SpeedySpeech의 경우 음성 합성의 다양성이 떨어짐
    - Glow-TTS, Flow-TTS의 경우 normalizing flow로 인한 architecture 제약으로 인해 parameter-inefficient함
  • Denoising diffusion : AR, non-AR에 비해 최근 이미지 및 음성 합성에서 뛰어난 성능을 보이고 있음
    - Denoising diffusion 모델은 maximum likelihood에 따라 최적화될 수 있고 architecture 선택의 자유가 있음

-> 그래서 denoising diffusion의 장점을 활용할 수 있는 TTS 모델인 Diff-TTS를 제안

 

• Diff-TTS
  • Robust 하고 제어가능한 고품질의 non-AR TTS 모델
  • Auxiliary loss 없이 학습이 가능한 log-likelihood 기반 최적화
  • Markov-chain 제약 하에서 추론 속도를 향상할 수 있는 accelerated sampling method의 도입

< Overall of Diff-TTS >

• Non-AR TTS 모델에 denoising diffusion probabilistic model (DDPM)을 최초로 도입
• Tacotron2 및 Glow-TTS 보다 더 적은 parameter를 사용하면서 더 높은 fidelity의 오디오를 합성 가능
• Accelerated sampling을 통해 빠른 추론 속도를 달성하고, sample 품질과 추론 속도를 간의 trade-off를 제어
• Latent space와 additive noise를 통한 pitch variability 조절 및 prosody 제어

2. Diff-TTS

- Denoising Diffusion Model for TTS

• Diff-TTS는 noise 분포를 주어진 text에 해당하는 mel-spectrogram 분포로 변환함
• Diffusion Process
  • Mel-spectrogram이 Gaussian noise를 통해 점진적으로 corrput 되어 latent variable로 변환되는 과정
  • $x_1,...,x_T$를 diffusion time step index $t=0,1,...,T$에서 동일한 차원을 가지는 variable들의 시퀀스라고 하면,
    - Diffusion process는 Markov transition chain을 통해 mel-spectrogram $x_0$를 Gaussian noise $x_T$로 변환
    - 각 transition step은 variance schedule ${\beta }_1,{\beta }_2,...,{\beta }_T$로 predefine 됨
  • 각 변환은 text $c$와 독립적이라고 가정하는 Markov transition probability $q(x_t|x_{t-1},c)$에 의해 수행됨:
    $q(x_t|x_{t-1},c)=\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I)$
  • 전체 diffusion process $q(x_{1:T}|x_0,c)$는 Markov process이고, 아래와 같이 factorize 됨:
    $q(x_1,...,x_T|x_0,c)=\prod _{t=1}^{T}q(x_t|x_{t=1})$

• Reverse Process
  • Diffusion process의 역과정으로, Gaussian noise로부터 mel-spectrogram을 복원하는 과정
  • Reverse process는 조건부 분포 $p_{\theta }(x_{0:T-1}|x_T,c)$로 정의되고, Markov chain property를 기반으로 여러 개의 transition으로 factorize 됨:
    $p_{\theta }(x_0,...,x_{T-1}|x_T,c)=\prod _{t=1}^T{p}_{\theta }(x_{t-1}|x_t,c)$
  • Reverse transition $p_{\theta }(x_{t-1}|x_t,c)$를 통해 latent variable은 text condition과 diffusion time-step에 해당하는 mel-spectrogram으로 복원됨
    - Diff-TTS는 reverse process를 통해 얻은 모델 분포 $p_{\theta }(x_0|c)$를 학습하는 것으로 볼 수 있음
• Training Objective 
  • Diff-TTS가 $q(x_0|c)$에 잘 근사되기 위해서는 reverse process는 mel-spectrogram의 log-likelihood를 최대화해야 함:
    ${\mathbb{E}}_{logq(x_0|c)}[log{p}_{\theta }(x_0|c)]$ 
    - $q(x_0|c)$ : mel-spectrogram 분포
    -> 이때 $p_{\theta }(x_0|c)$는 intractable 하기 때문에, parameterization trick을 활용하여 closed form의 log-likelihood variational lower bound를 계산
  • Diff-TTS의 training objective는:
    $mi{n}_{\theta }L(\theta )={\mathbb{E}}_{x_0,ϵ,t}||ϵ-{ϵ}_{\theta }(\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ,t,c)|{|}_1$
    - ${\alpha }_t=1-{\beta }_t$, ${\overline{\alpha }}_t=\prod _{t^{\prime }=1}^t{\alpha }_{t^{\prime }}$
    - $t$ : 전체 diffusion time-step에서 uniform 하게 가져오는 값
    -> Diff-TTS는 모델 ${ϵ}_{\theta }(\cdot )$의 output과 Gaussian noise $ϵ\sim \mathcal{N}(0,I)$ 사이의 L1 loss를 제외한 다른 auxiliary loss를 필요로 하지 않음
  • 추론 과정에서 Diff-TTS는 ${ϵ}_{\theta }(x_t,t,c)$를 사용해 각 forward transition에서 추가되는 diffusion noise를 반복적으로 예측
    - 이후 아래와 같이 corrupted part를 제거하여 latent variable에서 mel-spectrogram을 복원:$x_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\overline{\alpha }}_t}}{ϵ}_{\theta }(x_t,t,c))+{\sigma }_t{z}_t$
    - $z_t\sim \mathcal{N}(0,I)$, ${\sigma }_t=\eta \sqrt{\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}{\beta }_t}$
    - $\eta$ : temperature term으로, variance의 scaling factor
  • Diffusion time-step $t$는 Diff-TTS의 input으로도 사용되어 모든 diffusion time-step에 대한 shared parameter를 허용함
    - 결과적으로 최종 mel-spectrogram 분포 $p(x_0|c)$는 현재의 모든 time-step에 대한 반복 sampling으로 얻어짐

Diffusion, Reverse process

- Accelerated Sampling

• Denoising diffusion은 diffusion step이 크면 추론 시간이 오래 걸림
  • 이를 해결하기 위해 Denoising Diffusion Implicit Model (DDIM)은 accelerated sampling을 도입했음
  • Accelerated sampling은 전체 추론 trajectory의 subsequence에 대해 sample을 생성함
    - Reverse transition 수를 줄여도 sample 품질이 크게 저하되지 않는 장점이 있음
    -> Sample 품질을 유지하면서 합성 속도를 향상하기 위해 Diff-TTS에도 accelerated sampling을 도입
• Diff-TTS 적용을 위해, reverse transition은 decimation factor $\gamma$에 의해 생략됨
  • 새로운 reverse transition은 기존의 reverse path에서 periodically selected transition으로 구성됨
  • $\tau =[{\tau }_1,{\tau }_2,...,{\tau }_M](M<T)$를 time-step $1,2,...,T$에서 sample 된 새로운 reverse path라고 하면,
    1. $i>1$에서 accelerated sampling equation은:
       $x_{{\tau }_{i-1}}=\sqrt{{\overline{\alpha }}_{{\tau }_{i-1}}}(\frac{x_{{\tau }_i}-\sqrt{1-{\overline{\alpha }}_{{\tau }_i}{ϵ}_{\theta }(x_{{\tau }_i},{\tau }_i,c)}}{\sqrt{{\overline{\alpha }}_{{\tau }_i}}})+\sqrt{1-{\overline{\alpha }}_{{\tau }_{i-1}}-{\sigma }_{{\tau }_i}^2}{ϵ}_{\theta }(x_{{\tau }_i},{\tau }_i,c)+{\sigma }_{{\tau }_i}{z}_{{\tau }_i}$
       - 이때, ${\sigma }_{{\tau }_i}=\eta \sqrt{\frac{1-{\overline{\alpha }}_{{\tau }_{i-1}}}{1-{\overline{\alpha }}_{{\tau }_i}}{\beta }_{{\tau }_i}}$
    2. $i=1$에서 sampling equation은:
       $x_0=\frac{x_{{\tau }_1}-\sqrt{1-{\overline{\alpha }}_{{\tau }_1}}{ϵ}_{\theta }(x_{{\tau }_1},{\tau }_1,c)}{\sqrt{{\overline{\alpha }}_{{\tau }_1}}}$
  • Accelerated sampling을 사용함으로써 Diff-TTS는 subsequence $\tau$에 대해 sampling 하는 경우에도 fidelity가 높은 mel-spectrogram을 생성 가능

$\gamma =1,2,3$일 때 Accelerated Sampling

- Model Architecture

• Diff-TTS는 text encoder, step encoder, duration predictor, decoder로 구성됨
• Encoder
  • Phoneme sequence에서 contextual information을 추출한 다음, duration predictor와 decoder에 전달
  • Encoder Pre-net은 embedding, fully-connected (FC) layer, ReLU acitvation을 가짐
    - Text encoder는 phoneme embedding을 input으로 사용
  • Encoder 모듈은 dilated convolution이 있는 10개의 residual block과 LSTM으로 구성됨
• Duration Predictor and Length Regulator
  • Diff-TTS는 phoneme과 mel-spectrogram sequence의 length를 일치시키기 위해 length regulator를 사용
  • Length regulator는 phoneme sequence를 확장하고 음성 속도를 제어하기 위해 alignment inofrmation을 필요로 함
    - Montreal Forced Alignment (MFA)를 활용
  • Duration predictor는 MFA에서 추출된 duration을 사용해 logarithmic domain에서 예측을 수행
    - Duration predictor는 L1 loss를 최소화하는 것으로 최적화됨
• Decoder and Step Encoder
  • Decoder는 phoneme embedding과 diffusion step embedding을 condition으로 하는 $t$-th step latent variable로부터 Gaussian noise를 예측
    - Decoder는 diffusion time-step에 대한 정보를 얻기 위해 step encoder로부터 step embedding을 수행하므로 각 diffusion time-step은 서로 다른 ${ϵ}_{\theta }(\cdot ,t,c)$를 가짐
    - Diffusion step embedding은 각 $t$에 대해 128차원의 encoding vector를 사용하는 sinusodial embedding
  • Step encoder는 2개의 FC layer와 Swish activation으로 구성
  • Decoder network는 Conv1D, $1\times 1$ convolution, tanh, sigmoid로 구성된 residual block의 stack으로 구성
    - 최종적으로 decoder는 phoneme sequence와 diffusion time-step에 해당하는 Gaussian noise를 얻음

Diff-TTS의 구조

3. Experiments

- Settings

• Dataset : LJSpeech
• Comparison : Tacotron2, Glow-TTS

- Audio Quality and Model Size

• Audio Quality
  • Diff-TTS는 $T=400,\gamma =1$에서 가장 좋은 음성 품질을 달성
  • Accelerated sampling이 음성 품질을 크게 저하시키지 않으면서 빠른 합성을 가능하게 함

합성 품질 비교

• Model Size
  • Tacotron2나 Glow-TTS에 비해 Diff-TTS는 53% 더 적은 parameter 수를 보임
  • Diff-TTS는 denoising diffusion framework를 활용하기 때문에 메모리 효율적임

Parameter 수 비교

- Inference Speed

• Real-Time Factor (RTF) 측면에서, Diff-TTS는 $\gamma =57$일 때 0.035 RTF를 달성하여 Tacotron2를 앞지름
  - Diff-TTS는 Glow-TTS에 비해서는 RTF가 느리지만, 합성 품질과 추론 속도를 조절할 수 있다는 장점이 있음

Inference Speed 비교

- Variablity and Controllability

• 생성된 음성의 prosody는 추론 과정에서 추가되는 latent representation $x_T$와 Gaussian noise ${\sigma }_t$에 따라 달라짐
  • Diff-TTS는 latent space 및 additive noise에 temperature term을 곱하여 prosody를 제어할 수 있음
  • 서로 다른 temperature term $\eta \in \{0.2,0.6\}$에 대해 F0 trajectory를 비교해 보면, temperature term이 클수록 합성 품질을 유지하면서 더 다양한 음성이 생성됨

Temperature Term에 따른 F0 Trajectory 비교