[Paper 리뷰] MSMC-TTS: Multi-Stage Multi-Codebook VQ-VAE based Neural TTS

MSMC-TTS: Multi-Stage Multi-Codebook VQ-VAE based Neural TTS

---

• Vector-quantized, compact speech representation을 도입하여 neural text-to-speech의 성능을 향상할 수 있음
• MSMC-TTS
  • Vector-Quantized Variational AutoEncoder based feature를 채택하여 acoustic feature를 서로 다른 time resolution의 sequence로 encoding 하고, 이를 multiple codebook으로 quantize 함
  • Prediction 과정에서는 multi-stage predictor는 Euclidean distance와 triplet loss를 최소화하여 input text sequence를 Multi-Stage Multi-Codebook Representation에 stage-wise로 mapping 함
• 논문 (TASLP 2023) : Paper Link

---

1. Introduction

• Text-to-Speech (TTS)는 text를 해당하는 speech audio로 변환하는 것을 목표로 하고, 특히 neural network를 활용하는 neural TTS는 high-fidelity의 성능을 보이고 있음
  • 일반적으로 neural TTS framework는 아래 그림과 같이 analysis, prediction, synthesis로 구성됨
    1. Analysis에서 raw waveform은 signal processing을 통해 pitch, line spectrum, mel-cepstra 등의 acoustic feature sequence로 compress 됨
       - Waveform과 비교하여 해당 feature는 더 짧은 sequence length와 더 적은 parameter로 speech를 나타낼 수 있으므로 text에서 더 쉬운 prediction이 가능함
    2. 이후 해당 feature로부터 waveform을 reconstruct 하기 위해 nerual vocoder를 적용함
       - 대표적으로 WaveGlow, MelGAN 등을 사용할 수 있고, 이를 통해 acoustic model로부터 예측된 acoustic feature를 처리하여 TTS를 수행할 수 있음
  • BUT, 예측된 acoustic feature로부터 합성된 audio는 ground-truth acoustic feature로 합성된 audio와 동일한 수준의 fidelity를 달성할 수 없음
    - Acoustic model의 prediction error로 인해 예측된 feature는 낮은 품질을 가지기 때문
    
  • 특히, prediction error는 ground-truth의 distribution과 차이를 만들기 때문에, ground-truth feature 만으로 training 된 vocoder에서 out-of-domain data에 대한 generalization 문제를 일으킴
    
    1. 한편으로 해당 문제를 해결하기 위해 기존에는 다음의 방법들이 도입됨
       - Self-attention based model을 도입하여 sequential modeling 성능을 향상하는 방법
       - Generative Adversarial Network (GAN), Flow-based 등의 generative model을 활용하는 방법
       - Target waveform과 예측된 acoustic feature를 align 하고 fine-tuned vocoder를 사용하는 방법
       - Acoustic feature를 사용하지 않고 text representation을 waveform에 직접 mapping 하는 end-to-end 방법
    2. BUT, 이러한 기존의 model-oriented approach들은 modeling complexity가 높고 training/inference를 위한 많은 computing resource가 필요함
       - 따라서, speech feature representation 측면에서 해당 문제들을 접근하는 것이 필요함

• 일반적으로 speech representation은 richer information을 반영하기 위해 higher dimension이나 larger space volume으로 할당되지만, overly large space는 input/output으로 사용될 때 overfit 또는 underfit 될 수 있음
  • 즉, large representation은 acoustic model의 prediction error를 증가시키고 vocoder의 generalization을 약화시킴
  • 따라서 고품질 TTS를 보장하기 위해 좋은 speech representation은 다음을 고려해야 함:
    
    1. Completeness : target speech는 speech representation으로부터 well-reconstruct 될 수 있어야 함 (self-consistency)
    2. Compactness : target speech는 적은 parameter와 small space volume으로 represent 될 수 있어야 함
       - 즉, speech representation은 high completness를 통해 high-fidelity의 reconstruction을 달성하면서 효과적인 prediction을 위한 high compactness를 보장해야 함
  • 이때 representation learning에서 주로 활용되는 autoencoder는 encoder-decoder architecture를 기반으로 target data의 latent representation을 학습할 수 있음
    - 여기서 input feature는 encoder에 의해 latent representation으로 변환되고, decoder에 의해 reconstruct 됨
    - 즉, reconstruction 품질이 좋을수록 representation의 completness가 높아짐
  • 한편으로 latent representation의 sparsity와 compactness를 control 하기 위해 다양한 constraint를 적용할 수 있음
    - 특히 vector-quantized variational autoencoder (VQ-VAE)를 통한 discrete latent representation은 뛰어난 compactness를 보임

Neural TTS Framework

-> 그래서 completeness, compactness를 모두 만족하는 speech representation을 얻기 위해 VQ-VAE를 채택한 MSMC-TTS를 제안

 

• MSMC-TTS
  • 먼저 neural vocoder에서 일반적으로 사용되면서 충분한 completeness를 가지는 mel-spectrogram을 기반으로 compact speech representation을 construct 하는 feature analyzer를 training
  • 이후, 해당 high-compactness representation의 completeness를 보완하기 위해 Multi-Stage Multi-Codebook (MSMC) approach를 도입
    - 이때 multi-codebook은 richer representation을 얻기 위해 vector를 quantize 하고, 서로 다른 time resolution에서 speech information을 equally preserve 하기 위해 speech sequence를 multiple sub-sequence로 quantize 함
  • 결과적으로 MSMC-TTS는 위 과정을 통해 얻어지는 Multi-Stage Multi-Codebook Representation (MSMCR)을 통해 text로부터 speech audio를 생성
    1. 여기서 MSMCR은 feature analyzer로 추출되고, nerual vocoder에 의해 audio로 reconstruct 됨
    2. 추가적으로 multi-stage predictor는 input text의 resolution에서 MSMCR을 예측하는 acoustic model로써, MSE와 triplet loss를 결합한 loss function으로 training 됨

< Overall of MSMC-TTS >

• Completeness, compactness를 만족하는 speech representation을 얻기 위해 VQ-VAE 기반의 MSMC approach를 도입하고, 해당 MSMCR을 활용하여 reconstruction을 수행
• 결과적으로 기존보다 고품질의 TTS 성능을 달성

2. Vector Quantization-based Compact Speech Representation

- Vector Quantized Variational AutoEncoder

• VQ-VAE는 encoder-decoder architecture를 기반으로 target data로부터 discrete latent representation을 학습하는 것을 목표로 함
  • 아래 그림과 같이 VQ-VAE는 encoder, decoder, VQ operation으로 구성됨
    1. 먼저, input speech sequence $\mathbf{x}=\{x_1,x_2,...,x_L\}$은 encoder $\mathbf{E}$를 통해 encoding됨:
       (Eq. 1) $\tilde{\mathbf{z}}=\mathbf{E}(\mathbf{x})$
    2. 그러면 vector-quantized latent representation $\mathbf{z}$는:
       (Eq. 2) $\mathbf{z}=Q(\tilde{\mathbf{z}};\mathbf{c})$
       - $\mathbf{c}$ : $N$ dimension을 가지는 $M$개의 codeword를 포함하는 codebook
    3. 각 latent vector ${\tilde{z}}_i$에 대해 quantizer $Q$는 representation을 모든 codeword와 compare 하고, Euclidean distance에 따라 가장 가까운 것을 quantized output $z_i$로 선택함:
       (Eq. 3) $z_i=c_{j^{\ast }}\mathrm{where}{j}^{\ast }=\arg \underset{1\le j\le M}{min}||{\tilde{z}}_i-c_j|{|}_2^2$
       
    4. 최종적으로, output speech sequence $\hat{\mathbf{x}}$는 decoder $\mathbf{D}$를 통해 reconstruct 됨:
       (Eq. 4) $\hat{\mathbf{x}}=\mathbf{D}(\mathbf{z})$
  • Training 시 VQ-VAE는 $\mathbf{x},\hat{\mathbf{x}}$ 간의 Euclidean distance를 최소화하여 speech reconstruction을 학습함
    - BUT, non-differentiable VQ operation으로 인해 decoder의 gradient는 encoder로 backpropagate 되지 않음
  • 따라서 논문은 encoder training을 위해, $\mathbf{z},\tilde{\mathbf{z}}$ 사이의 Euclidean distance를 최소화하는 additional loss term을 도입하고, 이때 complete loss function은:
    (Eq. 5) ${\mathcal{L}}_{vqvae}={\mathcal{D}}_e(\hat{\mathbf{x}},\mathbf{x})+\alpha {\mathcal{D}}_e(\tilde{\mathbf{z}},\text{sg}(\mathbf{z}))=\frac{1}{L}\sum _{i=1}^L||{\hat{x}}_i-x_i|{|}_2^2+\frac{\alpha }{L}\sum _{i=1}^L||{\tilde{z}}_i-\text{sg}(z_i)|{|}_2^2$
    - ${\mathcal{D}}_e(\ast ,\ast )$ : Euclidean distance, $\text{sg}(\ast )$ : stop-gradient operation, $\alpha$ : coefficient
  • Codebook 내의 codeword는 exponential moving average를 사용해 update 됨:
    (Eq. 6) ${\hat{u}}_j^{(t)}=\beta {\hat{u}}_j^{(t-1)}+(1-\beta )u_j,{\hat{v}}_j^{(t)}=\beta {\hat{v}}_j^{(t-1)}+(1-\beta )v_j,c_j=\frac{{\hat{v}}_j^{(t)}}{{\hat{u}}_j^{(t)}}$
    - $u_j,v_j$ : 각각 $t$-th training iteration에서 mini-batch $c_j$로 quantize 된 hidden vector $\{{\tilde{z}}_i\}$의 수와 합
    - $\beta$ : 0~1 사이의 coefficient로 논문에서는 0.99로 설정

VQ-VAE Framework

- Compactness of Vector-Quantized Representation

• Acoustic feature sequence는 index sequence로 represent 될 수 있음
  • $N$개의 number로 구성된 vector (number 당 $B$ bits)를 $1$에서 $M$ range를 가지는 하나의 integer로 compress 할 때의 compression rate $\mathcal{R}$은:
    (Eq. 7) $\mathcal{R}=\frac{N\ast B}{{\log }_2(M)}$
    - 이를 통해, 80-dim Mel-spectrogram (32-bit float-point number)을 $2560/{\log }_2(M)$배로 compress 할 수 있음
  • Compression ratio가 높을수록 feature compactness는 높아지지만, information loss도 증가하므로 feature completeness는 낮아짐
    - 따라서 고품질 reconstruction을 위해, 논문은 해당 VQ-representation (VQR)을 더욱 최적화할 수 있는 multi-stage multi-codebook approach를 도입함

3. Multi-Stage Multi-Codebook VQ-VAE

• MSMC-VQ-VAE based feature analyzer는 speech sequence를 Multi-Stage Multi-Codebook Representation (MSMCR)로 stage-wise로 encode 하는 것을 목표로 함
  • 즉, 서로 다른 time resolution의 sub-sequence set은 multiple codebook에 의해 각각 quantize 됨
  • 이를 위해 논문은 multi-head vector quantization과 multi-stage autoencoder를 활용

- Multi-Head Vector Quantization

• VQR에서 compression rate를 줄이면 richer representation을 얻을 수 있지만, 이를 VQ-VAE에서 계산하기는 어려움
  • 예시로, compression ratio를 절반으로 줄이기 위해서는 (Eq. 7)의 ${\log }_2(\ast )$ 연산으로 인해 codebook size는 제곱으로 커져야 함
    - 즉, 각 codeword를 training 하기 위한 computational requirement는 exponential 하게 증가함
  • 따라서 논문은 quantization 계산을 위해 Multi-Head Attention Mechanism을 응용한 Multi-Head Vector Quantization (MHVQ)을 도입함
    1. 먼저 아래 그림처럼 MHVQ에서 하나의 VQ codebook $\mathbf{c}\in {\mathbb{R}}^{M\times N}$은 $H$개의 sub-codebook $\{{\mathbf{c}}^{(i)}\in {\mathbb{R}}^{M\times \frac{N}{H}},\mathrm{for}i=1,2,..,H\}$으로 evenly chunk 됨
       
    2. 이때 input vector $x\in {\mathbb{R}}^N$은 다음과 같이 quantize 됨:
       (Eq. 8) $x^{(1)},...,x^{(H)}=\mathrm{Chunk}(x,H)$
       $y^{(i)}=Q(x^{(i)};{\mathbf{c}}^{(i)})\mathrm{for}i=1,...,H$
       $y=\mathrm{Concat}(y^{(1)},...,y^{(H)})$
       - $x$는 $\frac{N}{H}$ dimensionality를 가지는 $H$개의 sub-vector로 chunck 된 후, 해당하는 codebook으로 quantize 됨
       - 이후 quantized sub-vector는 output vector $y$와 concatenate 됨
    3. 여기서 compression ratio는:
       (Eq. 9) $\mathcal{R}=\frac{1}{H}\ast \frac{N\ast B}{{\log }_2(M)}$
       
  • 위 방식을 통해 codebook 수를 doubling 하면서도, ${\log }_2(\ast )$로 인해 발생하는 requirement를 회피해 compression rate를 효과적으로 줄일 수 있음

Multi-Head Vector Quantization

- Multi-Stage AutoEncoder

• Completeness를 향상하는 것뿐만 아니라, segmental pronunciation과 같은 다양한 time resolution의 speech attribute를 well-represent 하는 것도 중요함
  • 그렇지 않으면 Cannikin Law에 따라 overly compressed attribute는 전체 품질에 심각한 영향을 줄 수 있음
  • 따라서 논문은 다양한 time resolution에서 speech sequence를 모델링하는 multi-stage autoencoder를 도입함
    1. 먼저 multi-stage autoencoder는 codebook group $C=\{{\mathbf{c}}^{(1)},...,{\mathbf{c}}^{(S)}\}$를 사용하여 input sequence $\mathbf{x}$를 multi-stage vector-quantized representation $Z=\{{\mathbf{z}}^{(1)},...,{\mathbf{z}}^{(S)}\}$로 encoding 함
       - $S$ : stage 수
       - 특히 MHVQ가 적용되는 경우, codebook ${\mathbf{c}}^{(i)}$는 sub-codebook group $\{{\mathbf{c}}^{(i,1)},...,{\mathbf{c}}^{(i,H)}\}$를 나타냄
    2. 이후 encoder는 input speech sequence $\mathbf{x}$를 encoding sequence $\{{\mathbf{e}}^{(1)},...,{\mathbf{e}}^{(S)}\}$로 encoding 함:
       (Eq. 10) ${\mathbf{e}}^{(i)}=\{\begin{array}{cc}{\mathbf{E}}_i(\mathbf{x}),& \mathrm{if}i=1\\ {\mathbf{E}}_i({\mathbf{e}}^{(i-1)}),& \mathrm{if}i>1\end{array}$
    3. 각 encoder block 이전의 strided convolution layer는 sequence를 lower time resolution으로 downsampling 하고, sequence는 highest stage에서부터 단계적으로 quantize 됨:
       (Eq. 11) ${\mathbf{z}}^{(i)}=\{\begin{array}{cc}{\mathbf{Q}}_i({\mathbf{e}}^{(i)},\varphi ,{\mathbf{c}}^{(i)}),& \mathrm{if}i=S\\ {\mathbf{Q}}_i({\mathbf{e}}^{(i)},{\mathbf{h}}^{(i+1)},{\mathbf{c}}^{(i)}),& \mathrm{if}i<S\end{array}$
       - $\varphi$ : no input, ${\mathbf{c}}^{(i)}$ : codebook (MVHQ가 적용된 경우, ${\mathbf{c}}^{(i)}=\{{\mathbf{c}}^{(i,1)},...,{\mathbf{c}}^{(i,H)}\}$)
       - 즉, quantizer block ${\mathbf{Q}}_i$에서 ${\mathbf{e}}^{(i)}$는 higher-stage decoder의 hidden sequence ${\mathbf{h}}^{(i+1)}$과 concatenate 되고, projection layer에 의해 변환되어 다음 quantization에 대한 ${\tilde{\mathbf{z}}}^{(i)}$를 얻음
  • Quantized sequence ${\mathbf{z}}^{(i)}$는 decoder ${\mathbf{D}}_i$에 의해 처리되어 다음 quantization과 decoding을 위한 ${\mathbf{h}}^{(i)}$를 얻음
    1. 여기서 next-stage quantized sequence ${\mathbf{z}}^{(i-1)}$이나 speech sequence $\mathbf{x}$를 예측하려면:
       (Eq. 12) $\{\begin{array}{cc}{\mathbf{h}}^{(i)},{\hat{\mathbf{z}}}^{(i-1)}={\mathbf{D}}_i({\mathbf{z}}^{(i)},\varphi ),& \mathrm{if}i=S\\ {\mathbf{h}}^{(i)},{\hat{\mathbf{z}}}^{(i-1)}={\mathbf{D}}_i({\mathbf{z}}^{(i)},{\mathbf{h}}^{(i+1)}),& \mathrm{if}2\le i\le S-1\\ \mathbf{x}={\mathbf{D}}_i({\mathbf{z}}^{(i)},{\mathbf{h}}^{(i+1)}),& \mathrm{if}i=1\end{array}$
    2. Decoder ${\mathbf{D}}_i$는 quantized sequence ${\mathbf{z}}^{(i)}$를 projection을 통해 변환하고, $i<S$일 때 ${\mathbf{h}}^{(i+1)}$을 추가함
       - Residual convolutional layer는 이를 처리한 다음, ${\mathbf{h}}^{(i)}$로 repitition 하여 upsampling 함
       - Output sequence는 예측을 위해, 다른 neural network module $\mathbf{X}$에서도 처리됨
  • 결과적으로, loss function은:
    (Eq. 13) ${\mathcal{L}}_{msmc}={\mathcal{D}}_e(\mathbf{x},\hat{\mathbf{x}})+\frac{\alpha }{S}\sum _{j=1}^S{\mathcal{D}}_e({\tilde{\mathbf{z}}}^j,\mathrm{sg}({\mathbf{z}}^{(j)}))+\frac{\beta }{S-1}\sum _{j=1}^{S-1}{\mathcal{D}}_e({\hat{\mathbf{z}}}^{(j)},\mathrm{sg}({\mathbf{z}}^{(j)}))$
    - $\alpha ,\beta$ : weight coefficient
    - (Eq. 13)은 ${\mathcal{L}}_{vqvae}$와 유사하지만, 두 번째 term은 모든 latent sequence에 대해 ${\mathcal{D}}_e$를 계산하고 세 번째 term은 예측된 latent sequence가 target에 가까워지도록 함
  • Multi-stage modeling에서 deep network는 lower-stage module에 대한 overfitting에 취약하므로 higher-stage latent sequence는 meaningless 함
    - 따라서 MSMC-TTS는 high-stage sequence에서 low-stage representation을 예측하도록 training 됨

Multi-Stage, Multi-Codebook VQ-VAE

4. MSMC-TTS

- System Framework

• MSMC-TTS는 아래 그림과 같이, analysis/prediction/synthesis의 3가지 module로 구성됨
  1. 먼저 analysis module에서 speech signal $\mathbf{s}$는 MSMCR $Z$로 변환됨
     • 이때 feature analyzer MSMC-VQ-VAE는 $\mathbf{s}$를 직접 모델링하지 않고, mel-spectrogram과 같은 acoustic feature $\mathbf{x}$를 모델링함
     • 해당 module은 loss function ${\mathcal{L}}_{msmc}$를 최소화하도록 training 된 다음, synthesis와 prediction을 위한 MSMCR $Z$와 codebook group $C$를 제공함 
  2. Synthesis에서 neural vocoder는 MSMCR을 해당하는 speech waveform으로 변환하는 것을 목표로 함
     • 이때 MSMCR sequence는 서로 다른 time resolution을 가지므로 repetition을 통해 동일한 resolution으로 up-sample 된 다음, concatenate 되어 input sequence를 형성함
     • 해당 module은 training set에서 추출된 ground-truth data로 training 된 다음, prediction module에서 예측된 MSMCR $P$로부터 audio를 생성함
  3. Prediction에서 acoustic model은 text sequence $\mathbf{t}$를 multiple sequence의 MSMCR $P$로 변환하는 것을 목표로 함
     • 이때 one-to-one mapping의 기존 acoustic model 보다는 one-to-many acoustic model을 사용해야 함
     • 특히 MSMCR의 latent sequence는 higher stage에서 lower stage로 추출되므로, generation process에서도 해당 pattern을 고려하여 timescale에서 sequence 간의 correlation을 추출해야 함
     • 결과적으로, MSMC-TTS는 text로부터 해당 sequence를 예측하는 acoustic model로써 Multi-Stage Predictor (MSP)를 채택하여 사용

Overall of MSMC-TTS

- Multi-Stage Predictor

• MSP는 non-autoregressive acoustic model인 FastSpeech를 기반으로 함
• Model Architecture
  • MSP는 크게 encoder와 decoder로 구성됨
  • 먼저 text (phoneme) sequence $\mathbf{t}$는 hidden vector ${\mathbf{h}}_t={\mathbf{E}}_t(\mathbf{t})$로 encoding 된 다음, duration sequence $\hat{\mathbf{d}}=\mathbf{DP}({\mathbf{h}}_t)$에 따라 repition을 통해 upsampling 됨
    - 이때 $\hat{\mathbf{d}}$는 non-negative integer sequence이고, 각 integer는 해당 phoneme이 $\mathbf{x}$에서 지속되는 frame 수
    - ${\mathbf{h}}_u$는 strided convolution layer를 통해 해당하는 stage $\{{\mathbf{h}}_d^{(1)},...,{\mathbf{h}}_d^{(S)}\}$에 따라 stage-wise로 downsampling 됨
    
  • Decoder는 highest stage에서 $P$를 예측함
    1. 먼저 ${\mathbf{h}}_d^{(S)}$는 decoder ${\mathbf{D}}_S$에 전달되어 predicted sequence ${\tilde{\mathbf{p}}}^{(S)}$를 얻은 다음, 해당하는 codebook ${\mathbf{c}}^S$에 의해 ${\mathbf{p}}^{(S)}$로 quantize됨
    2. Decoder의 last hidden output sequence와 ${\mathbf{p}}^{(S)}$는 repetition에 의해 upsampling 되고, 다음 decoder ${\mathbf{D}}_{(S-1)}$의 input으로써 ${\mathbf{h}}_d^{(S-1)}$과 concatenate 됨
    3. 나머지 sequence는 예측된 MSMCR $P$를 형성하기 위해 동일한 방식으로 recursive 하게 생성됨
  • Training 중에는 ground-truth MSMCR $Z$와 ground-truth duration $\mathbf{d}$를 사용할 수 있음
    - 따라서 MSP training을 forcing 하는 teacher를 채택해 $\hat{\mathbf{d}}$를 $\mathbf{d}$로 대체하고, $\{{\mathbf{z}}^{(S)},...,{\mathbf{z}}^{(2)}\}$를 decoder에 input 함
• Loss Function
  • Input text를 expected codeword에 mapping 하기 위해, MSP는 continuous space에서 직접 codeword를 추정하도록 학습됨
  • 이를 위해, VQ-VAE와 마찬가지로 Euclidean distance를 최소화함:
    (Eq. 14) ${\mathcal{L}}_e=\frac{1}{S}\sum _{i=1}^S{\mathcal{D}}_e({\mathbf{p}}^{(i)},{\mathbf{z}}^{(i)})$
    
  • 여기서 input vector $x$와 target codeword $t\in \mathbf{c}$ 사이의 Euclidean distance를 다른 codeword $\mathbf{c}/t=\{w|w\in \mathbf{c},w\ne t\}$보다 작게 만들기 위해, triplet loss를 추가적으로 채택함
    - 이를 통해 예측된 vector가 expected codeword로 quantize되는 것을 보장할 수 있음
  • 결과적으로, MHVQ와 결합된 triplet loss는:
    (Eq. 15) ${\mathcal{D}}_t(x,t,\mathbf{c})=\frac{1}{M}\sum _{w\in \mathbf{c}/t}max(0,||x-t|{|}_2^2-||x-w|{|}_2^2+ϵ)$
    ${\mathcal{L}}_t=\frac{1}{S}\sum _{j=1}^S\frac{1}{H}\sum _{k=1}^H\frac{1}{L_j}\sum _{i=1}^{L_j}{\mathcal{D}}_t(p_i^{(j,k)},z_i^{(j,k)},{\mathbf{c}}^{(j,k)})$
    - $ϵ$ : margin number로써 constant value
    - 이를 통해 output vector는 target과는 가까워지고, non-target codeword와는 멀리 떨어질 수 있음
  • 그러면 MSP의 final loss function은:
    (Eq. 16) ${\mathcal{L}}_{msp}={\mathcal{L}}_e+\gamma {\mathcal{L}}_t$
    - $\gamma$ : weight coefficient

Multi-Stage Predictor

5. Experiments

- Settings

• Dataset : Nancy, CSMSC
• Comparisons : FastSpeech, VITS

- Results

• Standard TTS
  • 기본적인 MOS 품질 측면에서 MSMC-TTS는 가장 우수한 성능을 보임

모델 성능 비교

• 각 모델에서 생성된 audio를 비교해 보면 Mel-FS로 생성된 audio는 fuzzy spectrogram을 보임
  - 반면, MSMC-TTS로 생성된 audio는 low-/middle-frequency에서 smooth 하고 clear 한 harmonics를 가짐

생성된 Audio의 Spectrogram 비교 (위) Mel-FS (아래) MSMC-TTS

• 다양한 loss function으로 acoustic model을 training 해보면
  • Cross Entropy는 3.79 MOS로 가장 낮은 성능을 보임
    - 이는 continuous space에서 서로 다른 codework 간의 관계를 고려할 수 없으므로 classification fail 시 smothness의 문제가 나타나기 때문
  • 한편 MSE를 사용하는 경우, 4.13 MOS로 continuous space에서 codeword 추정에 적합함
  • 특히 weight 1의 triplet loss는 4.23 MOS를 달성하여 expressive speech를 합성할 수 있음
    - 여기서 $\gamma =100$과 같이 large weight를 선택하는 경우, 오히려 품질 저하가 발생할 수 있음

Loss function 비교

• Multi-codebook VQ와 multi-stage modeling의 효과를 확인해 보면, One-stage One-codebook (S1C1), One-stage Four-codebook (S1C4), Two-stage Four-codebook (S2C4) 중에서 S2C4가 가장 우수한 성능을 보임

Multi-Codebook, Multi-Stage의 효과

• 추가적으로 S1C1, S2C4로 합성된 audio의 spectrogram을 확인해 보면,
  • Singel-stage TTS의 경우 syllable switching에서 unstable 한 pitch generation이 나타남
  • S2C4의 경우, multi-stage modeling을 통해 다양한 time resolution에서 short-/long-time contextual information을 얻을 수 있음
    - 결과적으로 더 smooth 하고 natural 한 prosody로 이어짐

(좌) S1C1 (우) S2C4

• Resource-Limited Scenarios
  • 먼저 다음의 모델을 구성해 비교해 보면,
    - M1 : 4 layer의 600-dim Transformer block 
    - M2 : 3 layer의 128-dim Transformer block 
    - M3 : 4 layer의 128-dim 1D convolution block 
  • 일반적으로 parameter 수가 줄어들거나 transformer block이 1D CNN으로 대체되는 경우 상당한 MOS 저하가 나타남
  • 반면 MSMC-TTS는 parameter 수가 감소하여도 큰 성능 저하를 보이지 않음

Lightweight TTS

• Low-resource 측면에서
  • 다음의 dataset을 활용해 비교해 보면
    - D1 : 1000 text-audio pair
    - D2 : 1000 text-audio pair + 10000 audio (w/o transcript)
  • 일반적으로 D1 보다 D2를 사용했을 때 더 나은 성능을 보이지만, MSMC-TTS는 D1만을 사용해도 4.59 MOS의 높은 TTS 성능을 보임
    - 즉, MSMC-TTS는 기존 TTS에 비해 data requirement가 더 낮음

Low-Resource TTS

• Synthesis Evaluation
  1. VQ-VAE
     • Single-codebook singe-stage $Z_1$은 높은 compactness를 보이지만, reconstruction 측면에서 낮은 성능을 보임
     • $Z_3$과 같이 codebook size를 증가시키면 completeness 측면에서 $Z_1$보다 소폭 향상된 결과를 얻을 수 있음
       - 즉, codebook size만을 변경하는 것으로는 completness를 control 하는데 한계가 있음
  2. MHVQ
     • MVHQ를 적용하면 head 수에 따라 bitrate가 증가하지만, completness를 크게 향상할 수 있음
     • Codebook size만 증가시킨 $Z_3$에 비해 2-head vector quantization을 사용하는 $Z_5$는 더 높은 MCD를 달성함

Compactness와 Completness 간의 Trade-off

• 추가적으로 multi-stage representation을 사용하면 target speech에 대한 많은 information을 전달할 수 있음
  

Multi-stage Modeling 비교

• 다양한 representation으로 reconstruct 된 mel-spectrogram을 비교해 보면,
  • High-stage sequence는 coarse-grained, abstract information을 preserve 하는 경향이 있음
  • Low-stage modeling은 low-level, local information을 capture 하는데 중점을 둠 

Stage별 Mel-spectrogram 비교