[Paper 리뷰] ClariTTS: Feature-ratio Normalization and Duration Stabilization for Code-Mixed Multi-Speaker Speech Synthesis

ClariTTS: Feature-ratio Normalization and Duration Stabilization for Code-Mixed Multi-Speaker Speech Synthesis

---

• Text-to-Speech model에서 code-mixed text는 speaker-related feature에 source language에 대한 linguistic feature가 포함될 수 있으므로 unnatural accent를 생성할 수 있음
• ClariTTS
  • Flow-based text-to-speech model에 Feature-ratio Normalized Affine Coupling Layer를 적용
    - Speaker와 linguistic feature를 disentangle 하여 target speaker의 accent가 포함되는 것을 방지
  • 추가적으로 stable duration prediction을 보장하기 위해 Duration Stabilization Training Objective를 도입
• 논문 (INTERSPEECH 2024) : Paper Link

---

1. Introduction

• FastSpeech2, Glow-TTS, FastPitch와 같은 end-to-end Text-to-Speech (TTS)는 human-like speech를 합성할 수 있음
  • BUT, multi-lingual TTS는 multi-lingual dataset을 수집하는 것이 어렵기 때문에 mono-lingual data를 결합하여 사용함
    - 이때 mono-lingual data로 multi-lingual TTS model을 학습하면, source language speaker의 accent가 target language에 포함되는 speaker-language entalgement 문제로 인해 unnatural accent가 발생함
  • 따라서 speaker identity와 linguistic information을 효과적으로 disentangle 해야 함
    - 대표적으로 SANE-TTS는 domain adversarial training을 사용하고, CrossSpeech는 acoustic representation을 speaker-dependent/speaker-independent로 나누어 사용함
  • 한편으로 cross-lingual TTS 외에도 한 sentence에 두 개 이상의 language가 포함된 code-mixed text도 고려할 수 있음
    1. 일반적으로 code-mixed TTS는 encoder structure를 변경하거나 pre-trained model의 additional feature를 활용하거나 transliteration으로 text input을 enriching 하는 방식을 사용함
    2. BUT, 해당 방식은 pre-trained external model 성능이나 transliteration에 의해 크게 좌우됨

-> 그래서 disentangle 문제를 해결하여 code-mixed TTS의 naturalness를 개선한 ClariTTS를 제안

 

• ClariTTS
  • 먼저 flow-based TTS model인 VITS를 기반으로 affine coupling layer에 normalization-based conditioning method를 적용
    1. Training phase에서 speaker와 language embedding에 대해 separately predicted parameter를 사용하여 각 input을 normalize 한 다음, speaker/language-normalized result를 add 함
       - 여기서 speaker/language-normalized result를 adding 하는 비율을 적응적으로 결정
    2. 결과적으로 normalizing flow는 speaker/language-dependent data distribution을 speaker/language-independent latent prior distribution으로 변환함
       - 이때 논문은 speaker/language normalization을 개별적으로 사용하므로 training 과정에서 speaker/language feature를 explicitly disentangle 할 수 있음
       - 추론 시 affine coupling layer는 denormalization을 통해 적절한 speaker/language information을 inject 함
  • 추가적으로 speaker-language entanglement를 해결하고 robust duration predictor를 구성하기 위해 duration stabilization training objective를 도입
    1. 구체적으로, mini-batch에서 paired input text, speaker embedding, language embedding을 사용하여 intra-speaker duration을 예측함
    2. 이후 batch dimension을 따라 speaker embedding을 randomly shuffle 하고 shuffled speaker embedding으로 cross-speaker duration을 예측함
       - 해당 shuffled speaker embedding에는 mini-batch의 paired speaker embedding과 다른 speaker identity/language information이 포함됨

< Overall of ClariTTS >

• Feature-ratio normalization $FRN$, Feature-ratio denormalization $DFRN$과 Duration stabilization training objective를 활용한 code-mix TTS model
• 결과적으로 기존보다 뛰어난 합성 품질을 달성

2. Related Work

• Glow-TTS, VITS와 같은 flow-based TTS model은 affine coupling layer와 같은 invertible transformation을 통해 simple prior distribution와 complex data dsitribution 간의 bijective mapping을 학습함
  • 이때 Speaker-Normalized Affine Coupling Layer (SNAC)을 고려할 수 있음 
    1. Training 시 speaker embedding $e_s$의 예측된 평균/표준편차 parameter로 input을 explicitly nomarlize 하고, 추론 시 desired speaker embedding으로 input을 denormalize 하는 방식
    2. 여기서 normalization $g$와 denormalization $g^{-1}$은:
       (Eq. 1) $g(x;c)=\frac{x-m_{\theta }(c)}{\exp (v_{\theta }(c))}$
       (Eq. 2) $g^{-1}(x;c)=x\odot \exp (v_{\theta }(c))+m_{\theta }(c)$
       - $x\in {\mathbb{R}}^D$ : input, $c$ : condition, $\odot$ : element-wise product
       - $m_{\theta },v_{\theta }$ : $c$로부터 평균/표준편차를 얻기 위한 simple linear projection
    3. 그러면 위를 따라 speaker normalization $SN$과 speaker denormalization $SDN$을 얻을 수 있음
       - e.g.) $SN(x;e_s)=g(x;e_s),SDN(x;e_s)=g^{-1}(x;e_s)$
    4. 다음으로 SNAC layer의 forward transformation은 affine coupling layer에 $SN$을 적용하여 얻어짐: 
       (Eq. 3) $y_{1:d}=x_{1:d}$
       (Eq. 4) $y_{d+1:D}=SN(x_{d+1:D};e_s)\odot \exp (s_{\theta }(SN(x_{1:d};e_s)))+b_{\theta }(SN(x_{1:d};e_s))$
       
    5. Inverse transformation은:
       (Eq. 5) $x_{1:d}=y_{1:d}$
       (Eq. 6) $x_{d+1:D}=SDN(\frac{y_{d+1:D}-b_{\theta }(SN(y_{1:d};e_s))}{\exp (s_{\theta }(SN(y_{1:d},e_s)))};e_s)$
  • 결과적으로 위 과정은 forward process에서 speaker information을 제거하고 inverse process에서 제공하는 것으로 볼 수 있음
    - 특히 SNAC은 speaker-dependent data distribution을 speaker-independent prior distribution으로 변환하여 model이 inverse process를 통해 desired speaker-dependent data distribution을 얻을 수 있도록 함
  • 따라서 논문은 위 방식을 training 시 각 speaker/language embedding에 의해 normalize 된 input을 add 하고, 추론 시 denormalized input을 add 하는 speaker-language conditioning method로 확장함
    - 즉, $SN,SDN$을 각각 $FRN,FRDN$으로 대체하여 speaker/language embedding에 의해 input을 selectively normalize/denormalize 하도록 함 

3. Method

• Text encoder, duration predictor, normalizing flow, posterior encoder/decoder를 가지는 VITS를 backbone으로 사용함
  • 먼저 각 language에 대해 native character와 one-hot language ID를 사용하고, reference encoder를 통해 linear-scale spectrogram에서 speaker-related feature를 추출함
    - 해당 reference encoder output은 speaker embedding으로 사용됨
  • 추가적으로 빠른 추론을 위해 VITS의 decoder를 multi-stream iSTFT-VITS decoder로 대체하고, 안정적인 추론을 위해 stochastic duration predictor를 deterministic duration predictor로 대체함 
  • 위를 기반으로 ClariTTS는 다음의 구성요소를 도입:
    1. Normalzing flow의 affine coupling layer에서 $FRN,FRDN$을 적용
    2. Duration predictor를 위한 duration stabilization training objective를 사용
  • 이때 ClariTTS는 speaker와 language feature를 disentangle 하는 것을 목표로 하므로 normalizing flow와 duratino predictor에만 speaker/language embedding을 제공함 

Overall of ClariTTS

- Feature-ratio Normalized Affine Coupling Layer

• ClariTTS architecture는 SNAC에서 $SN,SDN$을 $FRN,FDRN$으로 대체하여 구성됨 
  • $FRN,FDRN$은 각각 speaker embedding $e_s$와 language embedding $e_l$에서 얻은 평균/표준편차 parameter로 normalize/denormalize 됨  
  • (Eq. 1), (Eq. 2)의 $c$에 $e_l$를 대입하면, language normalization $LN$과 language denormalization $LDN$을 얻을 수 있음
    1. 여기서 shared convolutional neural network $W_r$에서 $e_s,e_l$을 사용하여 feature-ratio $\rho$를 얻음:
       (Eq. 7) $\rho =\sigma (W_r(m_{\theta }(e_s),v_{\theta }(e_s))+W_r(m_{\theta }(e_l),v_{\theta }(e_l)))$
       - $\sigma$ : sigmoid function
    2. 그러면 $FRN$은:
       (Eq. 8) $FRN(x;e_{s,l})=\rho (SN(x;e_s))+(1-\rho )(LN(x;e_l))$
       - $FRDN$은 $FRN$의 inverse transformation
    3. 결과적으로 affine coupling layer의 forward transformation은 다음과 같이 유도됨:
       (Eq. 9) $y_{1:d}=x_{1:d}$
       $y_{d+1:D}=FRN(x_{d+1:D};e_{s,l})\odot \exp (s_{\theta }(FRN(x_{1:d};e_{s,l})))+b_{\theta }(FRN(x_{1:d;e_{s,l}}))$
       - $s_{\theta },b_{\theta }$ : 각각 scale, bias function, $d<D$
       
    4. Inverse transformation은:
       (Eq. 10) $x_{1:d}=y_{1:d}$
       $x_{d+1:D}=FRDN(\frac{y_{d+1:D}-b_{\theta }(FRN(y_{1:d};e_{s,l}))}{\exp (s_{\theta }(FRN(y_{1:d};e_{s,l})))};e_{s,l})$
  • 한편으로 coupling structure로 인해 Jacobian은 lower triangular matrix로 얻어짐
    1. 이때 Jacobian은:
       (Eq. 11) $\frac{\partial y_{d+1:D}}{\partial x_{d+1:D}}=\text{diag}(\exp (s_{\theta }(FRN(x_{1:d};e_{s,l})))\odot \frac{\rho \exp (v_{\theta }(e_l))+(1-\rho )\exp (v_{\theta }(e_s))}{\exp (v_{\theta }(e_s))\exp (v_{\theta }(e_l))})$
       (Eq. 12) $\frac{\partial y}{\partial x}=\left[\begin{array}{cc}{I}_{d\times d}& 0\\ \frac{\partial y_{d+1:D}}{\partial x_{1:d}}& \frac{\partial y_{d+1:D}}{\partial x_{d+1:D}}\end{array}\right]$
       - $I_{d\times d}$ : identity matrix
       
    2. Simplicity를 위해 논문은 normalizing flow를 volume-preserving transformation으로 설계함
       - 즉, scale function $\exp (s_{\theta }(FRN(x_{1:d};e_{s,l})))=1$이 됨
    3. 따라서 ClariTTS의 normalizing flow에 대한 Jacobian log-determinant는:
       (Eq. 13) $\log |det\frac{\partial f_{\theta }(x)}{\partial x}|=\log \sum _j\frac{\rho \exp (v_{\theta }(e_l{)}_j)+(1-\rho )\exp (v_{\theta }(e_s{)}_j)}{\exp (v_{\theta }(e_s{)}_j)\exp (v_{\theta }(e_l{)}_j)}$
  • Affine coupling layer는 $FRN$을 통해 forward transformation에서 speaker, language information을 제거함 
    1. 이때 $FRN$은 각 hidden channel에 대해 $\rho$를 사용하여 speaker, language information을 adaptively eliminate 함
       - 이를 통해 normalizing flow는 data distribution을 speaker/language-independent latent prior distribution으로 변환 가능
    2. $FRDN$은 inverse transformation 동안 target speaker/language embedding을 통해 information을 제공함
       - 이를 통해 prior distribution을 speaker/language-dependent data distribution으로 변환

- Duration Stabilization Training Objectives

• Cross-lingual TTS 성능을 향상하기 위해서는 speaker-language entanglement 문제를 해결해야 함
  • 따라서 ClariTTS는 $FRN,FRDN$ 외에도 duration predictor를 stabilize 하고 speaker-language entanglement를 완화하는 training objective를 도입함
  • 구체적으로, mini-batch가 주어졌을 때 $(\text{text},\text{audio},e_s,e_l)$과 같은 paired input이 있다고 하자
    1. 그러면 duration predictor는 intra-speaker duration $d_{intra}$를 생성함:
       (Eq. 14) $d_{intra}=W_d(x;e_{s,l})$
       - $W_d$ : duration predictor, $x$ : input text embedding
    2. 이때 mini-batch에서 $e_s$를 randomly shuffle 하여 shuffled speaker embedding ${\overline{e}}_s=\text{shuffle}(e_s)$를 얻을 수 있음
       - ${\overline{e}}_s$를 통해 duration을 생성하는 경우, ${\overline{e}}_s$는 $e_s$와 비교하여 other speaker나 language에 대한 information을 포함하고 있으므로 duration predictor는 cross-speaker duration $d_{cross}$를 생성한다고 볼 수 있음
    3. 따라서 duration stabilization loss는:
       (Eq. 15) ${\mathcal{L}}_{dur}={\mathcal{L}}_{d_{intra}}+{\mathcal{L}}_{d_{cross}}=\text{MSE}(d_{mas},d_{intra})+\text{MSE}(d_{mas},d_{cross})$
       - $\text{MSE}$ : Mean Squared Error, $d_{mas}$ : monotonic alignment search를 통한 duration
  • ${\mathcal{L}}_{dur}$를 통해 duration predictor는 speaker embedding에서 linguistic feature를 추출하지 않고도 speaker-related feature를 추출할 수 있음
    - 결과적으로 해당 duration predictor는 speaker와 language embedding을 개별적으로 활용하기 때문에 robust cross-lingual TTS가 가능

4. Experiments

- Settings

• Dataset : AIHub Multi-Speaker Dataset, LibriTTS
• Comparisons : MS-iSTFT-VITS, YourTTS, SANE-TTS

- Results

• Intra-lingual/Cross-lingual/Code-mixed 모두에서 ClariTTS가 가장 우수한 성능을 달성함

모델 성능 비교

• Parameter 수 측면에서 ClariTTS가 가장 효율적임

Parameter 수 비교