[Paper 리뷰] Grad-StyleSpeech: Any-Speaker Adaptive Text-to-Speech Synthesis with Diffusion Models

Grad-StyleSpeech: Any-Speaker Adaptive Text-to-Speech Synthesis with Diffusion Models

---

• Any-speaker adaptive Text-to-Speech 작업은 여전히 target speaker의 style을 모방하기에 만족스럽지 못함
• Grad-StyleSpeech
  • Diffusion model을 기반으로 하는 any-speaker adaptive Text-to-Speech model
  • Few-second reference speech가 주어지면 target speaker와 유사한 음성을 생성하는 것을 목표로 함
• 논문 (ICASSP 2023) : Paper Link

---

1. Introduction

• Text-to-Speech (TTS)는 single speaker에서 multiple speaker로 확장되고 있음
  • 특히 reference 음성이 주어지면 any-speaker의 음성을 합성할 수 있는 any-speaker adaptive TTS에 중점을 둠
  • Any-speaker adaptive TTS는 target speaker에 대한 few sample 만을 고려하여 target speaker와 유사한 음성을 합성하는 것을 목표로 함
  • Any-speaker adaptive TTS를 위한 이전 연구들을 보면,
    1. 주로 transcribed (supervised) sample을 활용하여 TTS model을 fine-tuning 하는 방식을 사용
       -> BUT, supervised sample을 얻기 어렵고, parameter를 업데이트하는데 많은 비용이 필요함
    2. 그에 비해 zero-shot 방식은 unseen speaker에 대한 fine-tuning 단계가 굳이 필요하지 않음
       -> BUT, generative modeling으로 인해 unseen speaker에 대한 similarity가 낮다는 단점이 있음

-> 그래서 zero-shot any-speaker TTS를 위해 score-based diffusion model을 활용하는 Grad-StyleSpeech를 제안

 

• Grad-StyleSpeech
  • Target speaker의 style을 고려하기 위해 style-based generative model을 도입
  • Hierarchical transformer encoder를 통해 reverse diffusion process에서 활용 가능한 representative prior noise를 생성 
    - 이를 통해 input phoneme을 embedding할 때 target speaker의 style을 반영 가능

< Overall of Grad-StyleSpeech >

• Zero-shot 방식을 기반으로 any-speaker TTS를 수행
• Score-based diffusion model을 활용하고, any-speaker adaptive setting에 대응하는 hierarchical transformer encoder를 도입
• 결과적으로 기존의 다른 any-speaker TTS 모델들보다 뛰어난 성능을 달성

2. Method

• Speaker adaptive TTS는 target speaker의 text transcription, reference speech를 바탕으로 음성을 생성함
  • 이를 위해 mel-spectrogram과 같은 audio feature를 합성해야 함
  • Text $\mathbf{x}=[{\mathbf{x}}_1,...,{\mathbf{x}}_n]$은 phoneme으로 구성되고, reference speech $\mathbf{Y}=[{\mathbf{y}}_1,...,{\mathbf{y}}_m]\in {\mathbb{R}}^{m\times 80}$이라 하자
    - 이때 TTS model의 목표는 ground-truth speech $\tilde{\mathbf{Y}}$를 생성하는 것
    
  • Grad-StyleSpeech는 3부분으로 구성됨
    - Reference speech를 style vector에 반영하는 Mel-Style Encoder
    - Text와 style vector로 condition된 representation을 생성하는 Hierarchical Transformer Encoder
    - Denoising step에 따라 mel-spectrogram을 생성하는 Diffusion Model

Overall of Grad-StyleSpeech

- Mel-Style Encoder

• Mel-style encoder를 사용하여 reference speech를 latent style vector에 embedding 함
  • 수식적으로는 $\mathbf{s}=h_{\psi }(\mathbf{Y})$으로 나타낼 수 있음
    - $\mathbf{s}\in {\mathbb{R}}^{d^{\prime }}$ : style vector
    - $h_{\psi }$ : $\psi$에 의해 parameterize 된 mel-style encoder
    
  • 구조적으로 mel-style encoder는
    - Spectral/temporal processor, Transformer layer, Temporal average pooling으로 구성됨

- Score-based Diffusion Model

• Diffusion model은 unit Gaussian 분포 $\mathcal{N}(0,I)$를 따르는 prior noise 분포에서 sampling 된 noise를 점진적으로 denoising 하여 sample을 생성
  - 이때 Grad-StyleSpeech는 Markov chain 대신 Grad-TTS가 채택한 SDE 기반의 denoising process를 활용

• Forward Diffusion Process
  • Forward diffusion process는 noise 분포 $\mathcal{N}(0,I)$에서 얻어진 noise를, sample 분포 ${\mathbf{Y}}_0\sim p_0$에서 가져온 sample에 점진적으로 추가하는 과정
  • Forward diffusion process에 대한 differential equation을 다음과 같이 정의하자:
    $d{\mathbf{Y}}_t=-\frac{1}{2}\beta (t){\mathbf{Y}}_{t}dt+\sqrt{\beta (t)}d{\mathbf{W}}_t$
    - $t\in [0,T]$ : continuous time step, $\beta (t)$ : noise scheduling function, ${\mathbf{W}}_t$ : standard Wiener process
  • 이때 Grad-TTS는 data-driven prior noise 분포 $\mathcal{N}(\mu ,I)$에서 denoising을 수행할 것을 권장:
    (Eq. 1) $d{\mathbf{Y}}_t=-\frac{1}{2}\beta (t)({\mathbf{Y}}_t-\mu )dt+\sqrt{\beta (t)}d{\mathbf{W}}_t$
    - $\mu$ : neural network의 text/style-conditioned representation
  • 그러면 Gaussian 분포를 따르는 transition kernel $p_{0t}({\mathbf{Y}}_t|{\mathbf{Y}}_0)$는 tractable 하므로:
    (Eq. 2) $p_{0t}(\mathbf{Y}|{\mathbf{Y}}_0)=\mathcal{N}({\mathbf{Y}}_t;{\gamma }_t,{\sigma }_t^2),{\sigma }_t^2=I-e^{-{\int }_0^t\beta (s)ds}{\mathbf{Y}}_0$
    ${\gamma }_t=(I-e^{-\frac{1}{2}{\int }_0^t\beta (s)ds})\mu +e^{-\frac{1}{2}{\int }_0^t\beta (s)ds}{\mathbf{Y}}_0$
• Reverse Diffusion Process
  • Reverse diffusion process는 $p_T$의 noise를 $p_0$의 data sample로 점진적으로 invert 하는 과정
  • 따라서 (Eq. 1)에 대한 reverse process는 reverse-time SDE로써:
    $d{\mathbf{Y}}_t=[-\frac{1}{2}\beta (t)({\mathbf{Y}}_t-\mu )-\beta (t){\mathrm{\nabla }}_{{\mathbf{Y}}_t}\log p_t({\mathbf{Y}}_t)]dt+\sqrt{\beta (t)}d{\tilde{\mathbf{W}}}_t$
    - ${\tilde{\mathbf{W}}}_t$ : reverse Wiener process, ${\mathrm{\nabla }}_{{\mathbf{Y}}_t}\log p_t({\mathbf{Y}}_t)$ : data 분포 $p_t({\mathbf{Y}}_t)$의 score function
  • Reverse SDE를 풀기 위해 numerical SDE solver를 활용하여 noise ${\mathbf{Y}}_t$로부터 sample ${\mathbf{Y}}_0$를 생성할 수 있음
    - 이때 exact score를 얻기가 어렵기 때문에 neural network ${ϵ}_{\theta }({\mathbf{Y}}_t,t,\mu ,\mathbf{s})$를 이용하여 score를 추정

- Hierarchical Transformer Encoder

• Diffusion model을 활용하는 multi-speaker TTS에서 $\mu$는 중요한 역할을 함
  • 따라서 encoder가 3-level hierarchy를 가지도록 구성
    1. 먼저 text encoder $f_{\lambda }$는 phoneme sequence의 contextual representation을 위해 multiple transformer block을 통해 input text를 hidden representation으로 mapping:
       $\mathbf{H}=f_{\lambda }(x)\in {\mathbb{R}}^{n\times d}$
    2. 이후 input text $\mathbf{x}$와 target speech $\mathbf{Y}$ 사이의 alignment를 계산하고, text encoder의 output length를 target speech의 length로 regulate 하는 unsupervised alignment learning framework를 적용:
       $Align(\mathbf{H},\mathbf{x},\mathbf{Y})=\tilde{\mathbf{H}}\in {\mathbb{R}}^{m\times d}$
       - 추가적으로 각 phoneme의 duration을 예측하기 위해 duration predictor를 도입
    3. 마지막으로 speaker-adaptive hidden representation을 얻기 위해 style-adaptive transformer block을 통해 length-regulated embedding sequence를 encoding:
       $\mu =g_{\varphi }(\tilde{\mathbf{H}},\mathbf{s})$
       - $\mathbf{s}$ : style vector
  • 구조적으로는, Style-Adaptive Layer Normalization (SALN)을 통해 style-adaptive encoder의 transformer block에 style information을 반영
    - 이를 통해 hierarchical transformer encoder는 input text $\mathbf{x}$의 linguistic content와 style vector $\mathbf{s}$의 style information을 반영한 hidden representation $\mu$를 얻음
    - 이렇게 얻어진 $\mu$는 denoising diffusion model의 style-conditioned prior noise 분포를 구성하는데 사용됨
  • 이때 Grad-TTS와 마찬가지로 prior loss ${\mathcal{L}}_{prior}=||\mu -\mathbf{Y}|{|}_2^2$를 적용
    - $\mu$와 $\mathbf{Y}$ 간의 $L2$ distance를 최소화하는 방식으로 최적화됨

- Training

• Score estimation network ${ϵ}_{\theta }$를 training 하기 위해
  • Tractable transition kernel $p_{0t}({\mathbf{Y}}_t|{\mathbf{Y}}_0)$에 대한 marginalization의 expectation을 계산:
    (Eq. 3) ${\mathcal{L}}_{diff}={\mathbb{E}}_{t\sim \mathcal{U}(0,T)}{\mathbb{E}}_{{\mathbf{Y}}_0\sim p_{0t}({\mathbf{Y}}_t|{\mathbf{Y}}_0)}||{ϵ}_{\theta }({\mathbf{Y}}_t,t,\mu ,\mathbf{s})-{\mathrm{\nabla }}_{{\mathbf{Y}}_t}\log p_{0t}({\mathbf{Y}}_t|{\mathbf{Y}}_0)|{|}_2^2$
    - $\mathbf{s}$ : style vector, ${\mathbf{Y}}_t$ : (Eq. 2)의 Gaussian 분포에서 sample 되는 값
    
  • 이후 exact score computation은:
    (Eq. 4) ${\mathcal{L}}_{diff}={\mathbb{E}}_{t\sim \mathcal{U}(0,T)}{\mathbb{E}}_{{\mathbf{Y}}_0\sim p_0({\mathbf{Y}}_0)}{\mathbb{E}}_{ϵ\sim \mathcal{N}(0,I)}||{ϵ}_{\theta }({\mathbf{Y}}_t,t,\mu ,\mathbf{s})+{\sigma }_t^{-1}ϵ|{|}_2^2$
    - ${\sigma }_t=\sqrt{1-e^{-{\int }_0^t\beta (s)ds}}$ : (Eq. 1) 참고
  • 따라서 aligner와 duration predictor training에 대한 ${\mathcal{L}}_{align}$까지 결합한 최종 training objective는:
    $\mathcal{L}={\mathcal{L}}_{diff}+{\mathcal{L}}_{prior}+{\mathcal{L}}_{align}$

3. Experiments

- Settings

• Dataset : LibriTTS, VCTK
• Comparisons : YourTTS, Grad-TTS, Meta-StyleSpeech, AdaSpeech

- Results

• Unseen speaker에 대한 zero-shot adaptation 성능을 비교해 보면
  • SECS, CER 측면에서 Grad-StyleSpeech의 성능이 가장 우수한 것으로 나타남
  • 특히 Grad-StyleSpeech는 Grad-TTS 보다 훨씬 뛰어난 성능을 보임
    - 이는 any-speaker adaptation 성능이 diffusion model 뿐만 아니라 hierarchical transformer encoder에서도 파생된다는 것을 의미

정량적 성능 비교 결과

• MOS 측면의 주관적 합성 품질 비교에서도 Grad-StyleSpeech가 가장 우수한 성능을 보임

주관적 합성 품질 비교 결과

• 합성된 음성에 대한 mel-spectrogram을 확인해 보면,
  • Grad-StyleSpeech는 diffusion model을 활용함으로써 high-frequency component를 detail 하게 모델링함
  • 결과적으로 over-smoothing 문제를 극복 가능

Mel-Spectrogram 비교

• Grad-StyleSpeech를 unseen speaker에 대해 fine-tuning 했을 때의 결과를 살펴보면,
  • Diffusion model과 Style-adaptive encoder를 100 step으로 fine-tuning 했을 때 AdaSpeech 보다 우수한 성능을 달성
  • 이러한 fine-tuning은 speaker similarity를 확보하는데 효과적인 것으로 나타남

Few-shot Fine-tuning에 대한 결과 비교