[Paper 리뷰] RAF: Relativistic Adversarial Feedback for Universal Speech Synthesis

RAF: Relativistic Adversarial Feedback for Universal Speech Synthesis

---

• GAN-based vocoder의 in-domain fidelity와 unseen scenario generalization을 향상해야 함
• RAF
  • Speech Self-Supervised Learning model을 활용해 discriminator의 sample evaluation을 assist
  • Real/fake waveform에 대한 relativistic pairing을 통해 training data distribution modeling을 개선
• 논문 (INTERPSEECH 2026) : Paper Link

---

1. Introduction

• Neural vocoder는 mel-spectrogram을 기반으로 speech waveform을 생성함
  • 특히 HiFi-GAN, MelGAN, BigVGAN과 같은 Generative Adversarial Network (GAN)-based vocoder는 high-fidelity synthesis가 가능함
  • BUT, 해당 GAN-based vocoder는 generalization과 efficiency의 trade-off가 존재함

-> 그래서 GAN-based vocoder를 위한 Relativistic Adversarial Feedback (RAF) framework를 제안

 

• RAF
  • Self-Supervised Learning (SSL) model을 활용하여 discriminator의 pairwise discrimination과 generator의 generalized representation learning을 향상
  • Quality gap, discriminator gap에 기반한 relativistic feedback을 반영하여 adversarial training을 개선

< Overall of RAF >

• Relativistic feedback과 SSL model을 활용한 GAN-based vocoder training framework
• 결과적으로 기존보다 우수한 성능을 달성

2. Preliminary: Relativistic Pairing GAN

• $y$를 ground-truth waveform, $x$를 input mel-spectrogram, $G(x)$를 predicted waveform이라고 하자
  • Least Squares GAN (LSGAN)에서 generator $G$, discriminator $D$의 training objective는:
    (Eq. 1) $\mathcal{L}_{G}=\mathbb{E}_{x}\left[(D(G(x))-1)^{2}\right] $
    (Eq. 2) $\mathcal{L}_{D}=\mathbb{E}_{y}\left[(D(y)-1)^{2}\right] +\mathbb{E}_{x}\left[D(G(x))^{2}\right]$
  • Relativistic Parining GAN (RpGAN)은 discriminator가 generated/ground-truth sample의 relative realness를 estimate 하도록 training objective를 modify 함:
    (Eq. 3) $\mathcal{L}_{G}=\mathbb{E}_{y,x}\left[f(D(y)-D(G(x)) )\right]$
    (Eq. 4) $\mathcal{L}_{D}=\mathbb{E}_{y,x}\left[f(D(G(x))-D(y) )\right]$
    - $f$는 flexibly choice 됨
  • 즉, RpGAN은 fake/ground-truth sample 간의 relative fidelity를 discriminator score로 mapping 하고, scalar-fixed function $f$를 통해 sample 간의 non-separability를 impose 함
    - 이를 통해 discriminator는 각 real-fake sample pair 마다 individual decision boundary를 assign 할 수 있음

3. Method

• RAF는 relativistic discriminator feedback을 통해 SSL model-aided discriminator gap을 minimize 함
  • 논문은 해당 GAN training framework에서 SSL embedding을 discriminator에 대한 perceptual guidance로 사용하여 human speech와의 strong correlation과 robust generalization capability를 반영함
  • 추가적으로 non-separable training objective를 도입하여 data distribution의 diverse nature를 capture 함
    - 이를 통해 discriminator는 real/fake pair마다 individual decision boundary를 구성할 수 있음

- Quality Gap

• 논문은 quality gap prediction을 위한 SSL model로 WavLM, HuBERT를 채택함
  • WavLM은 perceptual quality와 highly correlate 되어 있는 last convolutional layer를 feature extractor로 사용하고, HuBERT는 22nd layer를 conditioning feature로 사용함
  • 먼저 input waveform은 $\texttt{Hann}$ window의 windowed-sinc interpolation filter를 사용하여 16kHz로 downsample 된 다음, feature extraction model $F_{s}$에 전달됨
    1. $s\in\{W,H\}$에서 $W$가 WavLM, $H$가 HuBERT를 나타낸다고 할 때, latent representation은 $F_{s}(\cdot)\in\mathbb{R}^{B\times T\times C}$와 같이 얻어짐
       - $B$ : batch size, $T$ : sequence length, $C$ : embedding dimension
    2. Reshape operation을 통해 tensor를 $B,T\times C$로 convert 하고 output normalized representation $Z_{s}(\cdot)$이 unit norm을 가지도록 $\ell_{2}$-normalization을 수행함
    3. 그러면 generated/ground-truth sample에 대해 normalized embedding의 Mean Squared Error를 compute 하여 quality gap $Q_{s}\in\mathbb{R}^{B\times 1}$을 얻을 수 있음:
       (Eq. 5) $Q_{s}(y,G(x))=\frac{1}{TC}\left|\left| Z_{s}(y)-Z_{s}(G(x))\right|\right|_{2}^{2}$
       - $||\cdot||_{2}$ : channel dimension에 대한 $2$-norm
  • Normalization으로 인해 quality gap은 flattened representation dimension $T\times C$에서의 negative cosine similarity와 같이 동작하고, embedding space에서의 perceptual discrepancy를 capture 함
  • 추가적으로 논문은 16kHz 이상의 sampling rate에 대한 spectral pattern을 반영하기 위해 Multi-resolution STFT (M-STFT)를 도입함 
    1. 이때 M-STFT distance $Q_{M}$은:
       (Eq. 6) $Q_{M}(y,G(x))=\sum_{p=1}^{P}\left[\mathcal{L}_{sc}^{(p)}(y,G(x))+\mathcal{L}_{mag}^{(p)}(y,G(x))\right]$
       - $P$ : STFT resolution configuration 수, $sc, mag$ : spectral convergence loss, magnitude loss
    2. Window size는 $[256,512,1024,2048,4096]$을 사용하고 hop size는 각 window size의 $1/4$로 설정함
       
  • 결과적으로 각 quality gap estimator를 concatenate 하여 얻어지는 final quality gap $Q(y,G(x))$는:
    (Eq. 7) $Q(y,G(x))=\left[\alpha_{W}Q_{W},\alpha_{H}Q_{H},\alpha_{M}Q_{M}\right]\in\mathbb{R}^{B\times 3}$
    - $[\alpha_{W},\alpha_{H},\alpha_{M}]$ : hyperparameter

Overview

- Discriminator Gap

• 논문은 discriminator gap을 $D(G(x))$, $D(y)$ 간의 difference를 function $f$로 transform 한 값으로 정의함 
  • 이때 $f(x)=-\log (1+e^{-x})$이고, discriminator gap은 다음과 같이 얻어짐:
    (Eq. 8) $d(y,G(x))=-f\left(D(G(x))-D(y)\right)\in\mathbb{R}^{B\times 3}$
    - 이는 $\text{softplus}(D(y)-D(G(x)))$와 같이 동작하는 discriminator gap을 생성함
  • Discriminator output layer는 quality gap component 수에 맞게 extend 됨
    - 특히 discriminator output node는 WavLM, HuBERT, M-STFT의 quality gap을 implicitly modeling 함

- Adversarial Training Objective

• Discriminator loss function은 $d(y,G(x))$, $Q(y,G(x))$ 간의 Mean-Squared Error와 같음
  • $d(y,G(x))$에서 real, fake waveform을 pair 하므로 discriminator gap을 quality gap에 대해 pairwise approximation 하도록 induce 할 수 있음:
    (Eq. 9) $\mathcal{L}_{adv}(D;G)=\mathbb{E}_{y,x}\left[\left|\left| d(y,G(x))-Q(y,G(x))\right|\right|_{2}^{2}\right]$
  • 그러면 generator loss는:
    (Eq. 10) $\mathcal{L}_{adv}(G;D)=\mathbb{E}_{y,x}\left[d(y,G(x))\right]$
  • 결과적으로 iterative adversarial training은 real/fake waveform 간의 quality gap을 minimize 함

Training Algorithm

- Zero-Centered Gradient Penalty

• Real, fake data 모두에 zero-centered gradient penalty (0-GP)를 적용하면 convergence를 stabilize 할 수 있음
  • 이때 real, fake data에 대한 gradient penalty는:
    (Eq. 11) $\mathcal{R}_{1}(D)=\gamma\mathbb{E}_{y}\left[\left|\left| \nabla_{y}D\right|\right|_{2}^{2}\right]$
    (Eq. 12) $\mathcal{R}_{2}(D;G)=\gamma\mathbb{E}_{G(x)}\left[\left|\left| \nabla_{G(x)}D\right|\right|_{2}^{2}\right]$
    - $\gamma$ : hyperparameter
  • $\mathcal{R}_{1},\mathcal{R}_{2}$는 각각 real, fake data에서 $D$의 gradient norm을 regularize 함
    - 즉, real, fake distribution이 identical 할 때 discriminator gradient norm이 0이 되도록 GAN training을 penalize 함

- Mel Reconstruction and Feature Matching Loss

• Training stability를 위해 MelGAN, HiFi-GAN을 따라 mel-spectrogram loss와 feature matching loss를 도입함
  1. 먼저 mel-spectrogram loss는:
     (Eq. 13) $\mathcal{L}_{mel}(G)=\mathbb{E}_{y,x}\left[\left|\left| \phi(y)-\phi(G(x))\right|\right|_{1}\right]$
     - $\phi$ : mel-spectrogram transformation
  2. Feature matching loss는 discriminator의 $l$-th layer에서 ground-truth, fake sample에 대한 intermediate feature $D_{l}\in\mathbb{R}^{B\times N_{l}}$의 difference를 minimize 함:
     (Eq. 14) $\mathcal{L}_{FM}(G;D)=\mathbb{E}_{y,x}\left[\sum_{l=1}^{L}\frac{1}{N_{l}}\left|\left| D_{l}(y)-D_{l}(G(x))\right|\right|_{1}\right]$
     - $l\in\{1,...,L\}$
  3. 그러면 final reconstruction objective는:
     (Eq. 15) $\mathcal{L}_{recon}=\lambda_{FM}\mathcal{L}_{FM}(G;D)+\lambda_{mel}\mathcal{L}_{mel}(G)$
     - $\lambda_{FM}=1,\lambda_{mel}=26$

- Final Loss

• 결과적으로 얻어지는 final objective는:
  (Eq. 16) $\mathcal{L}(G)=\mathcal{L}_{adv}(G;D)+\mathcal{L}_{recon}(G)$
  (Eq. 17) $\mathcal{L}(D)=\mathcal{L}_{adv}(D;G)+\mathcal{R}_{1}(D)+\mathcal{R}_{2}(D;G)$
  - 논문은 7 step 마다 gradient penalty를 적용하여 training efficiency와 penalization을 balance 함

4. Experiments

- Settings

• Dataset : LibriTTS, LJSpeech, Deeply Korean Speech
• Comparisons : BigVGAN, BigVSAN, HiFi-GAN, Vocos, WaveFM

- Results

• GAN vocoder에 RAF를 적용하면 더 나은 성능을 달성할 수 있음

Model 성능 비교

• Unseen dataset에 대해서도 robust 한 성능을 보임

Unseen Dataset에서의 성능

• MOS 측면에서도 RAF가 더 우수함

MOS 비교

• Segment Size
  • RAF training에서 waveform segment size가 너무 짧은 경우 $Q(y,G(x))$의 quality gap prediction이 mislead 되어 ineffective training이 발생할 수 있음
  • 실제로 segment size가 클수록 estimation error도 감소함

Segment Size 별 Quality Estimation

• MetricGAN과의 비교
  • RAF는 explicit sample pairing을 통해 sample diversity를 향상하여 generalization을 promote 함
  • 실제로 RAF는 아래 그림과 같이 loss-level pairing의 diversity로 인해 mode를 가장 빠르게 recover 함 

1D Generation Problem

• Ablation Study
  • 각 component는 성능 향상에 유효함

Ablation Study

• Training Objectives 비교
  • 여러 adversarial training objective와 비교하여도 RAF가 가장 효과적임

Training Objective 별 성능 비교

• RAF는 dataset에 관계없이 뛰어난 성능을 보임

Dataset 별 Training Objective의 성능 비교