[Paper 리뷰] RobustSpeechFlow: Learning Robust Text-to-Speech Trajectories via Augmentation-based Contrastive Flow Matching

RobustSpeechFlow: Learning Robust Text-to-Speech Trajectories via Augmentation-based Contrastive Flow Matching

---

• Flow-matching Text-to-Speech는 imperfect alignment로 인한 content fidelity의 한계가 존재함
• RobustSpeechFlow
  • Length-preserving repeat와 skip latent augmentation을 활용한 contrastive flow matching을 통해 alignment robustness를 향상
  • External aligner와 preference data에 대한 의존성을 제거하고 기존 pipeline에 readily integrate
• 논문 (INTERSPEECH 2026) : Paper Link

---

1. Introduction

• Text-to-Speech (TTS)는 여전히 word/phrase repetition, skipping으로 인한 content fidelity 문제가 있음
  • 특히 DiTTo-TTS, F5-TTS와 같은 Flow Matching (FM)-based latent generation model은 tight capacity, latency constraint 하에서 content stability를 만족하기 어려움
  • DiTAR, VibeVoice와 같은 autoregressive language model 역시 content fidelity와 alignment의 한계가 존재함
  • 해당 misalignment를 mitigate 하기 위해 Classifier-Free Guidance, preference-based approach 등을 고려할 수 있지만 training complexity가 증가하고 data curation이 필요하다는 단점이 있음

-> 그래서 additional module/dataset 없이 alignment robustness를 향상할 수 있는 RobustSpeechFlow를 제안

 

• RobustSpeechFlow
  • Latent space augmentation을 통해 skip/repeat failure에 대한 speech-specific contrastive negative를 생성
  • External aligner/preference dataset에 대한 의존성을 제거하여 기존 TTS pipeline에 readily integrate

< Overall of RobustSpeechFlow >

• Simple latent space augmentation을 활용한 contrastive FM TTS training strategy
• 결과적으로 기존보다 우수한 성능을 달성

2. Method

- Preliminary: Conditional Flow Matching

• $x\in\mathbb{R}^{C\times T}$를 speech autoencoder가 생성한 continuous latent speech sequence, $c$를 text/optinonal speaker prompt와 같은 conditioning input이라고 하자
  • 논문은 conditional flow matching을 위해 standard linear probability path를 사용함:
    (Eq. 1) $ \epsilon\sim\mathcal{N}(0,I),\,\,t\sim U(0,1),\,\,x_{t}=(1-t)\epsilon+tx$
  • Target velocity는 $v(x,\epsilon)=x-\epsilon$이고 neural vector field $u_{\theta}(x_{t},t,c)$는 다음과 같이 training 됨:
    (Eq. 2) $\mathcal{L}_{pos}=\mathbb{E}\left[\left|\left| u_{\theta}(x_{t},t,c)-v(x,\epsilon )\right|\right|_{2}^{2}\right]$

- Baseline: Contrastive FM with Random Negatives

• Simple contrastive extension은 다른 batch에서 negative latent $x_{rand}^{-}$를 sample 한 다음,
  • 해당 negative velocity를 기반으로 contrastive regularization term을 도입함:
    (Eq. 3) $\mathcal{L}_{rand}=\mathbb{E}\left[\left|\left| u_{\theta}(x_{t},t,c)-v(x_{rand}^{-},\epsilon)\right|\right|_{2}^{2}\right]$
  • BUT, TTS에서는 random negative가 conditioning text와 semantically unrelate 할 수 있으므로 alignment error를 correctly target 할 수 없음

Training Step

- TTS Failure-mode Negatives via Latent Augmentation

• TTS system에서는 pronunciation repeat, local text span skip과 같은 alignment loss가 발생할 수 있음
  • 따라서 논문은 overall length를 fix 하고 ground-truth latent sequence를 perturbe 하여 TTS failure-mode negative를 생성함
  • 각 utterance에 대해 augmentation type $m\in\{\text{rep},\text{skip}\}$을 $\text{Pr}(m=\text{rep})=\text{Pr}(m=\text{skip})=0.5$로 choice 함
    1. 이후 coverage budget $\kappa$를 sample 함
       - Repeat의 경우 $\kappa\sim U(0.2,0.4)$, skip의 경우 $\kappa\sim U(0.4, 0.8)$
    2. Chosen mode 내에서 0.1s에서 5.0s의 frame에 해당하는 span length를 uniformly sample 하고, cumulative modified coverage가 sampled budget을 exceed 할 때까지 edit를 적용함
• Repeat Augmentation
  • 먼저 original sequence의 copy로 $x_{rep}^{-}=x$와 같이 negative latent를 initialize 함
  • 이후 source span $[s,s+\ell)$을 sample 하고 $k+\ell\leq T$의 target start $k$를 구한 다음, target region을 source content로 overwrite 함:
    (Eq. 4) $x_{rep}^{-}[k:k+\ell]\leftarrow x[s:s+\ell],\,\,\,\text{s.t.}\,\,s\neq k$
  • Duplicated frame을 append 하는 대신 target region을 overwrite 하면 original sequence length를 strictly preserve 할 수 있음
    - 이를 통해 real-world TTS misalignment의 repeat-and-skip failure를 simulate 할 수 있음
• Skip Augmentation
  • $x_{skip}^{x}=x$와 같이 negative latent를 original sequence copy로 initialize하고, skip start index $s_{1}$과 skip length $\ell$을 sampling함
  • 이후 subsequent latent sequence를 forward shift하여 skipped region을 overwrite하여 local skip을 simulate함:
    (Eq. 5) $x_{skip}^{-}[s_{1}:T-\ell]\leftarrow x[s_{1}+\ell :T]$
  • Sequence를 shift한 다음, utterance tail의 remaining $\ell$ frame $[T-\ell :T]$은 pre-computed silence latent $x_{sil}$로 replace됨
    - 이를 통해 global sequence duration을 preserve하면서 realistic skip error를 simulate할 수 있음
• Implementation Details
  • 해당 negative는 speaker identity, acoustic texture 측면에서는 original utterance와 close하지만 local text-speech correspondence를 corrupt함
    - 즉, 해당 negative는 random batch negative 보다 더 harder하고 conditioning text와 더 relevant함
  • 이때 skip negative의 tail을 pad하는 silence latent $x_{sil}$은 zero-padded waveform을 codec으로 encoding하고 resulting latent frame을 required length 만큼 repeat하여 사용함
  • 결과적으로 augmentation-based contrastive regularization은:
    (Eq. 6) $\mathcal{L}_{aug}=\mathbb{E}\left[\left|\left| u_{\theta}(x_{t},t,c)-v(x^{-}_{aug},\epsilon)\right|\right|_{2}^{2}\right]$
    - $x_{aug}^{-}\in\{x_{rep}^{-},x_{skip}^{-}\}$ : chosen augmentation mode로 corrupt된 latent

- Overall Objective

• Overall training objective는 positive flow matching loss, contrastive regularization term을 combine하여 얻어짐:
  (Eq. 7) $\mathcal{L}=\mathcal{L}_{pos}-\lambda_{rand}\mathcal{L}_{rand}-\lambda_{aug}\mathcal{L}_{aug}$

3. Experiments

- Settings

• Dataset : English, Korean Dataset (internal)
• Comparisons : DiTAR, F5-TTS, CosyVoice3, IndexTTS2, VibeVoice, VoxCPM 등

- Results

• 전체적으로 RobustSpeechFlow의 성능이 가장 우수함

Model 성능 비교

• Alignment 측면에서도 robust한 성능을 보임

Alignment Robustness

• Augmentation-based negative를 사용하면 high-stress alignment scenario에서도 consistent gain을 얻을 수 있음

Training Stability