[Paper 리뷰] MeanVoiceFlow2: Joint Optimization of Mean Flow and Content Encoder for Fast One-Step Zero-Shot Voice Conversion

MeanVoiceFlow2: Joint Optimization of Mean Flow and Content Encoder for Fast One-Step Zero-Shot Voice Conversion

---

• Flow matching을 활용하면 high-quality voice conversion이 가능함
• MeanVoiceFlow2
  • MeanVoiceFlow를 기반으로 content encoder의 computational bottleneck을 완화
  • 추가적으로 disentanglement를 향상하기 위해 sample mixing과 Diffusion-GAN training을 incorporate
• 논문 (INTERSPEECH 2026) : Paper Link

---

1. Introduction

• Voice Conversion (VC)는 linguistic content를 preserve 하면서 source speaker voice를 target speaker로 transform 하는 것을 목표로 함
  • 특히 최근의 diffusion/flow-matching model을 사용하면 high-quality speech를 생성할 수 있음
    - BUT, 해당 방식은 multi-step generation으로 인한 추론 속도의 한계가 있음
  • 이때 MeanVoiceFlow와 같은 one-step diffusion/flow-matching model을 사용하면 추론 속도를 향상할 수 있지만, 여전히 content encoder로 인한 computational bottleneck이 존재함

-> 그래서 MeanVoiceFlow를 기반으로 content encoder의 bottleneck을 완화한 MeanVoiceFlow2를 제안

 

• MeanVoiceFlow2
  • Conversion distillation과 real-data reconstruction을 통해 flow-based module과 content encoder를 jointly optimize
  • Sample mixing과 Diffusion-GAN-based adversarial training을 활용하여 speech의 realism을 개선하고 teacher-guided conditioning augmentation을 통해 content-speaker disentanglement를 향상

< Overall of MeanVoiceFlow2 >

• Flow-based model과 content encoder를 jointly optimize한 one-step zero-shot VC model
• 결과적으로 기존보다 우수한 성능을 달성

2. Preliminary

• MeanVoiceFlow는 mel-spectrogram $x\sim p_{data}(x)$를 speaker embedding $s$, content embedding $c$로 condition 하여 one-step zero-shot VC를 수행함
  • 이때 각 embedding은 speaker encoder, content encoder에서 얻어짐
  • Conversion 시에는 target speech에서 speaker embedding $s^{tgt}$, source speech에서 content embedding $c^{src}$를 추출함
    
    1. 여기서 MeanVoiceFlow는 다음의 linear flow path를 고려함:
       (Eq. 1) $ z_{t}^{tgt}=(1-t)x_{real}^{tgt}+t\hat{\epsilon}^{src}$
       - $t\in[0,1]$ : time
    2. $\hat{\epsilon}^{src}$는 diffused source sample로써:
       (Eq. 2) $\hat{\epsilon}^{src}=(1-\alpha)x_{real}^{src}+\alpha\epsilon $
       - $\epsilon\sim \mathcal{N}(0,I)$
    3. Training 시 $\alpha\in[0,1]$은 logit-normal distribution에서 sampling 되므로, sigmoid function $\sigma(\cdot)$에 대해 $\alpha'\sim\mathcal{N}(0,1)$이고 $\alpha=\sigma(\alpha')$
       - 추론 시에는 $\alpha$를 constant value로 fix 함
  • 결과적으로 pure noise $\epsilon$ 대신 $\hat{\epsilon}^{src}$를 사용하면 unconditional generation과 source-conditioned conversion을 모두 포함한 unified formulation을 얻을 수 있음
    1. $v(z_{t},t,s,c,\alpha)$를 $s,c,\alpha$에 condition 된 $(z_{t},t)$에서의 instantaneous velocity라고 하자
    2. 그러면 MeanVoiceFlow는 interval $[r,t]$의 average velocity를 사용하여 $r,t$ 간의 average displacement를 represent 함:
       (Eq. 3) $u(z_{t},r,t,s,c,\alpha)=\frac{1}{t-r}\int_{r}^{t}v(z_{\tau},\tau,s,c,\alpha)d\tau$
       
    3. Average velocity는 neural network $u_{\theta}$로 modeling 되고, one-step conversion은 다음과 같이 수행됨:
       (Eq. 4) $x_{\theta}^{conv}=\hat{\epsilon}^{src}-u_{\theta}(\hat{\epsilon}^{src},0,1,s^{tgt},c^{src},\alpha)$
       - $s^{tgt}$ : mini-batch에서 $s^{src}$를 randomly shuffle 하여 얻어짐
       - $u_{\theta}^{conv}$는 $u_{\theta}(\hat{\epsilon}^{src}, 0,1,s^{tgt},c^{src},\alpha)$와 같음

3. Method

• MeanVoiceFlow에서는 content embedding $c$가 model input으로 주어짐
  • BUT, $c$를 추출하기 위해서는 content encoder를 사용해야 하므로 computational bottleneck이 발생함
  • 따라서 논문은 fixed pre-trained content encoder $c_{\theta}$를 computationally-efficient, trainable content encoder $c_{\phi}$로 replace 하고 student average velocity network $u_{\phi}$를 도입함
    1. $u_{\phi}$는 pre-trained teacher model $u_{\theta}$의 guidance 하에서 $c_{\phi}$와 jointly optimize 됨
    2. 이를 통해 end-to-end training을 지원하여 fixed content encoder로 인한 computational bottleneck을 제거함

- Joint Conversion Distillation and Reconstruction

• Conversion Distillation
  • Teacher model의 input-output behavior를 mimic 하기 위해 conversion distillation loss를 도입함:
    (Eq. 5) $\mathcal{L}_{dist}^{conv}(\phi)=\mathbb{E}\left[d\left(u_{\theta}^{conv}, u_{\phi}^{conv}\right)\right]$
  • $u_{\theta}^{conv},u_{\phi}^{conv}$는 각각 teacher, student output으로써, teacher output은 (Eq. 4)를 통해 얻어지고 student output은 다음과 같이 얻어짐:
    (Eq. 6) $u_{\phi}^{conv}=u_{\phi}\left(\hat{\epsilon}^{src},0,1,s^{tgt},c_{\phi}(x_{real}^{src}),\alpha\right)$
    - $d(\cdot, \cdot)$ : distance measure
  • 논문은 adaptively weighted loss를 사용하고, $d(a,b)=\frac{||a-b||_{2}^{2}}{\text{sg}(||a-b||_{2}^{2}+\epsilon)}$과 같음
    - $\text{sg}(\cdot)$ : stop-gradient operation, $\epsilon=10^{-3}$
• Real-Data Reconstruction
  • Distillation framework에서 student는 teacher-generated conversion output으로 supervise 됨
  • BUT, distillation만으로는 real data와의 consistency를 보장하기 어려우므로 paired source-target data에 의존하지 않는 real-data reconstruction loss를 도입함:
    (Eq. 7) $\mathcal{L}_{real}^{rec}(\phi)=\mathbb{E}\left[d\left(u_{\phi}^{rec}, u_{real}^{src}\right)\right]$
  • $u^{rec}_{\phi}$는 reconstruction condition 하에서의 student output으로써:
    (Eq. 8) $u_{\phi}^{rec}=u_{\phi}\left(\hat{\epsilon}^{src},0,1,s^{src},c_{\phi}(x_{real}^{src}),\alpha\right)$
    
  • Real source data에서 derive 되는 ground-truth velocity는:
    (Eq. 9) $u_{real}^{src}=\hat{\epsilon}^{src}-x_{real}^{src}$

Overview

- Diffusion-GAN Training with Sample Mixing

• Adversarial Conversion Training
  • Pairwise distance loss만 사용하면 perceptual realism이 degrade 되므로, 논문은 Diffusion-GAN-based adversarial training과 teacher/student sample 간의 discrepancy를 emphasize 하는 sample mixing을 도입함
  • (Eq. 4)는 teacher/student generated sample $x_{\theta}^{conv}, x_{\phi}^{conv}$를 얻는 데 사용됨
    1. 이를 기반으로 논문은 다음의 mixed sample을 고려함:
       (Eq. 10) $x_{mix}^{conv}=(1-\beta)x_{\theta}^{conv}+\beta x_{\phi}^{conv}$
       - $\beta\in[0,1]$ : logit-normal distribution에서 추출됨
    2. Teacher, mixed sample은 diffusion process에서 further perturbe 됨:
       (Eq. 11) $\hat{\epsilon}_{\theta}^{conv}=(1-\gamma)x_{\theta}^{conv}+\gamma\epsilon'$
       (Eq. 12) $\hat{\epsilon}_{mix}^{conv}=(1-\gamma)x_{mix}^{conv}+\gamma\epsilon'$
       - $\gamma\in[0,1]$ : logit-normal distribution에서 추출됨, $\epsilon'\sim \mathcal{N}(0,I)$
    3. Least-squares GAN objective를 적용하면:
       (Eq. 13) $\mathcal{L}_{adv}^{conv}(\psi)=\mathbb{E}\left[\left( \mathcal{D}_{\psi}\left( \hat{\epsilon}_{\theta}^{conv},s^{tgt},c^{src},\gamma\right)-1\right)^{2}+\left( \mathcal{D}_{\psi}\left( \hat{\epsilon}_{mix}^{conv},s^{tgt},c^{src},\gamma\right)-1\right)^{2}\right]$
       (Eq. 14) $ \mathcal{L}_{adv}^{conv}(\phi)=\mathbb{E}\left[ \left(\mathcal{D}_{\psi}\left(\hat{\epsilon}_{mix}^{conv}, s^{tgt},c^{src},\gamma\right)-1\right)^{2}\right]$
       - $\mathcal{D}_{\psi}$ : discriminator
  • 해당 GAN obejctive는 conversion setting과 diffusion noise level과의 consistency를 위해 $s^{tgt},c^{src},\gamma$로 condition 됨
    - Discriminator $\mathcal{D}_{\psi}$는 time variable $r,t$를 omit 한 teacher average velocity network $u_{\theta}$와 동일한 network architecture를 사용함
• Adversarial Reconstruction Training
  1. 마찬가지로 동일한 Diffusion-GAN procedure, data-mixing strategy를 reconstructed sample $x_{\phi}^{rec}=\hat{\epsilon}^{src}-u_{\phi}^{rec}$와 real data $x_{real}^{src}$에도 적용함
  2. 결과적으로 adversarial loss는 $\mathcal{L}_{adv}^{rec}(\psi),\mathcal{L}_{adv}^{rec}(\phi)$와 같이 얻어짐

- Teacher-Guided Conditioning Augmentation

• Content encoder가 speaker-invariant representation을 학습할 수 있도록, 논문은 teacher-guided conditioning augmentation strategy를 도입함
  • 이를 위해 content encoder input을 speaker-augmented condition 하에서 teacher model이 생성한 speech로 replace 하는 additional forward path를 고려함
    1. 즉, teacher model을 사용해 augmented sample을 생성하고:
       (Eq. 15) $x_{\theta}^{aug}=\epsilon^{''}-u_{\theta}(\epsilon^{''},0,1,s^{aug},c^{src},1)$
       - $\epsilon^{''}\sim\mathcal{N}(0,I)$, $s^{aug}$ : mini-batch 내에서 $s^{src}$를 randomly shuffle 하여 얻어짐
    2. Resulting representation $c_{\phi}(x_{\theta}^{aug})$는 (Eq. 6), (Eq. 8)의 $c_{\phi}(x_{real}^{src})$를 replace 함
       - 이때 loss는 $\mathcal{L}_{dist}^{conv\text{-}aug}(\phi),\mathcal{L}_{real}^{rec\text{-}aug}(\phi)$와 같음
  • 결과적으로 얻어지는 final student objective는:
    (Eq. 16) $\mathcal{L}_{MVF2}(\phi)=\underset{\text{Conversion}}{\underbrace{\mathcal{L}_{dist}^{conv}(\phi) +\mathcal{L}_{dist}^{conv\text{-}aug}(\phi)+\lambda_{adv}\mathcal{L}_{adv}(\phi)}}+ \underset{\text{Reconstruction}}{\underbrace{\mathcal{L}_{real}^{rec}(\phi)+ \mathcal{L}_{real}^{rec\text{-}aug}(\phi)+\lambda_{adv}\mathcal{L}_{adv}^{rec}(\phi)}}$
    - $\lambda_{adv}=1$ : hyperparameter
  • Discriminator obejctive는:
    (Eq. 17) $\mathcal{L}_{MVF2}(\psi)=\mathcal{L}_{adv}^{conv}(\psi)+\mathcal{L}_{adv}^{rec}(\psi)$

4. Experiments

- Settings

• Dataset : VCTK
• Comparisons : MeanVoiceFlow, FasterVoiceGrad, DiffVC

- Results

• 전체적으로 MeanVoiceFlow2의 성능이 가장 우수함

Model 성능 비교

• LibriTTS dataset에 대해서도 robust 한 성능을 보임

LibriTTS에서의 성능

• Ablation Study
  • Diffusion-GAN training과 sample mixing을 모두 사용했을 때 최고의 성능을 달성함

Ablation Study

• Conditioning augmentation을 적용하면 더 나은 성능을 달성할 수 있음

Conditioning Augmentation의 효과

• Joint conversion, reconstruction 역시 성능 향상에 유효함

Joint Conversion, Reconstruction의 효과