[Paper 리뷰] VibeVoice: Expressive Podcast Generation with Next-Token Diffusion

VibeVoice: Expressive Podcast Generation with Next-Token Diffusion

---

• Podcast와 같은 long-form, multi-speaker conversational audio를 생성하기 위해서는 Text-to-Speech system에서 scalability, speaker consistency, natural turn-taking를 보장할 수 있어야 함
• VibeVoice
  • 7.5 ultra-low frame rate의 continuous speech tokenizer를 활용해 long sequence efficiency를 개선
  • 추가적으로 next-token diffusion framework를 통해 expressive podcast generation을 지원
• 논문 (ICLR 2026) : Paper Link

---

1. Introduction

• VALL-E, CosyVoice2와 같은 Text-to-Speech (TTS) model을 활용하면 short utterance에서 natural-sounding speech를 생성할 수 있음
  • BUT, 해당 TTS model은 podcast와 같은 long-form, multi-speaker conversational audio에서는 한계를 보임
    - Vocal consistency를 보장하면서 natural turn-taking, pacing, non-lexical cue 등을 반영하기 어렵기 때문
  • 즉, conversational TTS를 위해서는 speaker interaction을 효과적으로 반영할 수 있어야 함

-> 그래서 podcast와 같은 long-form, multi-speaker conversational TTS를 위한 VibeVoice를 제안

 

• VibeVoice
  • 7.5Hz의 ultra-low frame rate에서 동작하는 acoustic, semantic tokenizer를 사용하여 rich, compact, hybrid input representation을 추출
  • 추가적으로 long conversational speech를 생성하기 위해 diffusion head를 포함한 end-to-end Large Language Model (LLM) architecture를 활용

< Overall of VibeVoice >

• Hybrid representation과 diffusion-based LLM architecture를 활용한 long-form conversational TTS model
• 결과적으로 기존보다 우수한 성능을 달성

2. Method

- Continuous Speech Tokenizer

• 논문은 acoustic, semantic feature에 대한 2개의 separate tokenizer를 input으로 사용함
  - 이때 acoustic tokenizer는 discrete codebook이 아닌 continuous latent space $\sigma$-VAE에서 동작함
• Acoustic Tokenizer
  • Acoustic tokenizer는 Variational AutoEncoder (VAE)를 기반으로 하는 $\sigma$-VAE variant를 도입해 autoregressive modeling에서 발생하는 variance collapse 문제를 mitigate 함
  • 이를 위해 input audio $x$를 latent distribution의 parameter $\mu$로 mapping 하는 $\phi$로 parameterize 된 encoder network를 활용함
    1. 특히 $\sigma$-VAE에서 variance $\sigma$는 VAE의 learnable distribution이 아닌 pre-defined distribution $\mathcal{N}(0,C_{\sigma})$를 사용함
    2. 이후 latent vector $z$는 reparameterization trick을 사용해 sampling 됨
  • 결과적으로 $\sigma$-VAE는 다음과 같이 formulate 됨:
    (Eq. 1) $\mu=\text{Encoder}_{\phi}(x)$
    $\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, z=\mu+\sigma\odot \epsilon, \,\,\, \text{where}\,\, \epsilon \sim\mathcal{N}(0,1), \,\sigma\sim\mathcal{N}(0,C_{\sigma})$
    $\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, \hat{x}=\text{Decoder}_{\psi}(z)$
• Semantic Tokenizer
  • Semantic tokenizer는 VAE를 제외한 acoustic tokenizer encoder의 hierarchical structure를 mirror 함
    - 이를 통해 deterministic content-centric feature extraction을 보장함
  • Semantic tokenizer의 training objective는 Automatic Speech Recognition (ASR)을 proxy task로 사용함
    - Training 시에는 output이 여러 Transformer decoder layer를 통해 decoding 되어 text transcript를 predict 하고, semantic encoder representation을 textual semantic과 align 함

(상) Acoustic Tokenizer (하) Semantic Tokenizer

- Input Representation

• Voice Prompt Feature
  • 각 speaker $k\in\{1,...,N\}$의 voice prompt feature에서 제공된 voice prompt waveform $v_{k}$는 acoustic tokenizer encoder를 통해서만 encode 됨
  • 이는 $\sigma$-VAE와 같이 raw waveform을 continuous VAE feature sequence $\mathcal{Z}_{a,k}=\text{Acoustic}_{VAE}(v_{k})$로 mapping 함
    - $\mathcal{Z}_{a,k}=\left[z_{a,k}^{1},...,z_{a,k}^{T_{k}^{v}}\right]\in\mathbb{R}^{T_{k}^{v}\times d_{a}}$
    - $T_{k}^{v}$ : speaker $k$ prompt의 sequence length, $d_{a}$ : acoustic feature dimension
  • $\mathcal{Z}_{a,k}$는 speaker에 대한 timbral, prosodic characteristic을 capture 함
• Text Script Embedding
  • Dialogue script의 text script embedding은 각 speaker $k$에 대한 turn $W_{k}$로 구성되고, subword unit으로 tokenize 됨
  • 이후 standard embedding layer를 사용하여 text embedding $E_{k}\in\mathbb{R}^{T_{k}^{s}\times d_{llm}}$으로 mapping 함
    - $T_{k}^{s}$ : speaker $k$의 script length, $d_{llm}$ : LLM hidden dimension
• Prompt Sequence 
  • Prompt sequence $X$는 acoustic-only voice prompt feature와 text script embedding을 concatenate 하고 speaker identifier $\text{Speaker}_{k}$를 interleave 하여 얻어짐
    
  • 즉, $ X=\left[\text{Speaker}_{1},\mathcal{Z}_{a,1},...,\text{Speaker}_{N},\mathcal{Z}_{a,N}; \text{Speaker}_{1},E_{1},...,\text{Speaker}_{N}, E_{N},\texttt{<S>}\right]$와 같음
    - $\texttt{<S>}$ : start-of-speech token
  • $\left\{\mathcal{Z}_{a,k}\right\}_{k=1,...,N}$은 LLM hidden dimension $d_{llm}$과 match 하기 위해 projection layer로 전달됨

Overview

- Speech Generation with Hybrid Speech Representation

• Acoustic feature는 fine-grained acoustic detail을 preserve 하고 semantic feature는 higher-level linguistic information을 capture 함
  • 따라서 VibeVoice는 두 feature를 모두 fully exploit 하기 위해 hybrid representation을 사용함
    1. 먼저 각 generation step에서 생성된 speech segment는 다음과 같이 predict 됨:
       (Eq. 2) $ z_{a,i+1}=\text{VibeVoice}(X,z_{p,0},...,z_{p,i})$
       (Eq. 3) $y_{i+1}=\text{Acoustic}_{Dec}(z_{a,i+1})$
       - $y_{i+1}$ : $(i+1)$-th step에서 생성된 speech segment의 waveform, $z_{p,i}\in\mathbb{R}^{d_{llm}}$ : hybrid speech representation
       
    2. $z_{p,i}$는 acoustic, semantic encoding을 combine 하여 얻어짐:
       (Eq. 4) $z_{p,i}=W_{a}z_{a,i}+W_{s}\text{Semantic}_{Enc}(y_{i})$
       - $W_{a}\in\mathbb{R}^{d_{llm}\times d_{a}}, W_{s}\in\mathbb{R}^{d_{llm}\times d_{s}}$ : learnable projection matrix
       
  • 특히 semantic feature는 text prompt와 close 하므로 semantic feature를 input으로 involve 하면 long-form speech에 대해 generation process를 stabilize 할 수 있음
  • 결과적으로 final speech는 각 decoding step에서 $Y=\text{concat}(y_{0},y_{1},..,y_{I})$와 같이 생성된 segment를 concatenate 하여 얻어짐

- Diffusion-based Acoustic Latent VAE Generation

• Speech synthesis를 위해 VibeVoice는 LLM의 current hidden state로 condition 된 light diffusion head를 사용함
  - 즉, diffusion head는 LLM hidden state $h_{i}$를 condition으로 하여 acoustic VAE $z_{a,i}$를 predict 함
• Training
  • Diffusion process는 clean acoustic vae $z_{a,i}$에 Gaussian noise $\epsilon\sim \mathcal{N}(0,I)$를 $T_{diff}$의 discrete time step $t$에 걸쳐 gradually add 하는 forward process를 reverse 하는 방법을 학습함:
    (Eq. 5) $z_{a,i}(t)=\sqrt{\bar{\alpha}_{t}}z_{a,i}+\sqrt{1-\bar{\alpha}_{t}}\epsilon$
    - $\bar{\alpha}_{t}=\prod_{s=1}^{t}(1-\beta_{s})$ : pre-defined noise schedule $\{\beta_{s}\}_{s=1}^{T_{diff}}$에서 derive 된 cumulative product
  • Lightweight diffusion head를 구성하는 noise prediction network $\epsilon_{\theta}$는 noisy feature $z_{a,i}(t)$, timestep $t$, LLM hidden state $h_{i}$가 주어졌을 때 injected noise $\epsilon$을 estimate 함
    
    1. 이때 objective는 $L2$ loss를 minimize 하는 것과 같음:
       (Eq. 6) $\mathcal{L}_{Diff}=\mathbb{E}_{t,z_{a,i},\epsilon,h_{i}} \left|\left| \epsilon-\epsilon_{\theta}\left( z_{a,i}(t),t,h_{i}\right)\right|\right|^{2}$
       - Diffusion process는 acoustic VAE $z_{a,i}$만 predict 하도록 training 됨
    2. 추가적으로 LLM이 diffusion head에 대한 conditioning hidden state $h_{i}$를 생성할 때, current speech segment를 conclude 할지 여부를 predict 하여 diffusion termination token $\texttt{<E>}$를 emit 함
• Inference
  • 추론 step $i$에서 diffusion head는 Classifier-Free Guidance (CFG)를 사용함
  • 각 denoising step $t$에서 network $\epsilon_{\theta}$를 통해 다음 2가지 noise prediction이 수행됨:
    
    1. Current predicted token의 hidden state $h_{i}$를 사용하는 Conditional Prediction
       
    2. Special start-of-sequence token $\texttt{<S>}$에서 derive 된 context만 사용하는 Unconditional Prediction
  • Denoising update에 사용되는 final noise estimate는 두 prediction에 대한 linear combination과 같음:
    (Eq. 7) $\hat{\epsilon}=\epsilon_{\theta}\left(z_{a,i}(t),t,h_{\texttt{<S>}}\right) + w\cdot\left( \epsilon_{\theta}\left( z_{a,i}(t),t,h_{i}\right)-\epsilon_{\theta}\left( z_{a,i}(t),t,h_{\texttt{<S>}}\right)\right)$
    - $w$ : guidance scale로써 $w=0$이면 $\texttt{<S>}$ 기반의 unconditional generation을 recover 하고 $w>1$이면 conditioning을 amplify 함

3. Experiments

- Settings

• Dataset : Internal speech dataset
• Comparisons : CosyVoice2, MoonCast, Sesame AILabs-CSM, HiggsAudio, ElevenLabs, Gemini 2.5

- Results

• 전체적으로 VibeVoice의 성능이 가장 우수함

Model 성능 비교

• Podcast Generation
  • VibeVoice는 long-form, multi-speaker synthesis에서도 뛰어난 성능을 보임

Podcast Generation

• Ablation Study
  • CFG scale $1.25$, DDPM step $10$에서 최적의 성능을 달성함

CFG, DDPM Step 별 성능

• 논문의 acoustic tokenizer는 기존 tokenizer 보다 더 나은 reconstruction 성능을 가짐

Tokenizer Reconstruction Quality