[Paper 리뷰] VoxCPM: Hierarchical Semantic-Acoustic Modeling via Semi-Discrete Residual Representations for Expressive End-to-End Speech Synthesis

VoxCPM: Hierarchical Semantic-Acoustic Modeling via Semi-Discrete Residual Representations for Expressive End-to-End Speech Synthesis

---

• Speech tokenizer 기반의 multi-stage speech synthesis는 semantic-acoustic divide로 인한 trade-off가 존재함
• VoxCPM
  • Semi-discrete residual representation 기반의 hierarchical semantic-acoustic modeling을 적용
  • 추가적으로 natural specialization을 위한 differentiable quantization bottleneck을 도입
• 논문 (ICLR 2026) : Paper Link

---

1. Introduction

• Large Language Model (LLM)은 주로 EnCodec과 같은 pre-trained neural audio codec의 discrete token을 활용하여 Text-to-Speech (TTS)를 수행함
  • BUT, text나 phoneme으로부터 해당 token을 autoregressive/non-autoregressive predict 하는 경우 quantization ceiling으로 인한 문제가 발생할 수 있음
    1. 이를 해결하기 위해 CosyVoice, IndexTTS2 등은 multi-stage hybrid pipeline을 도입하지만 semantic-acoustic divide로 인한 trade-off가 발생함
       - 결과적으로 end-to-end optimization과 expressive speech synthesis가 어려워짐
    2. 한편으로 MELLE와 같은 autoregressive model 역시 standard regression loss 하에서 over-smooth, low-diversity output을 생성할 수 있음
  • Autoregressive/non-autoregressive paradigm을 모두 활용하는 경우, high-level semantic-prosodic planning과 fine-grained acoustic rendering 간의 entanglement를 해결해야 함
    - Separation을 위한 inherent architectural bias 없이 model이 학습되기 때문

-> 그래서 LLM-TTS의 end-to-end semantic-acoustic modeling을 위한 VoxCPM을 제안

 

• VoxCPM
  • Natural specialization을 위해 differentiable Finite Scalar Quantization (FSQ) bottleneck을 도입
  • Text-Semantic Language Model (TSLM), Residual Acoustic Language Model (RALM)을 통해 stabilized semantic-prosodic plan 생성과 fine-grained acoustic detail refinement를 수행

< Overall of VoxCPM >

• Semi-discrete residual representation을 활용한 hierarchical LLM-based TTS model
• 결과적으로 기존보다 우수한 성능을 달성

2. Method

- Core Design Motivation

• TTS에는 expressivity, stability 간의 fundamental tension이 존재함
  • Discrete tokenization은 stable autoregressive generation을 보장하지만 quantization으로 인해 fine-grained acoustic detail을 irreversibly discard 함
    - Continuous tokenization의 경우 full fidelity를 preserve 할 수 있지만 error accumulation으로 인해 long sequence에서 catastrophic failure가 발생함
  • 특히 discrete tokenization에서 FSQ나 VQ를 통해 discrete codebook을 얻는 것은 scalability의 한계가 있음
    1. Richer acoustic information을 capture 하기 위해 dimensionality에 따라 codebook size도 exponentially grow 하여 language model이 predict 하기 어려운 large, sparse vocabulary를 생성하기 때문
       - 이를 해결하기 위해서는 end-to-end training의 differentiablity를 maintain 하면서 semantic-prosodic content와 fine-grained acoustic detail을 structurally separate 해야 함
    2. 따라서 논문은 differentiable quantization bottleneck을 활용해 TTS modeling을 content stability를 위한 discrete skeleton과 expressivity를 위한 continuous residual component로 split 함

- Model Overview

• VoxCPM은 input text token $\mathbf{T}=\{t_{1},...,t_{N}\}$에 condition 된 continuous speech latent sequence $\mathbf{Z}=\{\mathbf{z}_{1},...,\mathbf{z}_{M}\}$를 생성하는 hierarchical autoregressive architecture를 사용함
  • 여기서 각 $\mathbf{z}_{i}\in\mathbb{R}^{P\times D}$는 $D$-dimensional VAE latent vector를 가지는 $P$ frame patch에 해당하고, 이때 generation process는:
    (Eq. 1) $ p(\mathbf{Z}|\mathbf{T})=\prod_{i=1}^{M}p(\mathbf{z}_{i}|\mathbf{T},\mathbf{Z}_{<i})$
  • 특히 hierarchical conditioning mechanism은 Local Audio Encoder (LocEnc), Text-Semantic Language Model (TSLM), Residual Acoustic Language Model (RALM), Local Diffusion Transformer Decoder (LocDiT)로 구성됨
    - TSLM output에는 generation endpoint를 결정하는 stop-predictor가 추가됨
  • 결과적으로 patch generation은:
    (Eq. 2) $\mathbf{z}_{i}\sim\text{LocDiT}(\mathbf{h}_{i}^{final}),\,\,\,\mathbf{h}_{i}^{final}=\underset{\text{stable skeleton}}{\underbrace{ \text{FSQ}\left(\text{TSLM}\left(\mathbf{T},\mathbf{E}_{<i}\right)\right)}} + \underset{\text{residual details}}{\underbrace{\text{RALM}(\cdot)}}$
    - $\mathbf{E}_{<i}=\text{LocEnc}(\mathbf{Z}_{<i})$ : VAE latent patch를 compact acoustic embedding으로 compress 하는 LocEnc를 통해 aggregate 된 historical audio context
  • Hierarchical backbone은 FSQ를 통해 TSLM의 semantic content와 RALM의 acoustic detail을 encapsulate 하는 conditioning signal $\mathbf{h}_{i}^{final}$을 생성함
    1. 해당 signal은 LocDiT가 current latent patch $\mathbf{z}_{i}$를 denoising diffusion process를 통해 생성하도록 guide 함
    2. 전체 model에서 FSQ bottleneck을 포함한 모든 component는 gradient flowing을 통해 end-to-end train 됨

Overview

- Hierarchical Semantic-Acoustic Modeling

• Hierarchical modeling은 structures representation learning을 통해 stability-expressivity trade-off를 해결하면서 semantic-prosodic planning을 fine-grained acoustic synthesis와 implicitly separate 함
• Text-Semantic Language Model (TSLM)
  • TSLM은 high-level linguistic structure를 capture 하고 contextually appropriate speech pattern을 생성함
  • 이때 논문은 initial backbone으로 pre-trained Text-Language model을 활용하여 raw text에 대한 richer contextual understanding과 natural prosody prediction을 지원함
• Semi-Discrete Representation Learning via FSQ
  • VoxCPM에서 FSQ layer는 TSLM의 continuous hidden state를 structured lattice로 project 하여 semi-discrete representation을 생성함
  • FSQ operation은 continuous vector의 각 dimension을 deterministic scalar quantization을 통해 transform 함:
    (Eq. 3) $\mathbf{h}_{i,j}^{FSQ}=\Delta\cdot\text{clip}\left(\text{round}\left(\frac{\mathbf{h}_{i,j}^{TSLM}}{\Delta} \right),-L,L\right)$
    - $\Delta$ : quantization step size, $L$ : clipping range
    - 해당 transformation은 backward pass에서 straight-through estimator를 통해 differentiability를 maintain 하면서 structured discrete representation을 생성함
  • FSQ layer는 bottleneck으로써 RVQ의 first layer와 유사한 coarse semantic-prosodic skeleton을 capture 함
    1. 해당 representation은 standard FSQ 보다 큰 dimensionality를 사용하여 sufficient information capacity를 보장하므로 semi-discrete로 볼 수 있음
    2. 특히 논문의 FSQ layer는 continuous data flow에서 intermediate differentiable inductive bias로 사용됨
       - 이를 통해 stable, high-level component인 semantic-prosodic skeleton을 prioritize modeling 하도록 유도하고, preserved information에 대한 clear learning signal을 제공할 수 있음
• Residual Acoustic Modeling
  • Quantization으로 attenuate 된 fine-grained acoustic information을 recover 하기 위해 Residual Acoustic Language Model (RALM)을 도입함
  • RALM은 speaker identity, spectral fine structure, micro-prosodic variation을 recover 하기 위해 contextual information과 quantization residual을 process 함:
    (Eq. 4) $\mathbf{h}_{i}^{residual}=\text{RALM}\left(\mathbf{H}_{text}^{TSLM}, \mathbf{H}_{<i}^{FSQ}\oplus\mathbf{E}_{<i}\right)$
  • RALM prediction은 text part의 TSLM hidden state $\mathbf{H}_{text}^{TSLM}$, speech part의 semi-discrete representation $\mathbf{H}_{<i}^{FSQ}$, historical acoustic embedding $\mathbf{E}_{<i}$로 condition 됨
    - 해당 residual learning을 통해 TSLM+FSQ pathway는 content stability, prosodic coherence에 focus 하고 RALM pathway는 acoustic expressivity와 speaker characteristic에 specialize 됨
  • Final combined representation $\mathbf{h}_{i}^{final}=\mathbf{h}_{i}^{FSQ}+\mathbf{h}_{i}^{residual}$은 semantic stability와 acoustic expressivity를 모두 encapsulate 하여 local diffusion process를 guide 하는 comprehensive signal을 생성함
• Local Diffusion Transformer Decoder
  • Local Diffusion Transformer (LocDiT)는 high-fidelity synthesis를 위해 preceding module의 hierarchical representation $\mathbf{h}_{i}^{final}$을 condition으로 continuous latent patch를 생성함 
  • 이를 위해 논문은 DiTAR를 따라 각 patch 내에서 full receptive field modeling을 지원하는 bidirectional Transformer architecture를 채택함
    - 추가적으로 generation consistency를 위해 previous patch $\mathbf{z}_{i-1}$을 additional conditioning context로 사용하고, 추론 시 Classifier-Free Guidance (CFG)를 지원하기 위해 LM guidance를 masking 함

- Training Objective

• VoxCPM은 speech latent를 directly optimize 하는 flow-matching objective를 사용하여 end-to-end training 됨
  • 특히 논문은 training stability와 sampling efficiency를 위해 conditional flow-matching을 채택함:
    (Eq. 5) $\mathcal{L}_{FM}=\mathbb{E}_{t,\mathbf{z}_{i}^{0},\epsilon}\left[ \left| \mathbf{v}_{\theta}\left(\mathbf{z}_{i}^{t},t,\mathbf{h}^{final}, \mathbf{z}_{i-1}\right)-\frac{d}{dt}\left(\alpha_{t}\mathbf{z}_{i}^{0}+\sigma_{t}\epsilon\right)\right|^{2}\right]$
    - $\mathbf{z}_{i}^{t}=\alpha_{t}\mathbf{z}_{i}^{0}+\sigma_{t}\epsilon$ : time $t$, $\epsilon \sim \mathcal{N}(0,I)$의 noisy latent, $\mathbf{v}_{\theta}$ : LocDiT를 통해 predict 된 velocity field
  • Binary classification loss는 model이 end-of-speech를 predict 하도록 적용됨:
    (Eq. 6) $\mathcal{L}_{Stop}=\mathbb{E}_{i\sim\text{sequence}}\left[\text{BCE}\left( s_{\theta}\left(\mathbf{h}_{i}^{FSQ}\right),\nVdash\left[\text{token}\,\textit{i}\, \text{is the last}\right] \right)\right]$
    - $s_{\theta}$ : stop-logit projection layer, $\text{BCE}$ : Binary Cross-Entropy loss
  • 결과적으로 gradient는 combined objective $\mathcal{L}=\mathcal{L}_{FM}+\lambda\mathcal{L}_{Stop}$을 통해 FSQ, TSLM, LocEnc를 포함한 모든 autoregressive hierarchy로 backpropagate 됨
    

- Causal Audio VAE

• Streaming synthesis를 위해 논문은 Causal VAE를 도입함
  - VAE는 mel-spectrogram domain의 reconstruction loss, multi-period/multi-scale discriminator에 대한 adversarial training loss, latent space를 regularize 하는 KL-divergence term으로 pre-train 됨 

3. Experiments

- Settings

• Dataset : Large-scale Bilingual Corpus, Emilia
• Comparisons : F5-TTS, MaskGCT, CosyVoice, CosyVoice2, IndexTTS2, Spark-TTS, FireRedTTS 등

- Results

• 전체적으로 VoxCPM의 성능이 가장 우수함

Model 성능 비교

• CV3 benchmark에 대해서도 우수한 성능을 보임

CV3 Benchmark 성능

• MOS 측면에서도 높은 성능을 달성함

MOS 비교

• Ablation Study
  • 각 component는 성능 향상에 유효함

Ablation Study