Let IT Begin

[Paper 리뷰] CoCoEmo: Composable and Controllable Human-Like Emotional TTS via Activation Steering

feVeRin — Tue, 9 Jun 2026 13:06:28 +0900

CoCoEmo: Composable and Controllable Human-Like Emotional TTS via Activation Steering

대부분의 text-to-speech system은 single utterance-level emotion을 enforce 함
CoCoEmo
- Activation steering에 대한 multi-rater evaluation protocol을 도입
- Human-like emotional speech를 위한 lightweight steering approach를 적용
논문 (ICML 2026) : Paper Link

1. Introduction

Natural speech는 inherently complex 하고 multiple concurrent, conflicting affective signal이 combine 되는 경우가 많음
- 특히 대부분의 expressive Text-to-Speech (TTS) model은 emotion을 single, globally coherent state로 취급함
  - 이로인해 mixed emotion은 single dominant tone으로 average 됨
- 이를 위해 label granularity를 늘리거나 richer emotion annotation으로 retraining 할 수 있지만, 근본적인 원인을 해결하지는 못함
  1. 한편 steering vector를 활용하면 pre-trained TTS system의 latent representation space에서 controlled directional bias를 반영할 수 있음
    - 특히 mixed emotion은 multiple emotion-specific steering direction으로 나타나고 text-emotion misalignment는 textual content와 independent 하게 acoustic feature를 modulate 하여 express 됨
  2. BUT, steering vector를 Speech Language Model (SLM)에서 효과적으로 적용하기 위해서는 steering 위치, steering 방법, steering evaluation 등에 대한 gap을 해결해야 함

-> 그래서 SLM에서 steering vector의 동작을 분석하여 controllability를 개선한 CoCoEmo를 제안

CoCoEmo
- Modular emotional TTS architecture에 대한 in-depth analysis를 수행하고 evaluation을 위한 multi-rater protocol을 도입
- 추가적으로 optimal SLM layer에 steering vector를 inject 하여 reliable mixed-emotion synthesis를 지원

< Overall of CoCoEmo >

SLM과 같은 hybrid TTS system을 bridge하는 steering vector mechanism
결과적으로 기존보다 우수한 성능을 달성

2. Disentangling Emotion in SLM and Flow-Matching

- Model Overview

Hybrid TTS system은 일반적으로 2-stage architecture를 사용함
- $\mathbf{x}_{i}$를 $i$-th input text sequence, $\mathbf{c}_{ref}$를 target emotion에 대한 reference signal이라고 하자
- First stage에서 TTS language model $f_{SLM}$은 해당 input을 discrete speech token sequence $\mathbf{z}$로 mapping 함:
  (Eq. 1) $ \mathbf{z}_{i}=f_{SLM}(\mathbf{x}_{i},\mathbf{c}_{ref})$
  - $\mathbf{z}=(z_{i}^{1},...,z_{i}^{T})$ : token sequence
- Second stage에서 flow-matching acoustic model $f_{Flow}$는 speech token sequence를 mel-spectrogram으로 transform 하고 pre-trained vocoder $g_{voc}$를 통해 waveform으로 convert 함:
  (Eq. 2) $\mathbf{m}_{i}=f_{Flow}(\mathbf{z}_{i},\mathbf{c}_{ref}),\,\,\, \mathbf{y}_{i}=g_{voc}(\mathbf{m}_{i})$

- Where to Steer 1: Modular Analysis

Cross-Conditioning Diagnostic
- Emotional expression에 대한 SLM과 Flow-Matching module의 contribution을 disentangle 하기 위해 논문은 Cross-Conditioning Diagnostic을 도입함
- $\mathbf{c}^{e},\mathbf{c}^{n}$을 각각 emotional, neutral conditioning signal이라고 하자
  1. SLM-Driven
    - Emotion reference는 speech token $\mathbf{z}_{i}$를 modify 하기 위해 SLM에만 적용되고, flow-matching module은 neutral condition에서 동작함:
    (Eq. 3) $\mathbf{z}_{i}^{e}=f_{SLM}(\mathbf{x}_{i},\mathbf{c}^{e}),\,\,\, \mathbf{m}_{SLM}=f_{Flow}(\mathbf{z}_{i}^{e},\mathbf{c}^{n})$
  2. Flow-Driven
    - SLM은 neutral이고 emotion reference는 flow-matching을 통해서만 도입됨:
    (Eq. 4) $\mathbf{z}_{i}^{n}=f_{SLM}(\mathbf{x}_{i},\mathbf{c}^{n}),\,\,\, \mathbf{m}_{Flow}=f_{Flow}(\mathbf{z}_{i}^{n},\mathbf{c}^{e})$
  3. Emotion이 SLM에서 encode 된다면 SLM-Driven은 stronger emotional expressiveness를 생성해야 함
    - 그렇지 않으면 Flow-Driven이 dominate 함

Cross-Conditioning Diagnostic

Findings and Design Implications
- Energy contour 측면에서 SLM-Driven condition은 emotion 별로 distinct prosodic pattern이 나타나고, Flow-Driven condition은 largely overlapped contour가 나타남
  - 즉, flow-matching module은 prosody를 alter 하지 않고 acoustic rendering에만 관여함
- 위 표의 cross-conditioning diagnostic에서 SLM-Driven은 lower CCC, higher SR STD를 가짐
  - 즉, SLM은 synthesized emotional feature의 variability를 govern 하고 flow-matching은 local rendering을 refine 함
- 결과적으로 SLM이 emotional prosody의 primary driver이므로 emotion steering은 SLM에 적용되어야 함

Energy Contour

- Where to Steer 2: Layer and Operator Selection

Why Linear Separability
- Mixed emotion에서 steering vector는 complex expression을 생성하기 위해 서로 다른 direction을 가리키도록 combine 되므로, linear separability는 steerability의 proxy로 사용될 수 있음
- 즉, higher separability를 가질수록 steering vector를 reliable extract 할 수 있고 combine 할 수 있음
Layer- and Operation-Level Probing for SLM Steering
- $\mathcal{D}=\{(\mathbf{x}_{i},\mathbf{a}_{i},y_{i})\}_{i=1}^{N}$을 $N$ sample로 구성된 dataset이라고 하자
  - $\mathbf{x}_{i}$ : input text, $\mathbf{a}_{i}$ : reference emotional speech, $y_{i}\in\{0,1,...,E\}$ : emotion label
- SLM은 multiple operation $\mathcal{O}^{(l)}$을 가진 $L$ Transformer layer를 가지고, 이때 layer-/operational-wise activation은:
  (Eq. 5) $\mathbf{h}_{i}^{(l,o)}=\left\{\begin{matrix} \text{Op}^{(l,o)}(\mathbf{x}_{i},\mathbf{a}_{i}), & l=1 \\ \text{Op}^{(l,o)}(\mathbf{h}_{i}^{(l-1)}), & l=2,...,L \\ \end{matrix}\right.,\,\,\, o\in\mathcal{O}^{(l)}$
  - $\text{Op}^{(l,o)}$ : attention, feed-forward network와 같은 operation
- Emotion이 most distinctly represent 되는 위치를 identify 하기 위해, 논문은 $y_{i}$를 predict 하는 linear probe $\mathbf{h}_{i}^{(l,o)}$를 training 하고 accuracy를 통해 linear separability를 measure 함
  - Highest discriminability를 가지는 Top-$K$ layer, operation은 steering vector를 추출하고 inject 하는 데 사용됨
Findings and Design Implications
- 아래 그림과 같이 CosyVoice2에서는 10-17 layer가 strong linear separability를 가지고, operation 중에서는 $\texttt{attn\_output}$이 highest discriminability를 보임
  - IndexTTS2의 경우 5-10 layer
- 결과적으로 mid-to-late layer와 attention output은 emotion representation에 대한 highest linear separability를 가짐

Emotion Discriminability

3. Method

위 결과를 바탕으로 논문은 identified model layer에서 각 individual emotion에 대한 steering vector를 추출함
- Mixed-emotion vector는 single-emotion vector의 weighted combination으로 구성되고, emotion proportion에 대한 quantitative control을 지원함
- Steering vector는 linguistic representation과는 independent 하게 emotional acoustic variation으로부터 추출되고 text-emotion mismatch를 handling 함

Overview

- Steering Vector Construction

Single Emotion Steering
- 논문은 mean-difference approach를 활용하여 emotion steering vector를 compute 하고 mean neutral representation에서 mean target emotion representation으로 이동함
  - 이때 acoustic emotion information을 isolate 하기 위해 same speaker, transcript를 가지는 sample만 compare 함
- Emotion label $y_{i}\in\{0,...,E\}$, neutral speech $y_{i}=0$에 대해, dataset $\mathcal{D}=\{(\mathbf{x}_{i},\mathbf{a}_{i},y_{i})\}_{i=1}^{N}$이 주어진다고 하자
  1. 먼저 speaker, linguistic content를 control 하기 위해 speaker-matched neutral-emotion pair를 구성함
  2. 특히 각 target emotion $e\in\mathcal{Y}$에 대해, same speaker의 emotion-$e$ utterance와 neutral utternace를 pair 하여 두 subset $D^{(e)}, D_{0}^{(e)}$를 구성함
  3. Sample $i$에서 select 된 $l$ layer와 operation $o$에서의 last-token activation을 $\mathbf{h}_{i}^{(l,o)}$라고 하면, emotion $e$의 steering vector는 emotion-$e$ sample과 paired neutral counterpart 간의 mean representation과 같음:
    (Eq. 6) $\mathbf{v}_{e}^{(l,o)}=\frac{1}{|\mathcal{D}^{(e)}|}\sum_{i\in\mathcal{D}^{(e)}} \mathbf{h}_{i}^{(l,o)}-\frac{1}{|\mathcal{D}_{0}^{(e)}|}\sum_{j\in\mathcal{D}_{0}^{(e)}} \mathbf{h}_{j}^{(l,o)}$
- 결과적으로 vector $\mathbf{v}_{e}^{(l,o)}$는 latent space에서 emotion $e$에 대한 direction을 capture하고 추론 시 inject되어 target emotion expression을 induce함
  - Mismatch scenario에서 steering vector는 text-implied emotion을 override 하고 internal bias로 동작함
Mixed Emotion Steering
- Mixed emotion은 single emotion vector $\mathbf{v}_{e}^{(l,o)}$를 combine 하여 steering vector를 compute 함
- Target emotion에 대한 weight를 $\{p_{e}\}^{E}_{e=1}$이라 하고 $\sum_{e=1}^{E}p_{e}=1$이라고 할 때, mixed emotion steering vector는:
  (Eq. 7) $\mathbf{v}_{mix}^{(l,o)}=\sum_{e=1}^{E}p_{e}\mathbf{v}_{e}^{(l,o)}$

- Inference-Time Steering

추론 시에는 single emotion steering vector $\mathbf{v}_{e}^{(l,o)}$ 또는 mixed emotion vector $\mathbf{v}_{mix}^{(l,o)}$가 selected Top-$K$ layer와 operation에 inject 됨
- 각 selected layer, operation에서 activation $\mathbf{h}$는 steering을 통해 modulate 됨:
  (Eq. 8) $\tilde{\mathbf{h}}_{i}^{(l,o)}=\mathbf{h}_{i}^{(l,o)}+\alpha\cdot \mathbf{v}^{(l,o)}$
  - $\alpha$ : steering intensity, $\mathbf{v}^{(l,o)}$ : single emotion $\mathbf{v}^{(l,o)}_{e}$ 또는 mixed emotion $\mathbf{v}_{mix}^{(l,o)}$
- 추가적으로 논문은 original activation scale을 preserve 하고 semantic coherence를 maintain 하기 위해 $\tilde{\mathbf{h}}_{i}^{(l,o)}\leftarrow\frac{|| \mathbf{h}_{i}^{(l,o)}||}{||\tilde{\mathbf{h}}_{i}^{(l,o)}||}\cdot \tilde{\mathbf{h}}_{i}^{(l,o)}$와 같이 renormalize 함

- Mixed-Emotion Evaluation

Mixed-emotion synthesis를 evaluate 하기 위해서는 soft ground-truth가 필요함
- 이를 위해 논문은 multi-rater annotation을 활용함
  1. 각 speech recording $\mathbf{a}_{i}$는 $M$ rater에 의해 one-hot vector $y_{i,m}\in\{0,1\}^{|E|}$로 label 됨
  2. 이때 consensus distribution은:
    (Eq. 9) $\mathbf{p}_{i}=\frac{1}{M}\sum_{m=1}^{M}y_{i,m}$
    - e.g., $E=\{\texttt{happy, sad, angry}\}$에 대해 두 rater가 $\texttt{happy}$를 label 하고 한 rater가 $\texttt{sad}$를 label 했다면, $\mathbf{p}_{i}=[\frac{2}{3},\frac{1}{3},0]$과 같음
- 해당 consensus distribution은 (Eq. 7)의 steering vector $\mathbf{v}_{mix}^{(l,o)}$에 대한 mixing weight로 사용되고, synthesized speech는 $\mathbf{p}_{i}$가 derive 되는 동안 ground-truth target speech $\mathbf{a}_{i}$와 compare 됨

4. Experiments

- Settings

Dataset : ESD, RAVDESS, CREMA-D
Comparisons : CosyVoice2, IndexTTS2

- Results

CoCoEmo를 적용하면 더 나은 mixed-emotion synthesis가 가능함

Model 성능 비교

Emotion2Vec Similarity, Target Emotion Probability, Spearman Correlation 측면에서도 우수한 성능을 보임

Mixed-Emotion Synthesis

Text-Emotion Mismatch Speech Synthesis
- Mismatched set에 대해서도 robust 한 성능을 달성함

Mismatched Set에서의 성능

Activation steering을 활용하면 E-SIM을 consistently improve 할 수 있음

Mismatch Synthesis에서 Steering Strength $\alpha$의 효과

Single Emotion Steering
- Steering이 없는 $\alpha=0$에 비해 $\alpha$가 커질수록 TEP가 증가함
- 즉, steering vector를 통해 correct directional bias를 반영할 수 있음

Single Emotion Steering

Layer-wise Steering Analysis
- CosyVoice2에서 17, 14 layer는 highest separability를 가짐

Layer-wise TEP

[Paper 리뷰] FC-TTS: Style and Timbre Control in Zero-Shot Text-to-Speech with Disentangled Speech Representation

feVeRin — Mon, 8 Jun 2026 10:57:42 +0900

FC-TTS: Style and Timbre Control in Zero-Shot Text-to-Speech with Disentangled Speech Representations

Zero-shot Text-to-Speech는 여전히 independent, precise control 측면에서 한계가 있음
FC-TTS
- 2-stage spectrogram generation pipeline과 VQ-VAE-based style encoder를 도입
- 추가적으로 conditioning-aware consistency loss를 도입해 attribute separation과 dual-reference control의 reliability를 향상
논문 (ACL 2026) : Paper Link

1. Introduction

Zero-shot Text-to-Speech (TTS)는 example utterance를 condition으로 style flexibility를 제공할 수 있음
- BUT, 대부분의 zero-shot TTS model은 style, timbre의 entanglement로 인해 independent control이 어려움
- 이를 위해 NANSY++, NaturalSpeech3와 같은 disentangled approach를 고려할 수 있지만, 여전히 imperfect disentanglement와 unseen style-timbre combination에 대한 robustness의 한계가 존재함

-> 그래서 disentangled representation을 modeling을 개선하여 controllability를 향상한 FC-TTS를 제안

FC-TTS
- Disentangled representation을 기반으로 2-stage spectrogram generation pipeline을 도입
- Fine-grained, intra-utterance style variability를 capture 하는 VQ-VAE-based style encoder와 disentangled control을 지원하는 Conditioning-aware Consistency Loss를 도입

< Overall of FC-TTS >

2-stage pipeline과 disentangled representation을 활용한 zero-shot controllable TTS model
결과적으로 기존보다 우수한 성능을 달성

2. Preliminary

- Factorized Speech Codec

Timbre, style controllable TTS를 위해 FACodec을 고려할 수 있음
- 해당 codec은 speech signal을 discrete token의 multiple disentangled stream으로 factorize 하고, 각 stream은 distinct speech attribute를 capture 함
  - Prosody token $\mathbf{c}_{p}$, content token $\mathbf{c}_{c}$, acoustic detail token $\mathbf{c}_{d}$
- 각 stream은 time step $T$, residual quantization level $N_{p}=1, N_{c}=2, N_{d}=3$에 대해 $\mathbb{Z}^{N_{*}\times T}$와 같이 represent 되고, speaker timbre는 continuous global embedding $z_{spk}\in\mathbb{R}^{D}$으로 capture 됨
- 이때 논문은 $z_{spk}, \mathbf{c}_{p}$만 condition으로 사용하고 content token $\mathbf{c}_{c}$, acoustic detail token $\mathbf{c}_{d}$는 information leakage를 방지하기 위해 exclude 됨

- Flow-Matching TTS

Conditional TTS는 phoneme sequence $\mathbf{y}\in\mathbb{Z}^{L}$, speaker timbre와 같은 conditioning information $\mathbf{c}$가 주어졌을 때 log mel-spectrogram과 같은 target speech representation $\mathbf{x}\in\mathbb{R}^{F\times T}$를 생성함
- 해당 conditional generation을 위해 Conditional Flow-Matching (CFM)을 채택할 수 있음
  1. CFM은 isotropic Gaussian $\mathcal{N}(0,I)$와 같은 simple prior $p_{1}(\mathbf{x})$에서 target conditional distribution $p_{0}=p(\mathbf{x}|\mathbf{y},\mathbf{c})$로의 continuous-time transformation을 define 함
  2. $p_{1}$에서 $p_{0}$로의 progression을 describe 하기 위해 CFM은 time $t\in[0,1]$을 따라 sample을 transport 하는 time-dependent flow $\phi_{t}:[0,1]\times \mathbb{R}^{d}\rightarrow \mathbb{R}^{d}$를 도입함
    - 각 step은 marginal distribution $p_{t}(\mathbf{x})$를 가짐
  3. 해당 flow는 각 point에서 instantaneous direction을 specify 하는 velocity field $v_{t}(\mathbf{x}):[0,1]\times \mathbb{R}^{d}\rightarrow \mathbb{R}^{d}$에 의해 drive 되고, relationship은 Ordinary Differential Equation (ODE)를 통해 govern 됨:
    (Eq. 1) $ \frac{d}{dt}\phi_{t}(\mathbf{x})=v_{t}(\phi_{t}(\mathbf{x})), \,\,\, \phi_{1}(\mathbf{x})=\mathbf{x}_{1}$
- True $v$는 unavailable 하므로 CFM은 conditional vector field $v_{t}(\mathbf{x}|\mathbf{x}_{0})$로 $u_{\theta}(\mathbf{x},t,\mathbf{y},\mathbf{c})$를 training 하여 이를 approximate 함
  1. 이때 straight-line Optimal Transport (OT) trajectory가 가장 efficient 하고, 해당 ground-truth velocity는:
    (Eq. 2) $v_{t}^{OT}(\mathbf{x}_{t}|\mathbf{x}_{0})=\mathbf{x}_{0}-\mathbf{x}_{1}$
    - $\mathbf{x}_{t}=(1-t)\mathbf{x}_{1}+t\mathbf{x}_{0}$
  2. 이후 model은 (Eq. 3)의 loss를 minimize 하여 predicted velocity $u_{\theta}$를 OT velocity와 align 함:
    (Eq. 3) $\mathcal{L}_{CFM}=\mathbb{E}_{t,\mathbf{x}_{0},\mathbf{x}_{1}}\left[\left|\left| u_{\theta}(\mathbf{x}_{t},t,\mathbf{y},\mathbf{c}) - (\mathbf{x}_{0}-\mathbf{x}_{1})\right|\right|^{2}\right]$

3. Method

FC-TTS에서 timbre condition $z_{spk}$와 style condition $\mathbf{c}_{p}$는 training시 same target에서 extract 되고 추론 시에는 서로 다른 utterance의 reference를 사용함
- 구조적으로 FC-TTS는 두 condition을 sequentially process 함:
  1. Timbre stage에서는 $z_{spk}$를 통해 timbre characteristic을 anchor 하여 blurry spectrogram을 생성함
  2. Style stage에서는 $\mathbf{c}_{p}$를 통해 prosodic characteristic을 imprint 하여 refine 함
- 해당 2-stage framework를 통해 각 reference condition이 intended step에서만 반영되도록 함

- Hierarchical Spectrogram Generation

NaturalSpeech3와 같이 FACodec decoder를 simply reusing 하면 unseen combination에 대한 robust generation을 보장할 수 없으므로 independent timbre-prosody control이 어려움
- 이를 위해 논문은 jointly trained CFM speech decoder를 incorporate 해 hierarchical log mel-spectrogram generation을 수행함
- 먼저 timbre information을 사용하여 blurry spectrogram $\mathbf{h}$를 생성하고, CFM decoder를 통해 style information을 사용하여 complete spectrogram $\mathbf{x}_{0}$로 refine 함
  1. 해당 step은 blurry spectrogram에 대한 Mean Absolute Error (MAE) loss, final output에 대한 CFM loss로 jointly training 됨
    - 특히 MAE objective $\mathcal{L}_{blur}=\mathbb{E}[||\mathbf{h}-\mathbf{x}_{0}||]$는 over-smoothed output을 encourage 함
  2. 추가적으로 information leakage를 방지하기 위해 $z_{spk}$는 same long audio file의 다른 utternace로 randomly replace 됨
- 결과적으로 timbre adapter는 first stage에서 $z_{spk}$를 inject 하여 timbre characteristic을 anchor 하고 style adapter는 $\mathbf{c}_{p}$를 subsequently apply 해 각 reference가 dedicated pathway에만 influence 하도록 보장함

Overview

- VQ-VAE Style Encoding

Zero-shot TTS model은 In-Context Learning (ICL)을 활용해 voice characteristic을 mimic 함
- BUT, ICL은 timbre, style이 consistent 하다고 가정하므로 single utterance 내에서 speaking style이 varying 하는 것을 반영할 수 없음
- 이를 위해 논문은 training 시 target speech에서 extract 된 style representation을 condition으로 제공함
  - 이때 model은 higher-level prosodic pattern을 capture 하지 않고 style reference의 surface-level acoustic feature를 copying 하여 shortcut으로 사용할 수 있음
- 따라서 Transformer encoder, Cross-attention, Finite scalar quantization (FSQ) layer를 combine 한 TCF style encoder를 도입해 phoneme, frame level에서 style representation을 hierarchically modeling 함
  1. Prosody-only Representation
    - 논문은 TCF input으로 prosody token $\mathbf{c}_{p}$만 사용하고, content token $\mathbf{c}_{c}$, acoustic detail token $\mathbf{c}_{d}$는 exclude 함
    - 이를 통해 style encoder가 unintended information을 encoding 하지 않고 rhythmic, intonational pattern만 capture 하도록 할 수 있음
  2. Q-Former Bottleneck
    - Learned query token의 fixed set은 cross-attention을 통해 variable-length encoder output에 attend 하여 fixed latent token으로 compress 됨
    - 해당 bottleneck은 frame-level temporal detail을 discard 하고 high-level stylistic structure만 retain 하도록 force 하여 model이 specific acoustic realization에 overfit 되는 것을 방지함
  3. Vector Quantization
    - Q-Former를 통해 생성된 continuous latent token은 FSQ를 통해 further discretize 됨
    - FSQ는 low-level acoustic residual을 suppress 하고 semantically meaningful style code에 commit 하는 information bottleneck으로 사용됨

- Conditional Consistency Loss

Disentangled TTS에서 condition consistency를 향상하기 위해 논문은 Conditional Consistency Loss (CCL)을 도입함
- 먼저 CFM objective를 reparameterize 하여 FC-TTS decoder가 vector field 대신 log mel-spectrogram을 directly generate 하도록 구성함
  1. 이후 해당 spectrogram으로부터 두 attribute predictor를 training 하여 conditioning prosody token $\mathbf{c}_{p}$, speaker embedding $z_{spk}$를 predict 함
  2. 이때 각 predictor는 non-target conditioning signal도 receive 하여 prosody predictor에는 $z_{spk}$를 timbre predictor에는 $\mathbf{c}_{p}$를 feed 함
- 그러면 CCL은 prosody prediction을 위한 cross-entropy loss, speaker embedding consistency를 위한 negative cosine similarity의 weighted summation으로 얻어짐:
  (Eq. 4) $\mathcal{L}_{CCL}=\lambda_{ccl\text{-}pro}\cdot\mathbb{E}\left[\text{CE}\left(\mathbf{c}_{p}, f\left( \hat{\mathbf{x},z_{spk}}\right)\right)\right]-\lambda_{ccl\text{-}spk}\cdot\mathbb{E}\left[\cos\left( z_{spk},g\left(\hat{\mathbf{x}},\mathbf{c}_{p}\right)\right)\right]$
  - $\text{CE}(\cdot, \cdot)$ : cross-entropy loss, $f(\cdot)$ : prosody predictor, $g(\cdot)$ : speaker embedding predictor

CCL Gradient

4. Experiments

- Settings

Dataset : LibriHeavy
Comparisons : NaturalSpeech3, F5-TTS, DiTTo-TTS, CLaM-TTS

LibriHeavy Dataset

- Results

전체적으로 FC-TTS의 성능이 가장 우수함

Model 성능 비교

Timbre controllability 측면에서도 FC-TTS가 더 뛰어남

Timbre Controllability

Prosody control에서도 더 나은 성능을 보임

Prosody Controllability

AudioLLM-as-a-Judge 측면에서도 FC-TTS가 더 선호됨

AudioLLM-as-a-Judge

Ablation Study
- 각 component는 성능 향상에 유효함

Ablation Study

특히 2-stage design을 활용하면 timbre combination에 대한 robustness를 향상할 수 있음

Mel-Spectrogram 비교

[공지] Polyfill 공급망 공격 문제 (해결됨)

feVeRin — Wed, 3 Jun 2026 11:04:56 +0900

블로그 LaTeX 렌더링을 위해 MathJax를 쓰고 있었는데 중국의 Polyfill 공급망 공격으로 인해 일부 게시글에서 보안 위협이 발견되고 있습니다.

2026.06.03. 17:30을 기점으로 MathJax 관련 코드를 전부 수정하여 모든 보안 위협은 해결되었습니다.

<Time Line>

- 2026.06.03. 11:00 : 공격 확인

- 2026.06.03. 12:30 : Algorithm 게시글 MathJax 서식 전체 교체 완료

- 2026.06.03. 17:30 : Paper 게시글 MathJax 서식 전체 교체 완료

* (주의) 본 블로그는 아래 그림과 같은 사용자 정보를 절대 요구하지 않습니다.

[이달슈] 이달의 슈게이즈 5회 - 26년 5월

feVeRin — Wed, 27 May 2026 20:10:10 +0900

이달의 슈게이즈 5회 - 26년 5월

* 업로드 당일 기준 작성자 레이더망에 걸린 것들만 올리니 놓치는게 있을 수도 있습니다.

1. 달콤쌉쌀한 초여름의 맛

교토의 슈게이즈 밴드 MoritaSaki in the Pool이 신보 <Kidcore Sculpture>를 들고 돌아왔습니다. 특히 이번 신보는 전작에 비해 더 다채로워진 멜로디와 생동감 넘치는 리듬을 앞세워 일본 슈게이즈에서 기대할 수 있는 가장 감각적인 사운드 톤을 만들어냅니다. 앨범아트처럼 샛노란 러버덕이 가득한 도심 속 풀장. 매끈한 도시적 감성과 어렴풋한 향수가 절묘하게 교차된 이 앨범을 놓치지 않길 바랍니다.

MoritaSaki in the Pool - 'Slowdive'

2. 커버와 창작 사이

지난 20일에는 Kurayamisaka가 뜻밖의 커버 싱글 'Sagittarius'를 공개했습니다. 'Sagittarius'는 작년에 발매된 슈게이즈-아이돌 프로젝트 RAY의 곡 중 하나로써, 원곡 자체도 2집 이후의 팝적인 Kurayamisaka 노선과 닮은 점이 많았던지라 큰 위화감 없이 꽤 잘 어울립니다. 그리고 27일에는 The Otals의 새 싱글 'さよならマクガフィン (Sayonara MacGuffin)'이 발매되었는데, 빠른 템포의 퍼지한 기타를 중심으로 전원적인 향수를 자극합니다.

Kurayamisaka - 'Sagittarius'

The Otals - 'さよならマクガフィン'

3. N년째 우리는 보컬로이드 곰탕

한편 보카게이즈 공장 路傍の石 (Robounoishi)는 올해에만 벌써 3번째 정규를 찍어내고 있습니다. 路傍の石의 특징이라고 하면 2024년부터 <Mikgazer> 간판을 달고 유사품을 매년 발매해오고 있다는 건데, 속는 사람이 한둘이 아닌지 이번 앨범에도 당당히(?) <Mikgazer 2026>이라는 타이틀을 붙이고 나왔네요. 물론 애초에 동인음악 컴필로 시작한 <Mikgazer>에 원조를 따지는 것도 웃기긴 합니다만, 개인적으로는 찍어내는 퀄리티도 점점 떨어지면서 닳고 닳은 프랜차이즈를 우려먹기만 하는게 썩 좋아 보이지는 않습니다.

路傍の石 - 'Did Say Something'

4. 헤비니스로 돌아갈래

슬슬 여름이 다가오니 멜로디컬한 일본 슈게이즈가 더 눈에 띄긴 합니다만 그래도 근본 넘치는 아일랜드 씬을 지나칠 수는 없습니다. 그중에서도 지난 7일에 발매된 Silk의 데뷔 EP <Auralux>를 가장 주목해 볼 만합니다. 재밌게도 1월 이달슈에서도 잠깐 소개했던 (이제는 해체한) Virgins의 기타리스트 Michael Smyth가 이 밴드를 이끌고 있는데, 새로운 밴드에서는 보다 우직하고 헤비한 사운드를 채용해 밀도감 높은 슈게이즈를 구현하는데 집중합니다.

Silk - 'Auralux'

5. 2시간 동안의 우주유영

미국으로 눈을 돌리면 러닝타임 2시간의 장대한 신보가 기다리고 있습니다. 13일에 발매된 Gabriel Moon의 <Moonland>는 그 압도적인 분량만큼이나 혼란스러운 앨범으로써, 정돈되지 않은 소음과 사이키델릭한 스페이스 록 사운드가 귀를 정신없이 괴롭힙니다. 그리고 인디애나주 출신답게 이모(Emo)적인 가사도 눈에 띄는데, 감성을 살리기에는 전반적으로 다소 유치한 면이 있습니다.

Gabriel Moon - 'Smile'

6. 상처받은 디스토션

마지막으로 Bad Light의 신규 EP <Mortal Wounds>를 살펴봅시다. 전체적으로 Narrow Head의 영향이 크게 느껴지는 앨범인데, 공격적인 하드코어 대신 드라마틱한 포스트록적 구성을 채용해 보다 웅장한 사운드를 들려줍니다. 특히 주요 하이라이트에 삽입된 디스토션은 앨범의 위태로운 감정선을 한층 증폭시킵니다.

Bad Light - 'Stuck on Letting Go'

7. 미처 말하지 못한 앨범들

- Album

Sungaze - <I'm No Longer Afraid of Heights>

Gulu Gulu - <I Get Anxious When the Sun Hits My Eyes>

Interstates Reasoning - <River That Sleeps People>

Burnt Log - <Feed>

Above Me - <Soften the Blows>

Blue Diner. - <Disc 2>

Desario - <Long Lost>

The Asteroid No.4 - <In Praise of Shadows>

Lauren Lakis - <Deadlights>

White Flowers - <Dreams for Somebody Else>

The Haunted Youth - <Boys Cry Too>

- EP

Midscale - <Dread, This Could Save You>

Brightmoon - <First Light>

- Single

Lightbreather - 'Forever'

Plaster - 'Plaster'

Tuffie - 'Eraser'

Red Red Sun - 'Designated Driver'

Angel Egg - 'Blue Light'

Ursamenor - 'Meia Volta'

이달의 슈게이즈 5회: 26년 5월

[Paper 리뷰] EuleroDec: A Complex-Valued RVQ-VAE for Efficient and Robust Audio Coding

feVeRin — Wed, 20 May 2026 12:57:56 +0900

EuleroDec: A Complex-Valued RVQ-VAE for Efficient and Robust Audio Coding

Spectrogram-domain은 complex-valued phase modeling의 한계가 있음
EuleroDec
- Analysis-Quantization-Synthesis pipeline에서 magnitude-phase coupling을 preserve
- 특히 adversarial discriminator, diffusion post-filter를 제거하여 end-to-end processing을 지원
논문 (ICASSP 2026) : Paper Link

1. Introduction

Spectral-domain audio codec은 STFT를 통해 signal을 time-frequency domain으로 decompose 함
- Magnitude spectrum 만으로도 대부분의 perceptual content를 반영할 수 있지만, phase spectrum이 improper 한 경우 decoded signal에서 audible artifact가 발생함
- 이를 해결하기 위해 EnCodec, DAC 등은 multi-scale adversarial discriminator를 사용하고, ScoreDec은 flow-based post filter를 사용함
  - BUT, 해당 방식은 slow convergence와 adversarial instability의 문제점이 있음
- 이때 Complex-Valued Neural Network (CVNN)을 활용하면 speech modeling을 향상할 수 있음

-> 그래서 CVNN을 end-to-end neural codec에 접목한 EuleroDec을 제안

EuleroDec
- Complex-valued RVQ-VAE를 활용해 STFT의 algebraic structure와 amplitude-phase coupling을 반영
- 추가적으로 adversarial training, diffusion-based post-filter를 제거하여 end-to-end modeling을 지원

< Overall of EuleroDec >

Complex-valued RVQ-VAE를 활용한 end-to-end neural codec
결과적으로 기존보다 우수한 성능을 달성

2. Background

- Residual Vector Quantization

RVQ-VAE-based codec에서 encoder는 complex STFT frame을 latent vector $\mathbf{z}\in\mathbb{R}^{H}$로 project 함
- $M$ residual codebook stack $\{\mathcal{E}^{(m)}\}_{m=1}^{M}$은 $\mathbf{z}$를 iteratively approximate 함:
  (Eq. 1) $ \mathbf{r}^{(m)}=\mathbf{z}-\sum_{j<m}\mathbf{e}_{k_{j}}^{(j)},\,\,\, k_{m}=\arg\min_{k}|| \mathbf{r}^{(m)}-\mathbf{e}_{k}^{(m)}||_{2}$
  - $\mathbf{e}_{k}^{(m)}$ : stage $m$의 selected centroid
  - 이때 index sequence $(k_{1},...,k_{M})$만 transmit 되어 $R_{f}M\log_{2}K$의 bitrate를 제공함
- 기존 spectral codec은 quantization 전에 complex STFT를 두 개의 real signal로 split 해야 함:
  1. 이를 위해 spectrum을 modulus $|X|$와 unwrapped phase $\angle X$로 split 하여 2개의 independent-RVQ pipeline을 training 할 수 있음
  2. 한편으로는 spectrum을 real/imaginary component $\mathfrak{R}\{X\}, \mathfrak{I}\{X\}$로 separate 하고 Euclidean Mean-Squared Error로 optimize 된 RVQ cascade에 전달할 수 있음
    - 이후 output을 $\hat{X}=\hat{R}+j\hat{I}$와 같이 recombine 하여 iSTFT에 전달함
- BUT, 앞선 두 방식 모두 magnitude, phase 간의 intrinsic correlation을 neglect 한다는 단점이 있음

Overview

- Complex-Valued Neural Networks

Complex-valued nerual network는 input, weight, activation을 $z=x+iy$와 같이 represent 하고 true complex algebra를 compute 함
- Complex convolution은 $\mathbb{C}$에 대해 linear 하고 real/imaginary part를 coupling 함:
  (Eq. 2) $ (w*z)[n]=\sum_{k}w_{k}z_{n-k},\,\,\, w_{k}=a_{k}+ib_{k}, \,\,\,z_{n-k}=x_{n-k}+iy_{n-k}$
  - 해당 coupling은 model이 $x,y$를 independent channel로 취급하지 않고, 대신 amplitude-phase interaction을 학습할 수 있도록 함
- 여기서 phase equivariance는 임의의 $\phi\in\mathbb{R}$에 대해:
  (Eq. 3) $f\left(e^{i\phi}z\right)=e^{i\phi}f(z)$
  - 이는 $U(1)$ rotation으로 induce 된 geometry를 preserve 함
- $\text{modReLU}$ activation은 해당 phase intact를 leave 하고 modulus에 threshold를 적용함:
  (Eq. 4) $\text{modReLU}(z)=\text{ReLU}(|z|+b)\frac{z}{|z|}$
- Normalization은 separate modeling 대신 $(x,y)$를 whitening 하여 $2\times 2$ covariance와 함께 cross-channel dependence를 modeling 함

$\text{modReLU}$ Activation

3. Method

논문은 $x\in\mathbb{C}^{B\times C\times F\times T}$의 $\texttt{complex64}$ domain을 활용함
- 먼저 24kHz에서 $N_{FFT}=512, \text{win}=512, \text{hop}=64, \texttt{Hann window}$를 사용하여 256 frame에 대한 complex spectrogram을 compute 하고, 2048-entry codebook의 RVQ를 사용함
  1. 6 kpbs에서는 8 temporal stride를 통해 256 frame을 32 latent frame으로 reduce 하고, fixed length coding과 12 codebook을 사용하는 경우 6.2 kpbs가 됨
  2. 12 kpbs에서는 4 temporal stride를 사용하여 token rate를 doubling 하고 동일한 codebook 수를 keeping 하여 $\approx$ 12.4 kpbs를 얻음
- 구조적으로는 complex-valued VQ-VAE를 사용함

- Encoder and Decoder

4 downsampling stage는 $\text{freq}\times \text{time}$의 anisotropic schedule을 사용하고, decoder는 transposed convolution을 통해 이를 mirror 함
- Encoder는 5 complex residual layer를 가지고 $((1,1), (3,3), (3,5), (3,7), (1,1))$ dilation을 사용하여 stable complex statistics를 maintain 하면서 receptive field를 enlarge 함
  1. 이후 hierarchical compression을 위한 complex $3\times 7$ convolution과 4 downsampling을 적용함
  2. 각 stage에서 gated skip branch는 input에 대한 adaptive complex average pooling을 compute 하고 $1\times 1$ complex projection을 적용함
  3. 해당 branch는 complex downsampling, normalization, $3\times 3$ complex convolution, complex axial self-attention, $1\times 1$ complex projection 등을 가지는 main path와 summation 됨
    - Strided branch는 drop-path probability $p=0.05$로 summation 됨
- 이때 논문은 encoder에서 2D spectrogram structure를 keep 하여 spatial relation을 retain 함
  - Decoder는 pooling branch 없이 해당 mechanism을 mirror 하고 frequency-axis attention, complex feed-forward block에 4 upsampling stage을 적용하여 full-resolution complex spectrogram을 restore 함

Encoder Settings

- Vector Quantizer

Quantization 역시 complex domain에서 수행됨
- Encoder output $z_{e}\in\mathbb{C}^{B\times C\times F\times T}$는 frequency를 channel로 collapse 하여 reshape 되고 $z_{e}^{\flat}\in\mathbb{C}^{B\times (C\cdot F)\times T}$를 생성함
  - Complex lienar projection $W_{in}\in\mathbb{C}^{D\times (C\cdot F)}$는 merged representation을 code dimension으로 mapping 하고, 이후 $S$ stage Residual Vector Quantizer가 적용됨
- Codebook은 current continuous encoder embedding에서 centroid seed를 sampling 하고 small complex Gaussian noise를 add 하여 30 optimization warm-up step 이후에 initialize 됨
  1. 각 stage에서 모든 time index에 대해, vector quantization은 Hermitian-induced Euclidean metric 하에서 nearest complex centroid를 select 함
  2. 즉, $\mathcal{E}=\{e_{k}\}_{k=1}^{K}\subset \mathbb{C}^{D}$, $x\in\mathbb{C}^{D}$에 대해:
    (Eq. 5) $ d_{k}(x)=||x||_{2}^{2}+||e_{k}||_{2}^{2}-2\text{Re}\left(x^{H}e_{k}\right)$
    (Eq. 6) $k^{*}(x)=\arg\min_{k}d_{k}(x)$
- Stage output은 quantized reconstruction을 accumulate 하고 next stage에 대한 residual을 update 함
  1. Encoder stability는 $z_{e}$를 assigned centroid로 pull 하는 commitment loss를 통해 promote 됨:
    (Eq. 7) $\mathcal{L}_{commit}=\beta\frac{1}{N}\sum_{n=1}^{N}\left|\left| z_{e,n}-\text{sg}\left( e_{k*(n)}\right)\right|\right|_{2}^{2}$
    - $\text{sg}$ : stop-gradient operation
  2. Codebook은 assignment count와 feature sum의 exponential moving average로 update 됨
  3. Last stage 후, complex linear map $W_{out}\in\mathbb{C}^{(C\cdot F)\times D}$는 project back 되고 decoding을 위해 frequency를 unmerge 하여 $z_{q}\in\mathbb{C}^{B\times C\times F\times T}$를 recover 함
- 추가적으로 논문은 per-code usage $u_{k}$를 tracking 하여 $u_{k}\leq \tau$인 code를 dead로 flag 함
  1. 각 dead code에 대해 probability $p_{refresh}=0.015$로 current mini-batch에서 randomly sampled feature $x_{i}$를 re-seed 하고 small complex Gaussian noise $\epsilon\sim\mathcal{CN}(0,\sigma^{2}I)$를 add 함
    - $\sigma=0.001$
  2. 이후 $e_{k}\leftarrow x_{i}+\epsilon$으로 설정하고 EMA buffer를 $\bar{e}_{k}\leftarrow e_{k}$로 synchronize 하고 immediate re-pruning을 방지하기 위해 $u_{k}\leftarrow \tau+1$을 설정함

RVQ Embedding

4. Experiments

- Settings

Dataset : LibriTTS
Comparisons : AudioDec, EnCodec, APCodec

- Results

전체적으로 EuleroDec의 성능이 가장 우수함

Model 성능 비교

Ablation Study
- 각 component는 성능 향상에 유효함

Ablation Study

Complex valued AE를 사용하면 최적의 결과를 얻을 수 있음

AutoEncoder Design

[Paper 리뷰] SyncSpeech: Efficient and Low-Latency Text-to-Speech based on Temporal Masked Transformer

feVeRin — Tue, 19 May 2026 15:18:33 +0900

SyncSpeech: Efficient and Low-Latency Text-to-Speech based on Temporal Masked Transformer

Text-to-Speech model은 여전히 latency의 한계가 있음
SyncSpeech
- Temporal Mask Transformer를 기반으로 autoregressive model의 temporally ordered generation과 non-autoregressive model의 parallel decoding을 unify
- 추가적으로 High-Probability Masking을 통해 training efficiency를 향상
논문 (ICASSP 2026) : Paper Link

1. Introduction

Text-to-Speech (TTS)는 autoregressive (AR), non-autoregressive (NAR) paradigm으로 구분됨
- AR TTS model은 conditional language modeling task로 formulate 되어 temporally ordered fashion에 따라 speech token을 left-to-right generation 함
- 한편 NAR TTS model은 parallel prediction을 통해 higher generation efficiency를 달성할 수 있음
  - BUT, NAR model은 incremental generation이 어려우므로 high first-packet latency의 한계가 있음

-> 그래서 AR, NAR paradigm의 장점을 combine한 SyncSpeech를 제안

SyncSpeech
- Temporal Masked Transformer (TMT)를 통해 AR, NAR paradigm을 integrate
- 추가적으로 High-Probability Masking을 도입해 training efficiency를 향상

< Overall of SyncSpeech >

TMT와 High-Probability Masking을 활용한 low-latency TTS model
결과적으로 기존보다 우수한 성능을 달성

2. Method

SyncSpeech는 text-to-token model과 token-to-speech model로 구성됨
- Temporal Masked Transformer (TMT)는 text-to-token model의 backbone으로 사용되고, CosyVoice2의 off-the-shelf chunk-aware speech decoder는 token-to-speech module로 사용됨

- Temporal Masked Generative Transformer

Audio sample $\tilde{\mathbf{x}}$, transcript $\tilde{\mathbf{y}}$에 대해 transcribed speech dataaset $(\tilde{\mathbf{x}},\tilde{\mathbf{y}})$이 주어진다고 하자
- Transcript $\tilde{y}$는 text tokenizer를 통해 BPE token sequence $\mathbf{y}=[y_{1},y_{2},y_{3},...,y_{L}]$로 tokenize 됨
  - $L$ : BPE token 수
- 이후 논문은 off-the-shelf semantic speech tokenizer를 사용해 speech sample $\tilde{\mathbf{x}}$를 $T$ frame discrete speech token $\mathbf{s}=[s_{1},s_{2},s_{3},...,s_{T}]$로 encode 함
- Speech token sequence에서 각 BPE token의 end-time을 indicate 하는 duration token $\mathbf{a}=[a_{1},a_{2},a_{3},...,a_{L}]$과 같고, 여기서 $\mathbf{a}$는 $(\tilde{\mathbf{x}},\tilde{\mathbf{y}})$ pair에 대해 alignment tool을 적용하여 얻어짐
  - $a_{L}=T$

Overview

- Sequence Design

Sequence construction 시 inference process와의 consistency를 위해 random truncation strategy를 활용함
- 이를 위해 random $n\in[1,L]$을 select 함
  - 이는 streaming text input을 receive 할 때 TMT가 $n$-th BPE token에 해당하는 speech token을 생성해야 하는 것을 indicate 함
- Unnatural pause를 방지하기 위해, TMT는 $q$ text token을 look ahead 하고 truncated text token sequence $\mathbf{y}'=[y_{1},y_{2},y_{3},...,y_{L'}]$을 얻음
  - $L'=\min(L,n+q)$
- Duration token $\mathbf{a}$를 기반으로 truncated speech token sequence $\mathbf{s}_{1:a_{n}}=[s_{1},s_{2},...,s_{a_{n}}]$을 얻고, binary mask $\mathbf{m}$과 masked speech token sequence $\mathbf{s}'$를 정의함:
  (Eq. 1) $\mathbf{s}'=\mathbf{s}_{1:a_{n}}\odot\mathbf{m}$
  (Eq. 2) $\mathbf{m}=[m_{i}]_{i=1}^{a_{n}},\,\,\mathbf{m}_{1:a_{n-1}}=0,\,\, \mathbf{m}_{a_{n-1}:a_{n}}=1$
  - $s_{i}$는 $m_{i}=1$인 경우 special $\text{<MASK>}$ token을 replace 하고 $m_{i}=0$인 경우 $s_{i}$를 그대로 사용함
- 이후 truncated text token sequence $\mathbf{y}'$, masked speech token sequence $\mathbf{s}'$, duration token $\mathbf{a}$를 사용하여 input speech sequence를 구성함:
  (Eq. 3) $\mathbf{f}=[\mathbf{y}',E,D,\mathbf{s}'_{1:a_{1}},...,D,\mathbf{s}'_{a_{n-1}:a_{n}},D]$
  - $E$ : end-to-text token, $D$ : duration prediction placeholder
  - 이때 $D$는 duration token $\mathbf{a}$를 기반으로 서로 다른 BPE token에 대한 masked speech token sequence $\hat{\mathbf{s}}$를 separate 하는 데 사용됨

- Loss Function

Sequence $\mathbf{f}$는 mask, duration prediction을 training objective로 하는 TMT의 input으로 사용됨
- Sequence $\mathbf{f}$는 TMT에 전달되어 hidden state를 얻은 다음, 2개의 linear layer를 통해 text token $y_{n}$에 해당하는 speech token과 next text token $y_{n+1}$의 duration을 predict 하는 데 사용됨
- 이를 통해 first text token의 duration prediction을 제외하고 추론 시 duration, mask prediction을 single decoding step으로 integrate 할 수 있음
- 결과적으로 논문은 masked generative training과 duration training을 위해, 다음의 negative log-likelihood function을 minimize 함:
  (Eq. 4) $ \mathcal{L}_{mask}=-\log p(\mathbf{s}_{a_{n-1:a_{n}}}|\mathbf{f};\theta)$
  (Eq. 5) $\mathcal{L}_{duration}=-\log p(l_{n+1}|\mathbf{f};\theta)$
  - $\theta$ : TMT의 neural network parameter, $l_{n+1}=a_{n+1}-a_{n}$, $a_{0}=0$

- Hybrid Attention Mask

TMT는 causal, bidrectional pattern을 combine 한 hybrid attention mask를 사용함
- Causal attention은 input text token과 special token에 적용되고, bidirectional attention은 masked, speech token에 적용되어 모든 preceding token과 same text token에 해당하는 모든 masked, speech token에 attend 함
- 이를 통해 speech token은 해당 text token의 total duration을 perceive 할 수 있음

- Inference

SyncSpeech는 streaming fashion으로 text를 process 함
- Input text BPE token $\mathbf{y}$의 수가 look-ahead threshold $q$를 exceed 하면 input sequence $\mathbf{f}=[\mathbf{y},D]$가 구성된 다음 TMT에 전달되어 $y_{1}$의 duration을 predict 함
  1. Predicted duration을 기반으로 mask token과 duration prediction placeholder를 insert 하여 sequence padding을 수행함
  2. Updated sequence는 TMT에 다시 전달되어 $y_{1}$에 해당하는 speech token과 $y_{2}$의 duration을 predict 한 다음, input sequence $\mathbf{s}$를 update 하고 additional padding을 수행함
  3. 이후 각 text token을 receive 할 때마다 prediction, update, padding step을 repeat 하여 각 text token과 speech token에 대한 synchronous generation을 지원함
- 이때 생성된 speech token 수가 speech decoder의 chunk size를 exceed 하면 해당 token과 speaker prompt를 사용하여 speech waveform을 생성할 수 있음
- 추가적으로 text, speech token에 대해 separate positional embedding이 사용됨

- High-Probability Masked Pre-Training

SyncSpeech에 대한 from-scratch training strategy는 각 step에서 gradient가 하나의 text token에만 backpropagate 되므로 inefficient 함
- 이를 해결하기 위해 논문은 High-Probability Masked Pre-Training을 도입함
- 먼저 masked speech token을 $\hat{\mathbf{s}}=\mathbf{s}\odot \hat{\mathbf{m}}$이라고 하자
  - $\hat{\mathbf{m}}=[\hat{m}_{i}]_{i=1}^{a_{L}}$ : speech token의 binary mask
- 이때 masking rule은 high masking probability와 inference process의 consistency를 보장하는 것을 목표로 함
  1. Text token의 binary mask $\hat{\mathbf{m}}_{bpe}$에 대해 first value는 Bernolli distribution $p=0.5$에 따라 sampling 되고, 이때 subsequent adjacent value는 동일하지 않음
  2. Duration token $\mathbf{a}$를 기반으로 text token mask $\hat{\mathbf{m}}_{bpe}$는 speech token mask $\hat{\mathbf{m}}$으로 convert 됨
  3. 그러면 input sequence는 다음과 같이 구성되고, TMT는 masked generative training과 duration training에 대한 negative log-likelihood를 minimize 하도록 optimize 됨:
    (Eq. 6) $\hat{\mathbf{f}}=[\mathbf{y},E,D,\hat{\mathbf{s}}_{1:a_{1}},...,D,\hat{\mathbf{s}}_{a_{L-1}:a_{L}}]$
- 결과적으로 논문은 text, speech token alignment를 위해 high-probability masked pre-training을 수행하고, prediction process와 consistent 한 training strategy를 통해 model을 fine-tuning 함

- Other Modules

SyncSpeech의 나머지 module은 CosyVoice2를 기반으로 구축됨
- Supervised Speech Semantic (S3) tokenizer는 speech tokenzier로 사용되고, conditional flow matching decoder와 HiFi-GAN vocoder는 chunk-sized semantic token으로부터 waveform을 생성하는 데 사용됨

3. Experiments

- Settings

Dataset : LibriTTS
Comparisons : CosyVoice, CosyVoice2

- Results

전체적으로 SyncSpeech의 성능이 가장 뛰어남

Model 성능 비교

Ablation Study
- 각 component는 성능 향상에 유효함

Ablation Study

Analysis
- Duration prediction 시 $\text{Top-k}=3$ sampling을 사용했을 때 최적의 결과를 달성함
- Token prediction 시에는 greedy search가 효과적임

Top-$k$ Threshold 별 성능

Look ahead $q=1$일 때 가장 낮은 WER을 보임

Look Ahead 별 성능

[Paper 리뷰] VoCodec: An Efficient Lightweight Low-Bitrate Speech Codec

feVeRin — Mon, 18 May 2026 12:54:58 +0900

VoCodec: An Efficient Lightweight Low-Bitrate Speech Codec

Low complexity, low latency neural codec이 필요함
VoCodec
- Vocos vocoder를 backbone으로 사용하여 complexity를 절감
- Speech enhancement capability를 extend 하기 위해 front end에 lightweight neural network를 cascade
논문 (ICASSP 2026) : Paper Link

1. Introduction

Neural codec은 encoder, decoder, quantizer module로 구성됨
- Encoder는 speech를 latent representation으로 compress 하고 decoder는 quantized vector로부터 waveform을 reconstruct 하고, quantizer는 encoder, decoder와 함께 end-to-end training 됨
- 특히 neural codec은 discrete token을 compression, reconstruction에 사용함
  - 구조적으로는 VQ-GAN architecture를 기반으로 perceptual quality 향상을 위한 discriminator를 도입함
- BUT, 기존 neural codec은 high complexity, non-causality로 인해 real-time communication의 한계가 있음

-> 그래서 low computational complexity neural codec인 VoCodec을 제안

VoCodec
- Vocos architecture를 기반으로 time-frequency domain에서 speech codec을 directly operate
- Lightweight speech enhancement model을 front end에 cascade 하여 dereverberation을 수행

< Overall of VoCodec >

Vocos architecture를 기반으로 한 low complexity, low latency neural codec
결과적으로 기존보다 우수한 성능을 달성

2. Method

- Generator

VoCodec은 time-frequency domain에서 동작하고 Vocos를 encoder-decoder backbone으로 채택함
- Speech는 time-frequency domain에서 highly pronounced harmonic structure를 가지고 STFT/iSTFT를 통해 downsampling/upsampling을 single step으로 수행할 수 있기 때문
- 먼저 speech signal $x\in\mathbb{R}^{L}$이 주어지면, STFT를 통해 frequency, frame axis $F, T$에 대한 complex spectrum $X\in \mathbb{C}^{F\times T}$로 transform 함
  1. 이후 complex spectrum $X$의 logarithmic magnitude와 phase를 추출한 다음, frequency axis를 따라 concatenate 하여 input feature $Z_{in}$으로 사용함:
    (Eq. 1) $ Z_{in}=\text{Concat}\left(\log (|X|), \text{angle}\left(X_{i},X_{r}\right)\right)\in \mathbb{R}^{2F\times T}$
    - $X_{r},X_{i}$ : real/imaginary part, $|\cdot|$ : complex value에 대한 norm, $\text{Concat}(\cdot)$ : concatenation operation
  2. Complexity를 줄이기 위해 fully-connected layer를 통해 $Z_{in}$을 low-dimensional space로 project 함
- Encoder는 WavTokenizer를 따라 $M$ stacked ConvNeXt block과 attention module로 구성됨
  1. 각 ConvNeXt block은 depthwise convolution을 통해 higher dimensionality로 project 한 다음, 두 개의 pointwise convolution으로 project back 하는 inverted bottleneck으로 구성됨
  2. Attention module은 VoCodec의 sequence modeling을 향상하기 위해 $N$ basic ResNet block을 incorporate 하고 self-attention block을 add 함
- Quantizer는 Residual Vector Quantizer (RVQ)를 사용함
  - 특히 DAC를 따라 factorized code와 $L2$-normalization을 적용함
- Decoder는 Encoder의 mirror로써 computational complexity를 위해 ConvNeXt의 inverted design을 remove 하고 ResNet block에 group convolution을 적용함
  - Network는 complex spectral coefficient를 생성하고, speech는 iSTFT를 통해 reconstruct 됨

Overview

- Discriminator

VoCodec은 time-frequency domain에서 동작하므로 multi-scale STFT discriminator를 적용할 수 있음
- 이때 window length는 $[128, 256, 512, 1024, 2048]$, hop size는 $\texttt{window length}/4$로 fix 됨
- Multi-scale discriminator, multi-period discriminator 등은 사용되지 않음

- Combined Enhancement and Compression

Time-frequency domain masking에 기반한 lightweight speech enhancement model을 codec의 front end에 integrate 하여 noise interference와 reverberation을 줄일 수 있음
- 이를 위해 논문은 UL-UNAS model과 VoCodec을 cascade 함
  - 먼저 speech signal $x$는 UL-UNAS를 통과하여 enhanced spectrum $X_{enh}$를 생성하고, 이후 $X_{enh}$는 preprocess 되어 VoCodec으로 전달됨
- 이때 UL-UNAS의 parameter를 fix 하고 각 model을 independently train 한 다음, VoCodec을 fine-tuning 함

- Loss Functions

먼저 UL-UNAS training을 위한 loss function은
- Negative Scale Invariant SNR (SI-SNR) loss $\mathcal{L}_{SI\text{-}SNR}$, power-compressed spectrum loss $\mathcal{L}_{mag}$, $\mathcal{L}_{real/imag}$로 구성됨:
  (Eq. 2) $ \mathcal{L}_{SI\text{-}SNR}(\hat{x},x)=-\log_{10}\left( \frac{||\hat{x}_{t}||_{2}^{2}}{||\hat{x}-\hat{x}_{t}||_{2}^{2}}\right); \,\,\, \hat{x}_{t}=\frac{\langle \hat{x},x\rangle x}{||x||_{2}^{2}}$
  (Eq. 3) $\mathcal{L}_{mag}(\hat{X},X)=\left|\left| |\hat{X}|^{0.3}-|X|^{0.3}\right|\right|_{2}^{2}$
  (Eq. 4) $\mathcal{L}_{real/imag}(\hat{X},X)=\left|\left| \frac{\hat{X}_{r/i}}{|\hat{X}|^{0.7}} -\frac{X_{r/i}}{|X|^{0.7}}\right|\right|_{2}^{2}$
  - $x,\hat{x}$ : clean/enhanced speech, $X,\hat{X}$ : clean/enhanced spectrogram
  - $r, i$ : spectrogram의 real/imaginary part, $\langle\cdot,\cdot\rangle$ : inner product operator
- 그러면 general loss function $\mathcal{L}_{sc}$는:
  (Eq. 5) $\mathcal{L}_{sc}=\lambda_{1}\mathcal{L}_{SI\text{-}SNR}(\hat{x},x)+\lambda_{2}\mathcal{L}_{mag}(\hat{X},X)+\lambda_{3}\left(\mathcal{L}_{real}(\hat{X},X)+\mathcal{L}_{imag}(\hat{X},X)\right)$
  - $\lambda_{1},\lambda_{2},\lambda_{3}$ : weight
- VoCodec에서 generator loss $\mathcal{L}_{generator}$는 다음과 같이 구성됨
  1. Reconstruction loss $\mathcal{L}_{rec}$를 위한 multi-scale mel-spectrogram loss:
    (Eq. 6) $\mathcal{L}_{rec}=\left|\left| \log\left( \mathcal{M}(x)\right)-\log \left(\mathcal{M}(\hat{x})\right)\right|\right|_{1}$
    - $x,\hat{x}$ : target, reconstructed speech, $\mathcal{M}(\cdot)$ : mel-spectrogram transform
  2. Adversarial loss $\mathcal{L}_{g}$:
    (Eq. 7) $\mathcal{L}_{g}=||1-D(\hat{x})||_{2}^{2}$
    - $D(\cdot)$ : discriminator output
  3. Feature matching loss $\mathcal{L}_{feat}$:
    (Eq. 8) $\mathcal{L}_{feat}=2\sum_{l}\left|\left|D^{l}(x)-D^{l}(\hat{x})\right|\right|_{1}$
    - $D^{l}(\cdot)$ : $l$-th discriminator layer의 feature map
  4. 최종적으로 codebook loss $\mathcal{L}_{code}$, commitment loss $\mathcal{L}_{c}$를 포함한 final generator loss $\mathcal{L}_{generator}$는:
    (Eq. 9) $\mathcal{L}_{generator}=\lambda_{rec}\mathcal{L}_{rec}+\lambda_{g}\mathcal{L}_{g} +\lambda_{feat}\mathcal{L}_{feat} + \lambda_{code}\underset{\mathcal{L}_{code}}{\underbrace{\left|\left| \text{sg}[\mathbf{z}_{e}]-\mathbf{e}_{k}\right|\right|_{2}^{2}}}+\lambda_{c}\underset{\mathcal{L}_{c}}{\underbrace{\left|\left| \mathbf{z}_{e}-\text{sg}[\mathbf{e}_{k}]\right|\right|_{2}^{2}}}$
    - $\text{sg}[\cdot]$ : stop-gradient operation, $\mathbf{e}_{k}$ : codebook vector
    - $\lambda_{rec},\lambda_{g},\lambda_{feat}, \lambda_{code},\lambda_{c}$ : weight
- Discriminator는 adversarial loss $\mathcal{L}_{d}$로 separately train 됨:
  (Eq. 10) $\mathcal{L}_{d}=||1-D(x)||_{2}^{2}+||D(\hat{x})||_{2}^{2}$
- Training 시 mel-spectrogram은 $[32, 64, 128, 256, 512, 1024, 2048]$의 multiple window length로 compute 되고 fixed hop size는 $\texttt{window length}/4$로 설정됨
  - Mel bin size는 $[5, 10, 20, 40, 80, 160, 320]$을 사용함

3. Experiments

- Settings

Dataset : LRAC
Comparisons : WavTokenizer

- Results

전체적으로 VoCodec의 성능이 가장 우수함

Model 성능 비교

Subjective evaluation 측면에서도 우수한 성능을 보임

Subjective Evaluation

[Paper 리뷰] Int-MeanFlow: Few-Step Speech Generation with Integral Velocity Distillation

feVeRin — Fri, 15 May 2026 12:50:07 +0900

Int-MeanFlow: Few-Step Speech Generation with Integral Velocity Distillation

Flow-based model은 iterative sampling으로 인한 추론 속도의 한계가 있음
Int-MeanFlow
- Average velocity를 temporal interval 동안 teacher의 instantaneous velocity로 approximate
- 추가적으로 Optimal Step Sampling Search를 도입하여 model-specific optimal sampling step을 identify
논문 (ICASSP 2026) : Paper Link

1. Introduction

Text-to-Speech (TTS)에서 flow-based model은 iterative sampling으로 인해 추론 속도의 한계가 있음
- 이때 MeanFlow를 활용하면 Number of Function Evalutation (NFE)를 줄이면서 sampling quality를 향상할 수 있음
- BUT, MeanFlow를 TTS에 적용하기 위해서는 다음을 고려해야 함:
  1. MeanFlow의 training process는 self-bootstrap mechanism에 기반하고, flow matching과 유사한 instantaneous velocity guidance mixing이 필요함
    - 특히 guidance strength는 model 성능에 큰 영향을 미침
  2. MeanFlow는 상당한 GPU memory를 소비하는 Jacobian-Vector Product를 사용함
    - 즉, Memory 한계로 인해 large-scale TTS model을 training 하기 어려움

-> 그래서 TTS task를 위해 MeanFlow의 한계점을 개선한 Int-MeanFlow를 제안

Int-MeanFlow
- MeanFlow framework를 기반으로 instantaneous velocity 대신 averaged velocity를 학습하고, model-specific near-optimal sampling step을 identity 하는 Optimal Step Sampling Search (OS3)를 도입
- 추가적으로 pre-trained flow matching model에 적용할 수 있는 initialization strategy를 구성

< Overall of Int-MeanFlow >

Averaged velocity 학습과 OS3 algorithm에 기반한 MeanFlow-based TTS framework
결과적으로 기존보다 우수한 성능을 달성

2. Method

- Int-MeanFlow: MeanFlow Distillation via Integral Velocity

Int-MeanFlow는 individual time step의 instantaneous velocity 대신 time interval에 대한 averaged velocity를 학습하는 것을 목표로 함
- MeanFlow의 coarse-to-fine nature를 retain 하면서 training 시에는 fine-grained detail을 capture 하기 위해, smaller interval을 emphasize 하고 broader temporal dynamics는 gradually learning 함
- Distillation process에서 student model은 flow matching teacher model로 guide 됨
  1. Teacher model은 initial distribution $p_{0}$를 time-dependent vector field $v(z_{t},t;\theta)$를 통해 target distribution $p_{1}$으로 transform 함
  2. State evolution $z_{t}$는 Ordinary Differential Equation (ODE)를 통해 govern 됨:
    (Eq. 1) $ \frac{d}{dt}z_{t}=v(z_{t},t;\theta),\,\,z_{0}\sim p_{0}, \,\, z_{1}\sim p_{1},\,\, t\in[0,1]$
  3. 이때 teacher의 loss function은:
    (Eq. 2) $\mathcal{L}_{CFM}=\mathbb{E}_{t,p_{0}(z_{0}),q(z_{1})}\left[\left|\left| v(z_{t},t;\theta)-(z_{1}-z_{0})\right|\right|^{2}\right]$
- Teacher가 instantaneous velocity $v(z_{t},t;\theta)$ modeling을 학습하는 동안, student model은 time interval $[t,r]$에 대한 averaged velocity를 학습함:
  (Eq. 3) $\bar{v}(z_{t},t,r)=\frac{z_{r}-z_{t}}{r-t}$
  - $z_{t},z_{r}$ : time $t, r$에 대한 state, $z_{r}$은 추론 시 iteratively compute 됨
- Student는 teacher의 instantaneous velocity를 사용하여 averaged velocity를 approximate 하도록 train 됨
  1. 이를 위해 논문은 distillation 시 iterative sampling을 수행함
  2. 먼저 interval $[t,r]$은 $n$ sub-interval로 discretize 되고 time step은 $t_{0}=t,t_{1},...,t_{n}=r$과 같음
  3. 각 step에서 teacher는 ODE의 discrete approximation을 따라 state를 evolve 함:
    (Eq. 4) $z_{t_{k+1}}=z_{t_{k}}+(t_{k+1}-t_{k})\cdot v(z_{t_{k}},t_{k};\theta)$
    - $t_{0}=t, t_{n}=r$, $t_{1},t_{2},...,t_{n-1}$ : intermediate time step
  4. Interval $[t,r]$에 대한 total displacement는:
    (Eq. 5) $\Delta z^{teacher}=\sum_{k=0}^{n-1}(z_{t_{k+1}}-z_{t_{k}}) =\sum_{k=0}^{n-1}(t_{k+1}-t_{k})\cdot v(z_{t_{k}},t_{k};\theta)$
- 해당 discrete displacement는 student가 modeling 하는 continuous process인 $[t,r]$에 대한 instantaneous velocity $v(z_{t},t;\theta)$의 integral을 approximate 함
  1. Averaged velocity를 approximate 하기 위해 displacement는 interval length로 normalize 됨:
    (Eq. 6) $\bar{v}_{teacher}(z_{t},t,r)=\frac{\Delta z^{teacher}}{r-t}$
  2. Averaged velocity의 continuous form은:
    (Eq. 7) $\bar{v}(z_{t},t,r)=\frac{1}{r-t}\int_{t}^{r}v(z_{\tau},\tau;\theta)d\tau$
  3. 결과적으로 teacher의 discrete displacement는 해당 integral의 numerical approximation으로 사용되고, student model은 distillation loss를 minimize 하도록 training 됨:
    (Eq. 8) $\mathcal{L}_{distill}=\mathbb{E}_{t,r}\left[\left|\left| u_{student}(z_{t},t,r)-\bar{v}_{teacher}(z_{t},t,r)\right|\right|^{2}\right]$
    - $u_{student}(z_{t},t,r)$ : student model에서 predict 된 velocity, $\bar{v}_{teacher}(z_{t},t,r)$ : teacher의 target velocity
    - Student model은 teacher guidance를 따라 averaged velocity를 predict 하고, iterative sampling을 통해 instantaneous velocity의 integral을 approximate 함

Overview

- Optimal Step Sampling Searching (OS3)

기존 flow-based TTS에서는 NFE requirement를 만족하기 위해 continuous function이나 hard-coded discrete step schedule을 사용함
- 이와 달리 논문은 model inference process에 맞춰 sampling step을 optimize 함
  - Sampling step position의 function에 대한 speech quality는 near-convex behavior를 가지기 때문
- 결과적으로 논문의 Optimal Sampling Step Search (OS3) algorithm은 추론 interval $[0,1]$ 전체에 대해 고정된 수의 sampling step distribution을 optimize 함
  1. OS3는 ternary search를 활용하여 각 sampling step의 placement를 optimize 함
    - 즉, 하나의 sampling step을 제외한 나머지 step을 fix 하고 optimization을 위한 ternary search를 적용함
  2. 해당 process는 각 step마다 repeat 되고 development set에서 further improvement가 없을 때까지 수행됨
    - 이를 통해 OS3는 sampling step의 optimal distribution을 identify 할 수 있음
  3. [Algorithm 1]의 metric function $\mathcal{L}$은 sampling step set $T$, development set을 기반으로 generated audio에 대한 pre-defined metric을 compute 함
    - 논문에서는 speaker similarity를 metric으로 채택함

Optimal Step Sampling Searching

- Initialization Strategy for Int-MeanFlow

Flow matching model을 Int-MeanFlow에 adapt 하기 위해 additional parameter $r$을 도입함
- $t, r$은 동일한 embedding layer를 통과한 다음 concatenate 되고 linear mapping $\mathbf{W}$를 사용하여 feature space로 project back 됨
- $t, r$의 embedding을 각각 $\mathbf{e}_{t}=\mathcal{E}(t), \mathbf{e}_{r}=\mathcal{E}(r)$ 이라고 하자
  1. Concatenated, mapped embedding $\mathbf{e}_{t,r},\mathbf{e}'_{t,r}$은:
    (Eq. 9) $\mathbf{e}_{t,r}=[\mathbf{e}_{t},\mathbf{e}_{r}],\,\,\,\mathbf{e}'_{t,r}=\mathbf{We}_{t,r}$
  2. Original model behavior를 preserve 하기 위해 $\mathbf{W}$는 다음과 같이 initialize 됨:
    (Eq. 10) $\mathbf{W}=[D_{diag}\,\, 0]$
    - $D_{diag}$ : diagonal matrix

Sampling Step 별 Speaker Similarity

3. Experiments

- Settings

Dataset : Emilia
Comparisons : F5-TTS, CosyVoice2

- Results

전체적으로 Int-MeanFlow의 성능이 가장 우수함

Model 성능 비교

Token-to-Mel 측면에서도 Int-MeanFlow가 가장 뛰어난 성능을 달성함

Token-to-Mel 성능

Int-MeanFlow는 작은 NFE에서도 뛰어난 성능을 보임

NFE 별 성능

Teacher NFE가 클수록 training time은 증가함

Teacher NFE 별 Training Time

[Paper 리뷰] IPACue-TTS: Integrating Prosody and Articulatory Cues in Conditional Flow Matching for Multilingual Zero-Shot TTS

feVeRin — Thu, 14 May 2026 14:03:00 +0900

IPACue-TTS: Integrating Prosody and Articulatory Cues in Conditional Flow Matching for Multilingual Zero-Shot TTS

Native-sounding cross-lingual, code-mixed Text-to-Speech model이 필요함
IPACue-TTS
- Pronunciation, prosodic accuracy를 향상하기 위해 articulatory phoneme refinement를 incorporate
- Flow-based framework를 통해 fine-grained acoustic, prosodic feature를 explicitly modeling
논문 (ICASSP 2026) : Paper Link

1. Introduction

기존 Text-to-Speech (TTS) model은 cross-lingual, code-switching 환경에서 accent leakage가 발생함
- 한편 speech-production cue를 incorporate 하는 articulatory-informed TTS를 활용하면 clarity를 향상할 수 있음
- 추가적으로 대부분의 TTS model은 coarse global embedding이나 learned style token을 활용해 style을 modeling 하므로 linguistic content를 disentangle 하기 어려움
  - 이때 jitter, formant frequency, shimmer 등과 같은 temporal acoustic parameter를 도입하면 acoustic characteristic에 대한 low-level description을 향상할 수 있음

-> 그래서 articulatory cue와 temporal acoustic feature를 활용한 IPACue-TTS를 제안

IPACue-TTS
- Articulatory cue에 기반한 phonological rule을 도입하여 naturalness를 향상하고 Text Encoder를 language embedding에 condition 하여 language-specific articulatory variation을 capture
- Temporal acoustic, prosodic feature를 Conditional Flow에 incorporate 하여 fine-grained acoustic information을 modeling

< Overall of IPACue-TTS >

Articulatory cue를 활용한 Conditional Flow Matching-based multilingual code-switching TTS model
결과적으로 기존보다 우수한 성능을 달성

2. Integrating Articulation and Prosody

Articulatory information과 prosodic pattern을 incorporate 하면 naturalness를 향상할 수 있으므로, 논문은 speech articulation에서 derive 된 phonological rule을 구성함

- Closure Phoneme Modeling for Stop Consonants

Aspirated, unaspirated stop consonant ($\texttt{/p/}$, $\texttt{/t/}$, $\texttt{/}\texttt{k}^\texttt{h}\texttt{/}$)는 closure 이후에 release burst가 이어지는 2-phase articulation을 가짐
- 이때 기존의 grapheme-to-phoneme conversion은 release phase만 capture 하므로 under-articulated, short stop segment를 생성할 수 있음
- 따라서 논문은 각 stop consonant에 대해 explicit closure phoneme을 도입하여 closure phase를 modeling 함
  - 이를 통해 voicing contrast perception을 향상하고 natural temporal pattern을 제공할 수 있음

- Explicit Representation of Geminated Sounds

Gemination은 stop의 경우 longer closure, fricative, nasal의 경우 sustained constriction으로 articulate 되고 surrounding vowel의 shortening으로 이어짐
- 즉, phoneme을 두 번 repeat 되는 경우, model은 prolonged closure/frication에 대한 single articulatory gesture를 independent two phoneme으로 취급할 수 있음
- 이를 해결하기 위해 논문은 lengthened sound의 temporal, spectral continuity를 encode 하는 dedicated geminate phone을 도입함

- Temporal Acoustic and Prosody Modeling

논문은 articulatory cue 외에도 formant detail, energy, shimmer, Hammarberg index, spectral tilt와 같은 low-level temporal acoustic descriptor를 explicit conditioning variable로 추가함
- 해당 descriptor를 통해 model은 intonation, rhythm, stress에 대한 fine-grained temporal, spectral variation을 capture 하고 naturalness와 expressiveness를 향상할 수 있음
- 특히 prosody descriptor에 대한 explicit conditioning을 통해 speaker generalization을 위한 finer-level speaker-specific characteristic을 preserve 할 수 있음

Overview

3. Architecture

IPACue-TTS에서 text는 $\texttt{phonemizer}$를 통해 International Phonetic Alphabet (IPA)로 convert 됨
- Articulatory cue는 앞선 phonological rule을 따라 IPA에 적용되고, 각 IPA는 128-dimensional non-trainable embedding으로 convert 됨
  - Phoneme positional information은 Rotational Positional Embedding (RoPE)를 통해 incorporate 됨
- 여기서 phoneset는 language 간에 공통이므로, language에 condition 된 Text Encoder를 사용하여 language 간 articulatory variation을 capture 함
  1. 이를 위해 IPA embedding과 함께 16-dimensional fixed embedding을 Text Encoder에 전달함
  2. Text Encoder는 ConvNeXt module로 구성되고, 얻어진 linguistic representation은 target mel-spectrogram의 frame 수에 맞게 filler token embedding과 concatenate 됨
  3. Mel-spectrogram은 target speech에서 40ms frame length, 20ms frame shift, 1024 FFT length를 사용하여 얻어지고, temporal acoustic, prosodic parameter는 $\texttt{Opensmile}$을 통해 추출됨
- IPACue-TTS는 conditional flow matching을 기반으로 mel-spectrogram의 neighbor segment를 condition으로 segment를 predict 하는 infilling task로 training 됨
  1. Acoustic reference는 temporal acoustic, prosodic parameter와 mel-spectrogram을 concatenate 한 다음, Conditional Flow module을 통해 modeling 됨
  2. 이때 predict 할 acoustic reference segment는 randomly mask 되고, F5-TTS와 같이 normalizing flow의 0-th step에서 acoustic reference와 동일한 dimension의 noise input이 initialize 됨
  3. Filled linguistic representation, masked acoustic reference, noise input은 concatenate 되어 Diffusion Transformer (DiT) module에 전달되고, masked segment인 acoustic target을 predict 함
  4. 이후 predicted output에 inverse mask를 적용하여 masked region에 대한 loss를 compute 함
- 추론 시에는 reference speech와 text가 concatenate 되어 전달됨
  1. Reference speech에서 추출된 acoustic reference는 unmasked segment로 사용되고, average phone duration으로 compute 된 approximate length의 mask를 filling task에 활용함
  2. Acoustic target은 16-step으로 predict 되고 generated mel-spectrogram은 pre-trained Vocos vocoder를 통해 reconstruct 됨

Inference

4. Experiments

- Settings

Dataset : IndicTTS, SYSPIN, RASA
Comparisons : YourTTS, FastSpeech2, Matcha-TTS, E2-TTS, F5-TTS

- Results

전체적으로 IPACue-TTS의 성능이 가장 우수함

Model 성능 비교

[Paper 리뷰] IBPCodec: A Low-Bitrate Lightweight Speech Codec with Inter-Band Prediction

feVeRin — Wed, 13 May 2026 13:04:07 +0900

IBPCodec: A Low-Bitrate Lightweight Speech Codec with Inter-Band Prediction

Neural codec은 high computational complexity로 인한 한계가 있음
IBPCodec
- Inter-Band Prediction을 활용하여 low-frequency information을 modeling
- Decoding 시에는 high-/low-frequency band 간의 correlation을 활용하여 full speech reconstruction을 지원
논문 (ICASSP 2026) : Paper Link

1. Introduction

Speech codec은 continuous waveform을 discrete representation으로 compress 함
- 특히 SoundStream, EnCodec, DAC와 같은 neural codec은 encoder-decoder architecture와 vector quantization을 활용하여 discrete sequence를 생성함
- BUT, 대부분의 neural codec은 high computational complexity를 가짐
  - 이로 인해 edge device나 downstream task에 적용하는데 한계가 있음

-> 그래서 neural codec의 complexity를 개선한 IBPCodec을 제안

IBPCodec
- Low-frequency component에 대한 feature extraction과 quantization을 수행
- Quantized feature decoding 시에는 Inter-Band Prediction Module을 사용하여 low-frequency component로부터 high-frequency component를 predict

< Overall of IBPCodec >

Inter-Band Prediction을 활용한 lightweight, low-bitrate neural codec
결과적으로 기존보다 우수한 성능을 달성

2. Method

- Overview

Low-frequency component는 subjective/objective evaluation에서 dominate 하므로, 논문은 low-frequency spectral component를 preserve 하는 것을 목표로 함
- 구조적으로 IBPCodec은 encoder-quantizer-decoder architecture를 따름
  1. Input signal $x\in\mathbb{R}^{1\times T}$는 STFT를 통해 time-frequency spectrum $f\in\mathbb{R}^{F\times N}$으로 convert 됨
    - $T$ : time-domain sample 수, $N$ : temporal frame 수, $F$ : frequency bin 수
  2. 이후 low-frequency clipping을 적용한 amplitude, real, imagninary part $f_{low}\in\mathbb{R}^{3\times F'\times N}$를 network input으로 사용함
    - $F'$ : low-frequency bin
  3. Total bandwidth에서 low-frequency band proportion은 $P=\frac{F'}{F}$와 같음
- Encoder는 low-frequency input component $f_{low}$에서 latent feature $z$를 추출하고 quantizer를 통해 discrete latent representation $z_{q}$를 얻음
  - 이후 decoder는 quantized latent representation으로부터 low-frequency component를 recover 함
- Decode 된 low-frequency component $f'_{low}$에 대해, Inter-Band Prediction Module (IBPM)을 사용하여 low frequency band에서 high frequency를 predict 함:
  (Eq. 1) $ f'_{high}=\text{IBPM}(f'_{low})$
- $f'_{low},f'_{high}$를 complete spectrum $f'$으로 concatenate 하고 iSTFT를 통해 complete speech signal $x'$을 얻음:
  (Eq. 2) $x'=\text{iSTFT}(\text{concat}(f'_{low},f'_{high}))$

Overview

- Encoder and Decoder

Encoder는 ConvEncoder와 Temporal Aggregation Module (TAM)으로 구성됨
- ConvEncoder는 stacked Encoder block으로 구성됨
  1. 각 block은 channel 수 $C$, kernel size $(k,1)$, stride $(s,1)$을 가진 2D downsampling convolution과 channel 수 $C$, kernel size $(1,1)$, stride $(1,1)$의 2D convolution으로 구성됨
  2. 각 convolution과 Encoder block은 ReLU activation으로 connect 됨
- Time domain에서 downsampling stride와 kernel size가 $1$로 설정되어 있으므로, ConvEncoder의 모든 feature extraction은 각 frame 내에서 수행되고 inter-frame correlation은 고려하지 않음
  1. 이를 해결하기 위해 논문은 quantizer의 각 side에 TAM을 추가하고, 구조적으로는 FocalCodec을 따라 FocalBlock의 causal variant를 채택함
  2. FocalBlock은 서로 다른 size의 depth convolution을 사용하여 dependency를 capture 하고, gated aggregation을 통해 multiple granularity의 contextual feature를 single feature vector로 condense 함
- Decoder는 Encoder의 mirror로써 downsampling convolution을 upsampling convolution으로 replace 함

- Inter-Band Prediction Module

논문은 Inter-Band Prediction Module (IBPM)을 codec에 directly embed 함
- IBPM은 high-/low-frequency 간의 correlation을 활용하여 low-frequency component를 통해 high-frequency component를 predict 함
- 먼저 temporal resolution을 preserve 하기 위해 input tensor의 channel, frequency dimension을 merge 함
  1. 이후 3 layer의 pointwise 1D convolution을 사용하여 temporal dimension을 preserve 하면서 low frequency에서 high frequency로 dimension을 project 함
    - 각 1D convolution은 PReLU activation을 가짐
  2. 최종적으로 reshape operation을 통해 original tensor layout을 restore 함

- Quantizer and Discriminator

논문은 HiFi-Codec을 따라 GRVQ를 quantizer로 채택함
- 이때 group 수 $G=2$로 설정하고 GRVQ layer 수를 통해 bitrate를 modify 할 수 있음
- Discriminator는 EnCodec을 따라 Multi-Scale STFT (MS-STFT) discriminator를 사용함

- Loss Function

Reconstruction loss $\mathcal{L}_{rec}$, adversarial loss $\mathcal{L}_{adv}$, feature matching loss $\mathcal{L}_{feat}$, commitment loss $\mathcal{L}_{cmt}$에 대해
- IBPCodec의 loss function은:
  (Eq. 3) $\mathcal{L}=\lambda_{rec}\mathcal{L}_{rec}+\lambda_{adv}\mathcal{L}_{adv}+\lambda_{feat}\mathcal{L}_{feat}+\lambda_{cmt}\mathcal{L}_{cmt}$
  - $\lambda_{rec},\lambda_{adv},\lambda_{feat},\lambda_{cmt}$ : weight coefficient
- 이때 reconstruction loss $\mathcal{L}_{rec}$는:
  (Eq. 4) $\mathcal{L}_{rec}=\lambda_{wav}\mathcal{L}_{wav}+\lambda_{mel}\mathcal{L}_{mel}$
  - $\lambda_{wav},\lambda_{mel}$ : weight coefficient, $\mathcal{L}_{wav}$ : waveform loss, $\mathcal{L}_{mel}$ : mel-spectrogram loss

3. Experiments

- Settings

Dataset : VCTK
Comparisons : DAC, SpeechTokenizer, FunCodec

- Results

전체적으로 IBPCodec의 성능이 가장 우수함

Model 성능 비교

Subjective evaluation 측면에서도 우수한 성능을 보임

Subjective Evaluation

Low-band proportion $P=0.75$ 일 때 최적의 성능을 달성함

Low-band Proportion 별 성능

Ablation Study
- 각 component는 성능 향상에 유효함

Ablation Study

Let IT Begin

[Paper 리뷰] CoCoEmo: Composable and Controllable Human-Like Emotional TTS via Activation Steering

document.addEventListener("DOMContentLoaded", function() { renderMathInElement(document.body, { delimiters: [ {left: "$$", right: "$$", display: true}, {left: "$", right: "$", display: false} ] });});

CoCoEmo: Composable and Controllable Human-Like Emotional TTS via Activation Steering

1. Introduction

2. Disentangling Emotion in SLM and Flow-Matching

- Model Overview

- Where to Steer 1: Modular Analysis

- Where to Steer 2: Layer and Operator Selection

3. Method

- Steering Vector Construction

- Inference-Time Steering

- Mixed-Emotion Evaluation

4. Experiments

- Settings

- Results

[Paper 리뷰] FC-TTS: Style and Timbre Control in Zero-Shot Text-to-Speech with Disentangled Speech Representation

document.addEventListener("DOMContentLoaded", function() { renderMathInElement(document.body, { delimiters: [ {left: "$$", right: "$$", display: true}, {left: "$", right: "$", display: false} ] });});

FC-TTS: Style and Timbre Control in Zero-Shot Text-to-Speech with Disentangled Speech Representations

1. Introduction

2. Preliminary

- Factorized Speech Codec

- Flow-Matching TTS

3. Method

- Hierarchical Spectrogram Generation

- VQ-VAE Style Encoding

- Conditional Consistency Loss

4. Experiments

- Settings

- Results

[공지] Polyfill 공급망 공격 문제 (해결됨)

[이달슈] 이달의 슈게이즈 5회 - 26년 5월

이달의 슈게이즈 5회 - 26년 5월

1. 달콤쌉쌀한 초여름의 맛

2. 커버와 창작 사이

3. N년째 우리는 보컬로이드 곰탕

4. 헤비니스로 돌아갈래

5. 2시간 동안의 우주유영

6. 상처받은 디스토션

7. 미처 말하지 못한 앨범들

[Paper 리뷰] EuleroDec: A Complex-Valued RVQ-VAE for Efficient and Robust Audio Coding

document.addEventListener("DOMContentLoaded", function() { renderMathInElement(document.body, { delimiters: [ {left: "$$", right: "$$", display: true}, {left: "$", right: "$", display: false} ] });});

EuleroDec: A Complex-Valued RVQ-VAE for Efficient and Robust Audio Coding

1. Introduction

2. Background

- Residual Vector Quantization

- Complex-Valued Neural Networks

3. Method

- Encoder and Decoder

- Vector Quantizer

4. Experiments

- Settings

- Results

[Paper 리뷰] SyncSpeech: Efficient and Low-Latency Text-to-Speech based on Temporal Masked Transformer

SyncSpeech: Efficient and Low-Latency Text-to-Speech based on Temporal Masked Transformer

1. Introduction

2. Method

- Temporal Masked Generative Transformer

- Sequence Design

- Loss Function

- Hybrid Attention Mask

- Inference

- High-Probability Masked Pre-Training

- Other Modules

3. Experiments

- Settings

- Results

[Paper 리뷰] VoCodec: An Efficient Lightweight Low-Bitrate Speech Codec

document.addEventListener("DOMContentLoaded", function() { renderMathInElement(document.body, { delimiters: [ {left: "$$", right: "$$", display: true}, {left: "$", right: "$", display: false} ] });});

VoCodec: An Efficient Lightweight Low-Bitrate Speech Codec

1. Introduction

2. Method

- Generator

- Discriminator

- Combined Enhancement and Compression

- Loss Functions

3. Experiments

- Settings

- Results

[Paper 리뷰] Int-MeanFlow: Few-Step Speech Generation with Integral Velocity Distillation