[Paper 리뷰] ETC-TTS: Emotion Trajectory Learning for Controllable Emotional Text-to-Speech

ETC-TTS: Emotion Trajectory Learning for Controllable Emotional Text-to-Speech

---

• Emotional Text-to-Speech는 여전히 intensity modeling의 한계가 있음
• ETC-TTS
  • Emotion intensity를 latent style space의 continuous trajectory로 modeling
  • Residual Vector Quantizer-based style extractor를 통해 emotion-aware representation을 제공하고 flow matching objective를 통해 neutral/target emotion 간의 trajectory를 학습
• 논문 (INTERSPEECH 2026) : Paper Link

---

1. Introduction

• Emotional Text-to-Speech (TTS)는 controllable emotional speech를 생성하는 것을 목표로 함
  • BUT, emotional TTS는 emotion intensity control 측면에서 한계가 있음
    - Continuous intensity change를 stable, interpretable manner로 modeling 하기 어렵기 때문
  • 특히 기존의 intensity control은 추론 시점의 learned representation을 post-hoc manipulate하거나 scalar control variable로 treat 하므로intensity와 naturalness가 크게 저하됨 

-> 그래서 emotional state를 trajectory로 modeling하는 ETC-TTS를 제안

 

• ETC-TTS
  • Emotion intensity control을 latent style space에서의 trajectory learning으로 reformulate
  • Residual Vector Quantization (RVQ)를 활용해 emotion prototype을 구성하고 continuous emotion transition을 학습하는 flow matching objective를 도입 

< Overall of ETC-TTS >

• Emotion prototype과 flow matching 기반의 trajectory learning을 활용한 emotion controllable TTS model
• 결과적으로 기존보다 우수한 성능을 달성

2. Method

• ETC-TTS는 latent style space에서 emotion intensity를 continuous trajectory로 modeling 함
  - 구조적으로는 FastSpeech2 backbone과 prototype learning, trajectory modeling을 위한 style module로 구성됨

- Emotion Prototype Modeling

• Emotion Prototype Representation
  • 논문은 learnable emotion prototype을 도입하여 specific emotion에 대한 anchor point를 represent 함
  • 먼저 각 RVQ level에서 emotion prototype은 code vector에 대응됨
    1. 특히 acoustic feature가 주어지면 RVQ module은 level-wise style vector $\{\mathbf{s}_{l}\}_{i=1}^{L}$로 decompose 함
       - $l$ : RVQ level, $L=3$ : level 수
    2. 각 level의 codebook size는 emotion category 수로 fix 되어 해당 code vector와 emotion label이 one-to-one 대응되도록 함
• Learnable Prototyping and Stabilization
  • RVQ codebook은 acoustic feature로부터 compute 된 $k$-means centroid로 initialize 됨
  • Emotion separability를 보장하기 위해 논문은 level-wise triplet loss를 도입함
    1. Emotion class 수 $N$, emotion class $n$의 prototype $\mathbf{s}_{l}^{n}$, training sample에서 추출한 positive/negative style embedding $\mathbf{s}_{l}^{n+}, \mathbf{s}_{l}^{n-}$에 대해, level-wise loss는:
       (Eq. 1) $\mathcal{L}_{cluster_{l}}=\frac{1}{N}\sum_{n=1}^{N}\max\left( || \mathbf{s}_{l}^{n}-\mathbf{s}_{l}^{n+}||_{2}-|| \mathbf{s}_{l}^{n}-\mathbf{s}_{l}^{n-}||_{2}+\delta, 0\right)$
       - $||\cdot||_{2}$ : $\ell_{2}$ Euclidean norm
    2. 그러면 total clustering loss는 $\mathcal{L}_{cluster}=\sum_{l=1}^{L}\mathcal{L}_{cluster_{l}}$과 같음
  • 추가적으로 논문은 codebook collapse를 방지하기 위해 high-usage entry로 inactive code vector를 periodically reinitialize 하고, triplet loss를 통해 duplicated vector를 subsequently separate 함

Overview

- Prototype-Anchored Emotion Trajectory Learning

• Emotion Trajectory Formulation
  • 논문은 emotion intensity를 latent style space에서 trajectory dynamics로 modeling 함
  • 특히 기존 flow matching formulation과 달리 RVQ를 통해 learnable emotion prototype에 trajectory endpoint를 anchor 함
    - 이는 intensity transition을 prototype-defined trajectory에 constrain 하므로 control factor를 따르지 않는 non-monotonic behavior를 reduce 함
  • $\mathbf{s}_{l}^{neu}, \mathbf{s}_{l}^{emo}\in\mathbb{R}^{256}$을 level $l$의 neutral, emotional prototype이라고 하자
    1. 그러면 source $\mathbf{X}_{0}^{(l)}$, target $\mathbf{X}_{1}^{(l)}$은:
       (Eq. 2) $\mathbf{X}_{0}^{(l)}=\mathbf{s}_{l}^{neu}+\epsilon,\,\, \epsilon\sim\mathcal{N}(0,\sigma^{2}I),\,\,\mathbf{X}_{l}^{(l)}=\mathbf{s}_{l}^{emo}$
       - Noise term $\epsilon$은 neutral prototype에 stochasticity를 반영하고 $\sigma$는 Gaussian noise의 standard deviation과 같음
    2. (Eq. 2)는 rectified flow의 prior로 사용되는 latent style space를 구성하고, 이때 intermediate state는 rectified flow를 따라 다음과 같이 정의됨:
       (Eq. 3) $\mathbf{X}_{t}^{(l)}=(1-t)\mathbf{X}_{0}^{(l)}+t\mathbf{X}_{1}^{(l)}$
       - $t\in[0,1]$ : trajectory parameter
    3. Target velocity field는:
       (Eq. 4) $\mathbf{v}^{*(l)}(\mathbf{X}_{t}^{(l)},t)=\mathbf{X}_{1}^{(l)}-\mathbf{X}_{0}^{(l)}$
       - Target velocity는 linear trajectory를 따라 constant 함
• Flow-based Trajectory Learning
  • Trajectory learning 시에는 conditional rectified flow matching을 활용함
    1. 각 RVQ level $l$에 대해 model은 phoneme feature $\mathbf{h}_{p}$와 style tag $c$로 condition 된 velocity field를 predict 함:
       (Eq. 5) $\mathbf{v}_{\theta}^{(l)}(\mathbf{X}_{t}^{(l)},t|\mathbf{h}_{p},c)$
    2. 그러면 flow objective는:
       (Eq. 6) $\mathcal{L}_{flow}=\sum_{l=1}^{L}\left|\left| \mathbf{v}_{\theta}^{(l)}(\mathbf{X}_{t}^{(l)},t|\mathbf{h}_{p},c)-(\mathbf{X}_{1}^{(l)}-\mathbf{X}_{0}^{(l)})\right|\right|_{2}^{2}$
       - $t$는 $[0,1]$에서 uniformly sample 됨
  • Training 시에는 reference speech에서 추출한 style prototype을 flow supervision의 target state로 사용함
    - 추론 시에는 flow model의 predicted style을 사용해 reference-free emotion control을 수행하고 emotion intensity는 trajectory parameter $t$를 adjust 하여 control 함

- Training Objective & Procedure

• 논문은 FastSpeech2 reconstruction loss $\mathcal{L}_{FS2}$와 style-related objective를 combine 함
  • 결과적으로 얻어지는 overall objective는:
    (Eq. 7) $\mathcal{L}_{total}=\mathcal{L}_{FS2}+\lambda_{r}\mathcal{L}_{RVQ}+\lambda_{c}\mathcal{L}_{cluster}+\lambda_{f}\mathcal{L}_{flow}+\mathcal{L}_{neutral}$
    - $\lambda_{r}=0.1,\lambda_{c}=0.1, \lambda_{f}=30$
  • Neutral alignment loss $\mathcal{L}_{neutral}=\frac{1}{N_{neu}}\sum_{i=1}^{N}\left|\left| \mathbf{x}_{0}^{(i)}-\text{sg}(\mathbf{s}_{neu}^{(i)}) \right|\right|$는 learned source state를 neutral style prototype과 align 하여 trajectory origin을 stabilize 함
    - $N_{neu}$ : mini-batch의 neutral sample 수, $\text{sg}(\cdot)$ : stop-gradient
  • ETC-TTS의 training procedure는 3-stage로 구성됨:
    1. Prototype Initialization
       - 1 epoch initial training 이후, RVQ codebook은 추출된 style representation에 대해 $k$-means clustering을 통해 initialize 됨
    2. Extractor-Focused Training
       - Emotion prototype을 stabilize 하기 위해 flow predictor는 freeze 하여 style extractor를 training 함 
    3. Joint Training
       - Stabilization 이후 모든 component를 jointly optimize 함

3. Experiments

- Settings

• Dataset : ESD, AIHub
• Comparisons : FastSpeech2

- Results

• 전체적으로 ETC-TTS의 성능이 가장 우수함

Model 성능 비교

• AB test 측면에서도 ETC-TTS가 더 선호됨

AB Test

• Intensity Controllability
  • ETC-TTS는 0.1-step control 만으로도 intensity-dependent change를 얻을 수 있음

Intensity Controllability

• Controllability-Quality Trade-Off
  • ETC-TTS는 intensity level 전반에 대해 stable quality를 유지함

Intensity Level 별 MOS

• Emotion-aware Style Representation
  • Prototype RVQ는 compact, clearly separated emotion cluster를 생성함

Style Embedding에 대한 $t$-SNE