[Paper 리뷰] Emo-LiPO: Listwise Preference Optimization for Fine-Grained Emotion Intensity Control in LLM-based Text-to-Speech

Emo-LiPO: Listwise Preference Optimization for Fine-Grained Emotion Intensity Control in LLM-based Text-to-Speech

---

• Large Language Model-based Text-to-Speech는 fine-grained emotion intensity control의 한계가 있음
• Emo-LiPO
  • Fixed transcript 하에서 각 emotion에 대한 global intensity ordering을 modeling
  • 추가적으로 multi-speaker dataset인 ESD-Plus를 구축
• 논문 (IJCAI 2026) : Paper Link

---

1. Introduction

• Large Language Model (LLM)-based Text-to-Speech (TTS)는 여전히 emotion intensity에 대한 fine-grained control의 한계가 존재함
  • 이는 textual emotion description과 realization 간의 semantic-acoustic gap 때문
    - 기존 model은 emotion intensity를 implicitly realize 하므로 high-intensity emotional prompt에서는 intensity expression이 unstable 해짐
  • 이를 해결하기 위해 최근에는 preference optimization을 통해 subjective human judgement를 반영함
    - BUT, 대부분의 preference-based TTS는 categorical level의 emotion을 control 하므로 emotion intensity의 ordinal structure를 explicitly modeling 하기 어려움

-> 그래서 fine-grained emotion intensity control을 위한 Emo-LiPO를 제안

 

• Emo-LiPO
  • Listwise Preference Optimization (LiPO)를 도입하여 emotion intensity와 prompt-conditioned speech를 explicitly align
  • 특히 LLM-based TTS를 Learning-to-Rank (LTR) problem으로 formulate 하여 fine-grained modeling을 지원

< Overall of Emo-LiPO >

• LiPO를 활용한 emotion intensity controllable LLM-based TTS model
• 결과적으로 기존보다 우수한 성능을 달성

2. Problem Formulation

- Task Definition

• 먼저 text transcript와 emotion specification이 주어지면 LLM-based TTS model은 linguistic content, emotional attribute에 condition 된 speech를 생성함
  • 이때 natural language prompt는 emotion category와 non-neutral emotion에 대한 relative intensity level을 specify 함
    1. $\mathcal{C}=\mathcal{C}_{emo}\cup\{neutral\}$을 emotion category라고 하자
       - $\mathcal{C}_{emo}=\{happy, sad, angry\}$이고 $neutral$은 emotionally flat speech에 해당함
       
    2. 각 $c\in\mathcal{C}_{emo}$에 대해 intensity level에 대한 ordered set $\mathcal{L}=\{l_{1},l_{2},...,l_{K}\}$는 $l_{i}<l_{j}$에 대해 emotional intensity가 strictly increase 한다는 것을 의미함
       - 이때 weakest level $l_{1}$은 neutral speech와 distinct 되어 emotional, non-emotional output 간의 clear bound를 preserve 함
  • Text transcript $t$, emotion prompt $P_{c,l}$에 대해 model input은 $x=(t, P_{c,l})$과 같이 구성됨
    - $c$ : emotion category, $l$ : intensity level
  • 그러면 TTS model은 $S=\pi_{\theta}(x)$와 같이 speech를 생성하고, 해당 speech는 다음을 만족해야 함:
    
    1. Content Fidelity
       - Speech는 transcript $t$의 linguistic content를 faithfully convey 해야 함
    2. Category Correctness
       - Speech는 emotion $c$를 정확히 따라야 함
    3. Intensity Ordering
       - $c\in\mathcal{C}_{emo}$에 대해, stronger level은 higher intensity level을 가져야 함

- Learning-to-Rank Formulation via LiPO (Emo-LiPO)

• 논문은 Listwise Preference Optimization (LiPO) framework를 활용하여 fine-grained emotion intensity control을 Learning-to-Rank (LTR) problem으로 formulate 함
  • LiPO는 same text transcript로 생성된 multiple candidate로 정의된 listwise preference data로 학습되므로 emotion category correctness와 global intensity ordering을 modeling 하는데 적합함
  • 특히 Emo-LiPO는 listwise formulation $\mathcal{D}_{LiPO}=\{(x=(t,P_{c,l}), y=(\mathcal{T}_{c,l},\psi_{c,l})) \}$을 사용함
    - $\mathcal{T}_{c,l}$ : TTS model이 생성한 speech sample list, $\psi_{c,l}\in [0,1]^{|\mathcal{T}_{c,l}|}$ : 해당 sample과 associate 된 real-valued preference score로써 large value일수록 stronger preference를 가짐

Prompt-Conditioned Emotion Intensity Control

3. Method

- Rule-based Preference Construction

• Prompt $P_{c,l}$은 same text transcript $t$를 가진 $K+2$ speech candidate로 구성된 listwise preference set $\mathcal{T}_{c,l}$을 rule-based ranking strategy로 사용함
  • 이때 list는 다음과 같이 구성됨:
    
    1. Exact emotion category $c$, intensity level $l$을 가진 target sample $S_{c,l}$
    2. Same category $c$의 서로 다른 intensity level $l'\in\mathcal{L}\backslash \{l\}$을 가진 $K-1$ same emotion sample
    3. 1개의 neutral sample
    4. 1개의 randomly selected non-target emotion category에 대한 negative sample
  • 해당 rule-based strategy 하에서 $K-1$ same-emotion sample은 absolute intensity distance $|l'-l|$에 따라 order 되고 target intensity에 close 한 sample이 prefer 됨
  • 결과적으로 preference list는:
    (Eq. 1) $ \mathcal{T}_{c,l}=[S_{c,l}\succ S_{c,l_{closest}}\succ ...\succ S_{c,l_{farthest}}\succ S_{neu}\succ S_{\bar{c}}]$
    - $l_{closest}, l_{farthest}$ : $l$에 따라 증가하는 intensity level을 나타냄
  • Rule-based ranking에 기반하여 real-valued preference label vector $\psi_{c,l}\in[0,1]^{|\mathcal{T}_{c,l}|}$을 $\mathcal{T}_{c,l}$ 내의 speech sample에 assign 함
    1. 이를 위해 논문은 index-based preference scoring scheme을 채택하여, 각 sample의 preference label을 ordered list $\mathcal{T}_{c,l}$의 position에 따라 결정함
       - 즉, $i$를 list 내의 sample index라고 할 때 index가 작을수록 stronger preference를 가짐
    2. 이때 $i$-th sample의 preference label은:
       (Eq. 2) $ \psi_{c,l}(i)=1-\frac{i-1}{K+2},\,\,\, i=1,...,K+2$

Overview

- Multi-Stage Optimization

• 논문은 Emo-DPO를 따라 multi-stage manner로 TTS model을 optimize 함
  • LLM-based TTS model은 conditional autoregressive generation task로 formualte 되어 speech token과 speaker embedding에 대한 joint input $x=(t,P_{c,l})$을 사용함
  • SFT stage에서는 paired prompt-speech dataset $\mathcal{D}_{SFT}$로 supervised fine-tuning을 수행하여 backbone TTS model $\pi_{base}$를 initialize 함:
    (Eq. 3) $\mathcal{L}_{SFT}(\pi_{base})=\mathbb{E}_{(x,S)\sim \mathcal{D}_{SFT}}[-\log \pi_{base}(S|x)]$
    - $\log \pi_{base}(S|x)$ : autoregressively generated speech token에 대해 token-level cross-entropy를 사용한 teacher forcing으로 compute 됨
    - Resulting model은 reference TTS policy $\pi_{ref}$와 같음
  • LiPO stage에서는 $\pi_{ref}$로 initialize 한 다음 listwise preference dataset $\mathcal{D}_{LiPO}$를 사용해 model을 optimize 함
    1. Preference list $\mathcal{T}_{c,l}$와 associated preference label vector $\psi_{c,l}$이 주어지면 listwise preference optimization을 사용해 desired emotion intensity ordering과 align 되는 speech sample을 생성하도록 유도함
    2. 이때 optimization objective는:
       (Eq. 4) $ \mathcal{L}_{LiPO}(\pi_{\theta};\pi_{ref},\beta)=\mathbb{E}_{(x,\mathcal{T}_{c,l},\psi_{c,l})\sim \mathcal{D}_{LiPO}}[r(\psi_{c,l},s)]$
       - $r(\cdot)$ : LiPO framework 하에서 listwise learning-to-rank loss, $s$ : reference policy $\pi_{ref}$에 대한 current policy $\pi_{\theta}$의 ranking score
    3. 각 candidate $S_{i}\in\mathcal{T}_{c,l}$에 대한 score는:
       (Eq. 5) $ s_{i}=\beta\log\frac{\pi_{\theta}(S_{i}|x)}{\pi_{ref}(S_{i}|x)}$
    4. LiPO formualtion을 따라 $r(\cdot)$은 다음과 같이 정의됨:
       (Eq. 6) $ r(\psi_{c,l},s)=-\sum_{(i,j)\in\psi_{c,l}}\lambda_{i,j}(s_{i}-s_{j})$
       - $\psi_{c,l}=\{(i,j)|\psi_{c,l}(i)>\psi_{c,l}(j)\}$ : candidate pair $(S_{i},S_{j})$에 대한 relative order, $\lambda_{i,j}$ : weighting term
  • 이후 position index $i$를 기반으로 gain $G(\cdot)$, discount function $D(\cdot)$을 정의함:
    (Eq. 7) $ G(i)=2^{\psi_{c,l}(i)-1},\,\,\, D(i)=\frac{1}{\log(1+i)}$
  • $\lambda_{i,j}$는:
    (Eq. 8) $ \lambda_{i,j}=|G(i)-G(j)|\cdot\left|\frac{1}{D(i)}-\frac{1}{D(j)}\right|$
    - $\lambda_{i,j}$가 클수록 list ranking에서 $S_{i}, S_{j}$ 간의 intensity gap이 커짐

4. Experiments

- Settings

• Dataset : ESD-Plus
• Comparisons : CosyVoice, EmoVoice, Emo-DPO

- Results

• 전체적으로 Emo-LiPO의 성능이 가장 우수함

Model 성능 비교

• Subjective evaluation 측면에서도 Emo-LiPO가 가장 선호됨

Arena Win Rate

• Emo-LiPO는 높은 emotion recognition accuracy를 가짐

Emotion Recognition Accuracy

• Score Distance Visualization
  • Closest same emotion sample 간의 margin $\Delta s_{closest}$, neutral sample 간의 margin $\Delta s_{neu}$, other emotion sample 간의 margin $\Delta s_{\bar{c}}$에 대해, 각 margin은 stable hierarchy를 가짐
  • 즉, Emo-LiPO는 same emotion 내에서 fine-grained intensity hierarchy를 preserve 할 수 있음

Sccore Distance Visualization

• Ablation Study
  • 각 component는 성능 향상에 유효함

Ablation Study