[Paper 리뷰] AgentSteerTTS: A Multi-Agent Closed-Loop Framework for Composite-Instruction Text-to-Speech

AgentSteerTTS: A Multi-Agent Closed-Loop Framework for Composite-Instruction Text-to-Speech

---

• 기존 Text-to-Speech model은 composite instruction에 대한 fine-grained control이 어려움
• AgentSteerTTS
  • Adversarial Disetanglement Agent를 활용해 speaker-emotion leakage를 방지
  • Dual-Stream Anchoring Controller를 통해 abstract intent를 반영하고 Fast-Slow Feedback Agent를 통해 semantic-acoustic mismatch를 resolve
• 논문 (ICML 2026) : Paper Link

---

1. Introduction

• Text-to-Speech (TTS) model은 natural speech를 생성할 수 있지만, user-specified emotional/stylistic attribute를 반영하는 데는 한계가 있음
  • 특히 NaturalSpeech3와 같은 expressive TTS model은 curated dataset에 기반한 fine-grained supervision에 의존하므로 scalability가 떨어지고 natural-language instruction을 효과적으로 반영하지 못함
  • Reliable composite control을 위해서는 high-level multi-dimensional intent constraint와 low-level acoustic realization 간의 explicit alignment가 필요함

Semantic-Acoustic Misalignment

-> 그래서 composite-instruction을 반영할 수 있는 AgentSteerTTS를 제안

 

• AgentSteerTTS
  • Speaker-emotion leakage를 방지하고 latent factorization을 보장하는 adversarial learning 기반의 Adversarial Disentanglement Module (ADM)을 도입
  • High-expressivity acoustic prototype을 fetch하고 textual intent를 continuous control vector로 mapping 하는 Dual-Stream Anchoring Controller (DAC)를 적용
  • 추가적으로 Fast-Slow Feedback module을 통해 high-level perceptual guidance를 제공

< Overall of AgentSteerTTS >

• Multi-agent closed-loop framework를 활용한 composite-instruction expressive steering TTS model
• 결과적으로 기존보다 우수한 성능을 달성

2. Beyond Discrete Composite Instruction

- Why do Deterministic Mappings Fail for Composite Instruction Control

• 논문은 speech generation을 speaker identity $s\in\mathcal{S}$, linguistic content $\ell\in\mathcal{L}$, continuous acoustic control variable $a\in\mathbb{R}^{d}$에 의해 jointly determine 되는 stochastic process $x\in p(x|s,\ell,a)$로 modeling 함
  • 여기서 $a$는 prosody, emotion과 같은 expressive attribute를 govern 함
  • User instruction $t$는 semantic constraint set $\mathcal{C}(t)=\{c_{k}\}_{k=1}^{K}$를 정의하고, composite instruction은 unique $a$ 대신 control space의 feasible region을 induce 함:
    (Eq. 1) $\mathcal{A}(t,s\ell)\triangleq \{a\in\mathbb{R}^{d}| \forall c_{k}\in\mathcal{C}(t), \phi_{k}(a)\geq \tau_{k}\}$
    - $\phi_{k}$ : attribute predictor, $\tau_{k}$ : satisfaction threshold
  • Composite instruction에서 $\mathcal{A}(t,s,\ell)$은 non-convex, non-trivial 하므로 multiple valid acoustic realization을 imply 함
    1. BUT, 대부분의 TTS model은 single-point mapping $f_{\theta}(t;s,\ell)\mapsto \hat{a}$를 학습함
    2. 이때 composite instruction은 여러 valid realization을 가지므로 conditional traget distribution $p(a|t)$는 multi-modal을 가짐
    3. 그러면 approximation은 $M$ Gaussian mixture로 얻을 수 있음:
       (Eq. 2) $p(a|t)\approx \sum_{k=1}^{M}\pi_{k}(t)\mathcal{N}(a;\mu_{k}(t),\Sigma_{k}(t))$
       - $\mu_{k}, \pi_{k}$ : mode center, weight
  • 일반적인 regression objective에서 deterministic predictor는 mode-averaged estimate $\hat{a}\approx \sum_{k}\pi_{k}\mu_{k}$를 return 함
    - 즉, mode가 distinct prosody pattern을 가질 때 해당 estimate는 mode average에 위치하게 되므로 weakened expression이 나타남

Emotion Expression Bias

- Speaker-Prosody Entanglement

• Audio generation에서 speaker timbre와 emotion-related prosody는 couple 되어 있음
  • Speaker identity를 $s$, target composite prosody/emotion vector를 $e$라고 할 때 latent-variable generative model은 다음과 같이 정의됨:
    (Eq. 3) $z\sim p(z|s,e),\,\,\,x\sim p(x|z)$
    
  • Real data distribution에서 generation process는 couple 되어 있으므로 latent acoustic cue를 share 함:
    (Eq. 4) $p(z|s,e)\not\approx p(z|s),\,\,\,p(z|s,e)\not\approx p(z|e)$
    - 결과적으로 same target $e$에 대한 realization이 speaker $s$에 따라 systematically shift 할 수 있음
  • Composite instruction에서 joint target은 stricter constraint를 impose 하므로 identity-prosody trade-off를 pronounce 할 수 있음
    1. Model이 joint target $(s^{*},e^{*})$을 satisfy 하는 경우, generation은 speaker, prosody objective를 trade off 해야 함:
       (Eq. 5) $\min_{x}\mathcal{L}_{spk}\left(\phi_{spk}(x),\phi_{spk}(x_{s^{*}})\right)+\lambda\mathcal{L}_{emo}\left( \phi_{emo}(x),e^{*}\right)$
    2. 특히 identity/prosody-related cue는 acoustic space에서 correlate 되어 있으므로 composite-intent fidelity와 identity/timbre consistency proxy는 real generation에서 negative association을 가짐
       

Speaker-Emotion Entanglement

3. Method

• AgentSteerTTS는 decouple-anchor-refine mechanism을 통해 feature entanglement와 fine-grained emotional control 문제를 해결함
  • 구조적으로 Adversarial Disentanglement Module (ADM)은 latent factor를 separate 하고 Dual-Stream Anchoring Controller (DAC)는 acoustic prototype을 사용해 composite intent를 emotion subspace에 place 함
  • Fast-Slow Feedback Agent는 intensity를 calibrate 하고 residual semantic drift를 correct 함

Overview

- Adversarial Disentanglement Module

• Acoustic space에서는 speaker identity, emotion-related prosody가 couple 되어 있어 timbre drift나 emotion leakage가 발생할 수 있음
  • 이를 위해 논문은 reference audio를 두 latent subspace $Z_{id}, Z_{emo}$로 factorize 하여 cross-information을 줄이는 Adversarial Disentanglement Agent를 도입함
  • 먼저 input audio sample $x\in X$에 대해 identity encoder $E_{id}$와 emotion encoder $E_{emo}$를 사용해 utterance-level latent를 얻음:
    (Eq. 6) $z_{id}=E_{id}(x)\in\mathbb{R}^{d_{id}},\,\,\,z_{emo}=E_{emo}(x)\in\mathbb{R}^{d_{emo}}$
    - 이때 $z_{id}$는 time-invariant identity를 capture 하고 $z_{emo}$는 prosody-related cue를 capture 함
  • 해당 concatenation을 기반으로 reconstruction obejctive는 다음과 같이 정의됨:
    (Eq. 7) $\mathcal{L}_{rec}=||\text{Dec}([z_{id};z_{emo}])-\text{Mel}(x)||_{1}$
    - $\text{Dec}(\cdot)$ : feature decoder, $\text{Mel}(x)$ : $x$의 mel-spectrogram
  • Reconstruction만 사용하면 degenerated solution으로 인해 redundant information이 subspace로 leak 될 수 있으므로, 논문은 두 factor에 대한 batch-wise cross-covariance를 penalize 함:
    (Eq. 8) $\mathcal{L}_{orth}=||\text{Cov}(z_{id},z_{emo})||_{F}^{2}$
    - $\text{Cov}(\cdot, \cdot)$ : cross-covariance
  • 추가적으로 두 auxiliary discriminator $D_{id}, D_{emo}$에 기반한 bidirectional adversarial training을 적용함:
    (Eq. 9) $\mathcal{L}_{adv}=\mathbb{E}\left[\text{CE}\left(D_{id}\left( \text{GRL}(z_{emo})\right), y_{id}\right) + \text{CE}\left(D_{emo}\left(\text{GRL}(z_{id})\right), y_{emo}\right)\right]$
    - $y_{id}, y_{emo}$ : ground-truth speaker/emotion label, $\text{CE}(\cdot)$ : cross-entropy, $\text{GRL}(\cdot)$ : Gradient Reversal Layer
  • 결과적으로 disentanglement agent는 다음 objective로 training 됨:
    (Eq. 10) $\mathcal{L}_{ADM}=\mathcal{L}_{rec}+\lambda_{adv}\mathcal{L}_{adv}+\lambda_{orth}\mathcal{L}_{orth}$
    

- Dual-Stream Anchoring Controller

• Text label만 사용하면 ambiguous text-emotion mapping으로 인해 neutral prosody로 drift 할 수 있으므로, 논문은 Dual-Stream Anchoring Controller를 통해 explicit intent와 retrieved acoustic prototype을 모두 반영함
• Intent-Driven Retrieval
  • Concrete acoustic prior를 제공하기 위해 high-expressivity sample로 구성된 emotion prototype library $\mathcal{M}=\{p_{k}\}_{k=1}^{N}$을 구축함
    - 각 prototype은 fine-grained MLLM description $\tilde{t}_{k}$와 pair 되고 human listening으로 filter 됨
  • User instruction $t$가 주어지면 Retrieval Agent는 $t$를 small cue-focused query set $\{t^{(i)}\}_{i=1}^{M}$으로 rewrite 하고 text encoder $E_{txt}$를 통해 embedding-based search를 수행함:
    (Eq. 11) $x_{pro}=\arg\max_{p_{k}\in\mathcal{M}}\max_{i\in[1,M]}\cos\left(E_{txt}(\tilde{t}_{k}),E_{txt}(t^{(i)})\right)$
  • 이때 General Controller Agent는 $t$를 discrete intensity vector $\mathbf{w}\in\mathbb{R}^{K1}$으로 parsing 하고, $\mathbf{w}$는 $\sum_{k=1}^{K}w_{k}\leq 1$로 normalize/clamp 됨
• Consistency Calibration
  • Retrieved prototype $x_{pro}$에는 irrelevant segment가 포함될 수 있음
  • 따라서 논문은 target intent와 consistent 한 temporal slice $x'_{pro}$를 select 하여 optionally refine 함:
    (Eq. 12) $x'_{pro}=\arg\min_{\tau \in x_{pro}}\mathcal{L}_{cos}(E_{emo}(\tau),E_{txt}(t))$
    - $\tau$ : $x_{pro}$에 대한 sliding window
• Dual-Stream Feature Extraction
  • Controller는 calibrated audio anchor $x'_{pro}$와 intent weight $\mathbf{w}$를 두 complementary control embedding으로 convert 함
  • Acoustic Stream
    - Prototype, speaker reference를 emotion space에 대해 $q_{ref}=E_{emo}(x'_{pro}), q_{base}=E_{emo}(x_{spk})$로 encode 함
    - $E_{emo}$ : W2V-BERT-based emotion encoder
  • Text Stream
    - 각 emotion category에 대해 style-consistent prototype을 select 하고, intent weight $\mathbf{w}$에 따라 aggregate 하는 speaker-adaptive lookup을 사용해 symbolic control embedding $q_{txt}$를 얻음
• Adaptive Fusion
  • 두 stream을 integrate 하기 위해 2-stage fusion을 활용함
  • 먼저 reference speaker의 neutral state $q_{base}=E_{emo}(x_{spk})$를 retrieved anchor $q_{ref}$와 factor $\lambda$로 interpolate 하여 continuous acoustic baseline을 얻음:
    (Eq. 13) $q_{mix}=(1-\lambda)\cdot q_{base}+\lambda \cdot q_{ref}$
  • 이후 symbolic, acoustic control을 fuse 함:
    (Eq. 14) $\hat{z}_{emo}=q_{txt}+\left(1-\sum_{k=1}^{K}w_{k}\right)\cdot q_{mix}$

- Fast-Slow Feedback Agent

• DAC는 high-quality initial feature $\hat{z}_{emo}$를 제공하지만, inference-time stochasticity로 인해 semantic drift가 발생할 수 있음
  • 이를 해결하기 위해 논문은 latent gradient correction에 기반한 Fast Agent, preceptual semantic refinement에 기반한 Slow Agent로 구성된 Fast-Slow Feedback Agent를 도입함
  • Fast Agent
    1. Decoder 앞에 lightweight differentiable Latent Consistency Predictor (LCP) $R_{\phi}$를 도입함
       - Scalar $\alpha\in[0,1]$은 $\hat{z}_{emo}$ injection을 scale 함
    2. Waveform synthesis 전에 LCP는 intermediate mel-state로부터 embedding $e_{\phi}(\alpha)$를 predict 하고, target vector $v_{target}=E_{txt}(t)$와 match 함:
       (Eq. 15) $e_{\phi}(\alpha)=R_{\phi}\left(\text{Dec}\left(z_{id},\alpha\cdot \hat{z}_{emo}\right)\right)$
    3. $\alpha=1.0$에서 시작하여 gradient descent로 $\alpha$를 online update 함:
       (Eq. 16) $\alpha^{*}=\alpha-\gamma\nabla_{\alpha}\mathcal{L}_{c}\left(e_{\phi}(\alpha),v_{target}\right)$
       - $\gamma$ : step size, $\mathcal{L}_{c}$ : cosine distance
  • Slow Agent
    1. Calibrated parameter $\alpha^{*}$에 대해 system은 Synthesis Agent를 통해 final waveform $\hat{x}$를 생성함:
       (Eq. 17) $\hat{m}^{*}=\text{Dec}\left(z_{id}, \alpha^{*}, \hat{z}_{emo}\right),\,\,\,\hat{x}=V(\hat{m}^{*})$
       - $V(\cdot)$ : vocoder
    2. Supervisor Agent는 $\hat{x}$를 evaluate 하고 fine-grained prosody에 대한 natural-language critique $c_{critique}$를 생성함
    3. 이때 deviation을 detect 하면 control update를 trigger 함
       - Intensity Fine-Tuning : Deviation이 $\texttt{"Emotion too weak/strong"}$이면 $\alpha\leftarrow f(\alpha,c_{critique})$로 update 하고 Fast Loop calibration을 re-trigger 함
       - Condition Reset : Deviation이 $\texttt{"Incorrect emotion type"}$이면 DAC를 trigger 하여 re-trieve 하고 $\hat{z}_{emo}$를 update 함
  • 결과적으로 Fast Agent는 vocoding 전에 differentiable intensity calibration을 제공하고 Slow Agent는 waveform-level semantic checking을 통해 re-calibration/re-anchoring을 수행함

4. Experiments

- Settings

• Dataset : ESD, MSP-Podcast
• Comparisons : Emotional-TTS, EmoSpeech, UMETTS, GenerSpeech

- Results

• 전체적으로 AgentSteerTTS의 성능이 가장 우수함

Model 성능 비교

• Composite instruction에 대해서도 뛰어난 TTS 성능을 보임

Composite-Instruction Control

• Ablation Study
  • 각 component는 성능 향상에 유효함

Ablation Study

• 특히 ADM을 활용하면 composite control을 stablize 할 수 있음

ADM의 효과

• Retreival schedule은 high-confidence case에서는 aggressive fusion으로, low-confidence에서는 더 stable 하게 사용됨

Confidence-Gated Fusion

• Large step size $\gamma=10^{-2}$에서는 overshooting이 나타날 수 있음

Fast Agent Efficiency-Effectiveness Trade-Off