[Paper 리뷰] TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling

TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling

---

• Text-speech joint spoken language modeling은 modality mismatch 문제와 non-causal decoder로 인한 streaming의 한계가 있음
• TASTE-S
  • TASTE를 기반으로 instant dual-modality encoding을 위해 CTC-based ASR module을 integrate
  • Unit decoder를 활용해 on-the-fly decoding을 지원하고 joint training을 채택하여 latency를 절감
• 논문 (INTERSPEECH 2026) : Paper Link

---

1. Introduction

• Spoken Language Modeling (SLM)을 위해 Large Language Model (LLM)의 joint text-speech modeling을 활용할 수 있음
  • 특히 TASTE는 tokenization stage의 length mismatch 문제를 mitigate 하여 joint modeling을 개선함
  • BUT, alignment process는 offline processing으로 설계되어 있어 real-world conversational environment에서 instant-response가 어려움

-> 그래서 streamable text-aligned speech tokenization이 가능한 TASTE-S를 제안

 

• TASTE-S
  • Automatic Speech Recognition (ASR) module을 speech encoder에 integrate 하고 fully causal unit decoder와 chunk-by-chunk processing을 도입하여 streamable architecture를 구성
  • 2-stage training과 encoder-decoder joint training을 통해 textual transcript에 대한 robustness를 향상

< Overall of TASTE-S >

• Low latency text-aligned speech tokenization을 지원하는 TASTE 기반의 streamable tokenizer
• 결과적으로 기존보다 우수한 성능을 달성

2. Method

• TASTE-S는 speech signal을 text, text-aligned speech token으로 transform 하는 TASTE-S Encoder와 speech reconstruction을 수행하는 TASTE-S Decoder로 구성됨

- TASTE-S Encoder

• TASTE-S Encoder는 additional latency 없이 raw speech를 text-aligned speech token으로 encoding 하는 것을 목표로 함
  • 특히 external ASR system을 사용하는 TASTE와 달리, 논문은 ASR system을 TASTE-S Encoder에 internalize 함
  • 이때 internalized ASR을 train 하기 위해 Connectionist Temporal Classification (CTC)를 사용함
    - 이를 통해 textual transcription을 streamable manner로 text token으로 추출할 수 있음
  • 결과적으로 TASTE-S Encoding procedure는:
    1. Speech signal $X$에 대해 $L$ layer로 구성된 $\texttt{ASR\_encoder}$에서 hidden representation을 추출함:
       (Eq. 1) $ \left[\mathbf{H}^{(1)},\mathbf{H}^{(2)},...,\mathbf{H}^{(L)}\right]=\texttt{ASR\_encoder}(X)$
    2. $\texttt{CTC\_decoder}$는 last hidden representation $\mathbf{H}^{(L)}$을 input으로 하여 ASR prediction logit $\mathbf{O}$를 생성하고 $\hat{\mathbf{s}}$로 decode 함:
       (Eq. 2) $\mathbf{O}=\texttt{CTC\_decoder}\left(\mathbf{H}^{(L)}\right),\,\,\, \hat{\mathbf{s}}=\text{Decode}_{CTC}(\mathbf{O})$
    3. 이후 predicted text token $\hat{\mathbf{s}}$, shallow hidden $\mathbf{H}^{(l)}$, last hidden $\mathbf{H}^{(L)}$을 input으로 하여 $\texttt{Aggregator}$와 vector quantizer $\texttt{VQ}$를 통해 text-aligned speech token을 추출함:
       (Eq. 3) $\mathbf{Z}=\texttt{Aggregator}\left(\hat{\mathbf{s}},\mathbf{H}^{(L)},\mathbf{H}^{(l)}\right), \,\,\, \hat{\mathbf{Z}}=\texttt{VQ}(\mathbf{Z})$
       - $\hat{\mathbf{Z}}$ : $\texttt{Aggregator}$에서 얻어진 text-aligned speech latent $\mathbf{Z}$의 quantized version
       - Quantized index (token) $\mathbf{q}$는 $\texttt{VQ}$ module을 통해 얻어짐

TASTE vs. TASTE-Streaming

- TASTE-S Decoder

• Aligned speech embedding $\hat{\mathbf{Z}}$와 TASTE-S Encoder에서 추출된 text token $\hat{\mathbf{s}}$가 주어지면, TASTE-S Decoder를 사용하여 text-speech aligned token을 waveform으로 decode 할 수 있음
  • Decoder는 autoregressive $\texttt{Unit\_decoder}$와 flow matching $\texttt{Vocoder}$로 구성됨:
    (Eq. 4) $\hat{\mathbf{y}}=\texttt{Unit\_decoder}\left(\hat{\mathbf{s}},\hat{\mathbf{Z}}\right), \,\,\,X'=\texttt{Vocoder}(\hat{\mathbf{y}})$
    - $\hat{\mathbf{y}}$ : fine-grained speech reconstruction을 위한 intermediate로 사용되는 predicted target unit
  • 논문은 streamable Decoder를 구성하기 위해 CosyVoice2를 기반으로 modification을 반영함
    1. $\texttt{Vocoder}$의 경우 non-causal vocoder를 causal version으로 replace 함
       
    2. $\texttt{Unit\_decoder}$의 경우 training 시 pre-defined $N:M$ ratio로 text-aligned token과 target unit을 interleave 하는 streamable pattern을 적용함
       - 이를 통해 speech를 chunk-by-chunk로 생성할 수 있고 latency를 크게 줄일 수 있음

Overview

- Objectives and Training Procedure

• TASTE-S는 built-in ASR module training, text/text-aligned token으로 condition 된 reconstruction learning에 대한 2가지 objective로 optimize 됨
  • 먼저 oracle transcription $\mathbf{s}$가 주어지면, CTC loss를 통해 $\texttt{CTC\_decoder}$를 training 함:
    (Eq. 5) $\mathcal{L}_{CTC}=-\log p_{CTC}(\mathbf{s}|\mathbf{O})$
    - $p_{CTC}(\mathbf{s}|\mathbf{O})$ : $\mathbf{s}$에 대한 모든 valid alignment를 통해 marginalize 됨
  • Reconstruction의 경우, target unit sequence $\mathbf{y}$에 대해 Cross-Entropy loss를 통해 autoregressive $\texttt{Unit\_decoder}$를 training 함:
    (Eq. 6) $\mathcal{L}_{CE}=-\sum_{t=1}^{T}\log p\left(\mathbf{y}_{t}|\mathbf{s},\mathbf{Z},\mathbf{y}_{<t}\right)$
    - $p(\cdot)$ : $\texttt{Unit\_decoder}$를 통해 parameterize 됨
  • Training 초기에는 ASR prediction이 unreliable 하므로 2-stage training procedure를 채택함:
    1. Stage 1에서는 $\texttt{CTC\_decoder}$를 independently train 하고, $\texttt{Aggregator}$와 $\texttt{Unit\_decoder}$는 oracle transcription $\mathbf{s}$를 통해 train 함
       - $\texttt{VQ}$ module은 bypass 됨
    2. Stage 2에서는 full tokenizer를 enable 하고 reconstruction objective $\mathcal{L}_{joint}=-\sum_{t=1}^{T}\log p\left(\mathbf{y}_{t}|\hat{\mathbf{s}},\hat{\mathbf{Z}},\mathbf{y}_{<t}\right)$를 optimize 함
       - $\hat{\mathbf{s}}$ : CTC prediction, $\hat{\mathbf{Z}}$ : quantized text-aligned speech embedding

3. Experiments

- Settings

• Dataset : Emilia, LibriTTS
• Comparisons : EnCodec, SpeechTokenizer, WavTokenizer, TaDiCodec, TASTE 등

- Results

• 전체적으로 TASTE-S의 성능이 가장 우수함

Model 성능 비교

• Longform speech reconstruction에서도 우수한 성능을 보임

Longform Speech Reconstruction

• Ablation Study
  • 150 bitrate, 256 embedding을 사용했을 때 최적의 성능을 달성함

Ablation Study

• Imperfect transcript에 대해서도 robust 한 성능을 보임

(상) Ground-Truth (하) CTC Transcript에 대한 Reconstruction 결과