[Paper 리뷰] Towards Fine-Grained and Multi-Granular Contrastive Language-Speech Pre-Training

Towards Fine-Grained and Multi-Granular Contrastive Language-Speech Pre-Training

---

• Fine-grained speaking style을 modeling 하는 것은 어려움
• CLSP
  • 47k hours speech, 19M fine-grained caption을 포함한 FCaps dataset을 구축
  • FCaps dataset을 기반으로 global, fine-grained supervision을 integrate 한 contrastive language-speech pre-trained modeling을 수행
• 논문 (ACL 2026) : Paper Link

---

1. Introduction

• Speaking style은 gender, age와 같은 speaker-intrinsic characteristic 외에도 intonation, emotion과 같은 temporally varying trait도 포함하고 있음
  • BUT, Emotion2Vec과 같은 기존의 speaking style representation은 utterance-level, discrete label에 의존하므로 diversity의 한계가 있음
  • 특히 기존 speech style-captioned dataset은 cascaded annotation pipeline으로 인해 error propagation과 semantic misalignment의 문제가 존재함

Open-Source English Speech Style-Captioned Dataset

-> 그래서 개선된 quality의 annotation dataset을 활용한 fine-grained speech-text representation인 CLSP를 제안

 

• CLSP
  • Fine-grained style annotation을 보장하는 end-to-end pipeline을 통해 FCaps dataset을 구축
  • 해당 FCaps dataset을 기반으로 speech-text dual encoder를 활용한 Contrastive Language-Speech Pre-Trained model (CLSP)를 구축

< Overall of CLSP >

• 다양한 modality에 대한 unified representation을 보장하는 fine-grained, multi-granular contrastive learning model
• 결과적으로 기존보다 우수한 성능을 달성

2. Method

- Model Architecture

• CLSP는 CLAP의 dual-encoder architecture를 따라 speech, text를 separate encoder로 process 하고, 두 modality를 shared embedding space로 mapping 하는 MLP projection을 적용함
  • 논문은 speech, audio unified encoder인 SPEAR-XLarge를 사용해 final encoder layer에서 representation을 추출함
  • RoBERTa-base는 text encoder로 사용되고, sentence-level representation은 final-layer의 $\texttt{[CLS]}$ token에서 얻어짐 

Overview

- Fine-Grained and Multi-Granular Contrastive Language-Speech Pre-Training

• Fine-grained, multi-granular contrastive supervision을 위해 2-stage curriculum을 도입함
  • Training은 pure fine-grained alignment에서 cross-granularity generalization, robust fine-grained discrimination으로 progressively shift 됨
  • First stage에서는 large-scale data를 활용해 standard contrastive learning으로 speech, text를 align 하고 second stage에서는 multi-positive contrastive learning을 수행함
• Stage 1
  • Speech clip $\mathbf{x}$와 paired tokenized fine-grained caption $\mathbf{y}_{F}$가 주어진다고 하자
    1. Speech encoder는 frame-level representation을 생성하고 time에 대한 mean pooling으로 aggregate 한 다음, MLP projection과 $\ell_{2}$ normalization을 통해 speech embedding $\mathbf{s}\in\mathbb{R}^{d}$를 얻음
    2. Text의 경우 text encoder에서 final-layer $\texttt{[CLS]}$ hidden state를 구한 다음, MLP projection과 $\ell_{2}$ normalization을 적용해 text embedding $\mathbf{t}_{F}\in\mathbb{R}^{d}$를 얻음
       - $d$ : embedding space dimensionality
  • 논문은 InfoNCE loss를 통해 각 paired speech, text는 positive로 non-matching pair는 negative로 사용함:
    (Eq. 1) $\mathcal{L}=-\frac{1}{2N}\sum_{i=1}^{N}\left( \log \frac{\exp(\mathbf{s}_{i}\cdot \mathbf{t}_{F_{i}}/\tau)}{ \sum_{j=1}^{N}\exp(\mathbf{s}_{i}\cdot\mathbf{t}_{F_{i}}/\tau)} + \log\frac{\exp(\mathbf{t}_{F_{i}}\cdot \mathbf{s}_{i}/\tau)}{\sum_{j=1}^{N} \exp(\mathbf{t}_{F_{i}}\cdot \mathbf{s}_{j}/\tau)}\right)$
    - $N$ : batch size, $\tau$ : learnable temperature
    - 이때 모든 embedding은 $\ell_{2}$-normalize 되어 있으므로 dot-product는 cosine-similarity와 equivalent 함
• Stage 2
  • 논문은 soft target을 활용한 cross-entropy loss인 symmetric multi-positive InfoNCE loss를 도입함
  • $N$ batch의 speech sample $\{\mathbf{x}_{i}\}_{i=1}^{N}$이 주어지고, 각각 두 개의 tokenized caption $\{\mathbf{y}_{i},\hat{\mathbf{y}}_{i}\}$로 pair 된다고 하자
    1. 그러면 Stage 1과 동일한 방식으로 speech embedding $\mathbf{s}_{i}\in\mathbb{R}^{d}$와 두 text embedding $\mathbf{t}_{i},\hat{\mathbf{t}}_{i}\in\mathbb{R}^{d}$를 얻을 수 있음
    2. 이후 speech embedding을 $\mathbf{S}=[\mathbf{s}_{1},...,\mathbf{s}_{N}]\in\mathbb{R}^{N\times d}$, text embedding을 $\mathbf{T}=[\mathbf{t}_{1},...,\mathbf{t}_{N},\hat{\mathbf{t}}_{1},...,\hat{\mathbf{t}}_{N}]\in\mathbb{R}^{2N\times d}$와 같이 stack 하고 similarity logit $\mathbf{L}=\mathbf{ST}^{\top}\in\mathbb{R}^{N\times 2N}$을 compute 함
  • Audio-to-text direction을 위해, 두 paired text에 probability mass $\lambda, 1-\lambda$를 나머지에는 $0$을 assign 하는 soft target distribution $\mathbf{D}\in\mathbb{R}^{N\times 2N}$을 적용함:
    (Eq. 2) $D_{i,j}=\left\{\begin{matrix} \lambda, & \text{if}\,\, j=1 \\ 1-\lambda, & \text{if}\,\,j=i+N, \\ 0, & \text{otherwise} \\ \end{matrix}\right.$
    - $\lambda=0.5$
  • Text-to-audio direction에서는 각 text embedding이 single speech만 가지고, 이때 target distribution $\mathbf{D}'\in\mathbb{R}^{2N\times N}$은:
    (Eq. 3) $D'_{j,i}\left\{\begin{matrix} 1, & \text{if}\,\,j=i\,\,\text{or}\,\,j=i+N \\ 0, & \text{otherwise} \\ \end{matrix}\right.$
  • 결과적으로 loss는 두 direction의 average로 정의됨:
    (Eq. 4) $\mathcal{L}=\frac{1}{2}\left(\text{CE}(\mathbf{L}/\tau,\mathbf{D})+\text{CE}(\mathbf{L}^{\top}/\tau,\mathbf{D}')\right)$
    - $\text{CE}(\cdot, \cdot)$ : cross-entropy, $\tau$ : learnable temperature
  • 각 training step에서 model은 task scheduler에 따라 2가지 task 중 하나를 sampling 함:
    
    1. Task 1
       - 각 speech sample은 global caption, fine-grained caption과 pair 되어 cross-granularity generation을 지원함
    2. Task 2
       - 각 speech sample은 두 distinct fine-grained caption과 pair되어 fine-grained discrimination을 향상함
  • Training step $t$에서 Task 1은 probability $p_{t}$로 sampling 되고 Task 2는 $1-p_{t}$로 sampling 됨
    
    1. Static scheduler의 경우 $p_{t}=0$으로 fix 되고, dynamic scheduler의 경우 $p_{t}$는 $T$ training step 동안 $p_{0}$에서 $p_{\min}$까지 linearly decrease 함:
       (Eq. 5) $p_{t}=\max\left(p_{\min},p_{0}=\frac{t}{T}(p_{0}-p_{\min})\right)$
    2. $p_{0}=0.95, p_{\min}=0.50, T=10000$의 dynamic scheduler를 사용했을 때 최적의 결과를 달성함

Multi-Granular Speech Style Caption Similarity Scoring

3. Experiments

- Settings

• Dataset : FCaps
• Comparisons : LAION-AI CLAP, GLAP, ParaCLAP

Data Annotation Pipeline

- Results

• CLSP는 end-to-end setting에서 최적의 성능을 달성함

Pipeline Setting

• CLSP는 전체적으로 우수한 성능을 보임 

Model 성능 비교

• Zero-shot classification 측면에서도 CLSP가 가장 우수함

Zero-Shot Classification

• Subjective evaluation 측면에서도 CLSP가 더 선호됨

Subjective Evaluation

• CLSP는 model-derived similarity과 subjective MOS에 대해 높은 correlation을 가짐

Correlation