[Paper 리뷰] SPEAR: A Unified SSL Framework for Learning Speech and Audio Representations

SPEAR: A Unified SSL Framework for Learning Speech and Audio Representations

---

• Self-Supervised Learning은 speech, audio event understanding에 대한 gap이 존재함
• SPEAR
  • Continuous teacher representation에 multi-codebook vector quantization을 적용하여 semantic, acoustic information을 capture
  • 추가적으로 asymmetric pre-training loss와 token mixing을 활용해 robustness를 향상
• 논문 (ICML 2026) : Paper Link

---

1. Introduction

• Speech processing을 위해서는 linguistic, paralinguistic information을 반영할 수 있어야 함
  • 이를 위해 Wav2Vec 2.0, HuBERT, Data2Vec과 같은 Self-Supervised Learning (SSL) model을 활용할 수 있음
  • BUT, real-world environment는 multiple, overlapping sound source로 구성되어 있으므로 단순히 distinct domain으로 취급하면 intrinsic synergy를 ignore 할 수 있음

-> 그래서 speech, audio domain 전반에 대한 unified SSL representation인 SPEAR를 제안

 

• SPEAR
  • Multi-codebook Vector Quantization (MVQ)를 사용하여 richer acoustic, temporal detail을 반영
  • 추가적으로 domain balance를 위해 asymmetric dual-domain objective와 token mixing mechanism을 적용

< Overall of SPEAR >

• MVQ와 dual-domain pre-training을 활용해 speech, general audio representation을 jointly learning한 SSL representation
• 결과적으로 기존보다 우수한 성능을 달성

2. Method

- Multi-Codebook Vector Quantization

• 논문은 Multi-codebook Vector Quantization (MVQ)을 사용해 masked prediction SSL objective에 대한 fine-grained discrete target을 생성함
  • MVQ는 $K$ trainable code vector를 포함한 $N$ parallel codebook을 사용함
    1. Input feature vector $x\in\mathbb{R}^{d}$가 주어지면, MVQ는 $z=\text{Encode}(x;\mathcal{Q})=(z_{1},...,z_{N})$과 같이 $N$ discrete token의 tuple로 encoding 함
    2. 각 token $z_{n}$은 $[0,K-1]$의 integer index로써 $n$-th codebook에서 어떤 code를 select 할지를 specify 함
       - 해당 selected vector는 direct-sum scheme으로 original feature vector $x$를 approximate 하는 데 사용됨
  • MVQ는 feature space를 $N$ distinct subspace로 partition 하고, 각 subspace는 single codebook으로 govern 됨
    - 이때 multi-codebook design에서는 representable state가 $K^{N}$으로 exponentially grow 하므로 fine-grained representation을 생성할 수 있음

Overview

- Unified Speech and Audio Representation Learning

• MVQ-based Masked Token Prediction
  • Single teacher scenario에서 pre-training objective는 student encoder $\mathcal {S}$를 train 하여 pre-trained SSL teacher $\mathcal{T}$에서 추출한 fine-grained MVQ token을 masked-token prediction으로 predict 함
  • Student encoder $\mathcal{S}$는 front-end processor, feature encoder $\mathcal{F}$로 구성됨
    1. Front-end processor는 raw input waveform $w$를 length $T$의 frame-level representation $\mathbf{X}=\{x_{1},...,x_{T}\}$로 convert 함
    2. Masking operation은 $\mathbf{X}$에 적용되고, frame set $\mathcal{M}$을 randomly sampling 한 다음 $\{x_{t}|t\in\mathcal{M}\}$을 learnable mask embedding $m$으로 replace 하여 masked input $\hat{\mathbf{X}}$를 생성함
    3. 이후 feature encoder $\mathcal{F}$는 $\hat{\mathbf{X}}$를 사용하여 contextualized representation $\mathbf{H}=\{h_{1},...,h_{T}\}$를 생성함
       - $h_{t}\in\mathbb{R}^{d}$
  • Prediction target을 생성하기 위해, $w$를 teacher $\mathcal{T}$에 전달하여 frame-level representation sequence $\mathbf{E}=\mathcal{T}(w)=\{e_{1},...,e_{T}\}$를 얻음
    - 해당 representation은 pre-trained MVQ quantizer $\mathcal{Q}$를 통해 frame-by-frame으로 quantize 되어 fine-grained discrete token $\mathbf{Z}=\{z_{1},...,z_{T}\}$를 pre-training target으로 생성함
    - $z_{t}=\text{Encode}(e_{t};\mathcal{Q})$
  • Student model은 contextualized representation $\mathbf{H}$로부터 target token $\mathbf{Z}$를 predict 하도록 training 됨
    1. Multi-codebook masked prediction loss는 MVQ quantizer의 각 codebook에 대해 $N$ independent prediction loss의 sum으로 구성됨
    2. 각 loss는 모든 frame에 대한 cross-entropy objective이고, masked/unmasked frame에 대한 adjustable weight $\alpha$를 가짐:
       (Eq. 1) $\mathcal{L}_{single}(\mathbf{H},\mathbf{Z})=\frac{1}{N}\sum_{n=1}^{N}\left[\alpha\mathcal{L}_{n,m} + (1-\alpha)\mathcal{L}_{n,u}\right]$
       (Eq. 2) $\mathcal{L}_{n,m}=\sum_{t\in\mathcal{M}}-\log p_{n}(z_{t,n}|h_{t})$
       (Eq. 3) $\mathcal{L}_{n,u}=\sum_{t\notin\mathcal{M}}-\log p_{n}(z_{t,n}|h_{t})$
       - $\mathcal{L}_{n,m},\mathcal{L}_{n,u}$ : $n$-th codebook의 masked/unmasked frame loss
       - $p_{n}(z_{t,n}|h_{t})$ : feature encoder의 $N$ independent linear prediction head로 생성된 $n$-th codebook의 time $t$에서 correct token $z_{t,n}$의 predicted probability
       
• Asymmetric Dual-Domain Pre-Training
  • 논문은 speech와 general audio data의 mixture를 기반으로 dual-domain pre-training을 수행해 unified representation을 학습함
    1. 이를 위해 두 expert teacher model $\mathcal{T}_{speech},\mathcal{T}_{audio}$와 해당 pre-trained MVQ quantizer $\mathcal{Q}_{speech}, \mathcal{Q}_{audio}$를 사용함
    2. 각 input waveform에 대해 teacher representation $\mathbf{E}_{speech},\mathbf{E}_{audio}$를 추출하고, quantizer를 사용해 MVQ token set $\mathbf{Z}_{speech},\mathbf{Z}_{audio}$를 얻음
  • 추가적으로 논문은 다음 3가지의 dual-domain pre-training strategy를 고려함:
    • JOINT
      - 각 sample $w$는 domain에 관계없이 $\mathbf{Z}_{speech},\mathbf{Z}_{audio}$에 대한 두 가지 loss를 compute 함
    • DISJOINT
      - 각 sample $w$는 $w$와 동일한 domain의 teacher target에 대한 하나의 loss만 compute 함
    • ASYMMETRICAL
      - Speech data의 경우 $\mathbf{Z}_{speech}$에 대해서만 loss를 compute 하고 audio의 경우 $\mathbf{Z}_{speech},\mathbf{Z}_{audio}$ 모두에 대해 compute 됨
  • 여기서 논문은 ASYMMETRICAL strategy를 채택하여 speech token $\mathbf{Z}_{speech}$를 input data에 대한 universal prediction target으로, audio token $\mathbf{Z}_{audio}$를 general audio에 대한 target으로 사용함
  • 결과적으로 asymmetrical dual-domain pre-train objective는:
    (Eq. 4) $\mathcal{L}_{dual}=\mathcal{L}_{single}(\mathbf{H},\mathbf{Z}_{speech})+\mathbf{1}_{audio}\lambda \cdot \mathcal{L}_{single}(\mathbf{H},\mathbf{Z}_{audio})$
    - $\mathcal{L}_{single}$ : (Eq. 1)의 single-domain masked prediction loss, $\mathbf{1}_{audio}$ : indicator function으로써, input이 general audio면 $1$ 아니면 $0$을 return 함, $\lambda$ : hyperparameter

Token Mixing

• Token Mixing
  • Secondary signal을 단순 noise로 취급하면 overlapped, noisy speech에서 generality를 저해할 수 있음
  • 따라서 논문은 token mixing을 도입하여 mixed audio sample의 각 source energy를 기준으로 multiple source의 MVQ token을 stochastically combining 하고, augmented training target을 dynamically construct 함
    1. Original signal을 $w$, randomly sampled signal을 $w'$이라고 하면, 먼저 두 signal을 mix 하여 augmented training sample을 생성함
    2. 이후 clean teacher target $\mathbf{Z}, \mathbf{Z}'$도 signal power에 따라 mix 되어 augmented pre-training target $\hat{\mathbf{Z}}$를 생성함:
       (Eq. 5) $\hat{z}_{t,n}=\left\{\begin{matrix} z_{t,n} & \text{with probability}\,\,1-\beta, \\ z'_{t+\tau,n} & \text{with probability}\,\,\beta, \\ \end{matrix}\right.$
       - $\tau$ : mixing delay
    3. $\beta\in[0,1]$는 scalar mixing coefficient로써 두 mixed signal의 signal power $\mathcal{P}$에서 derive 됨:
       (Eq. 6) $\beta=\frac{\mathcal{P}(w')}{\mathcal{P}(w)+\mathcal{P}(w')}$
       - 해당 mixed target을 통해 secondary signal을 signal power에 비례하여 jointly learning 할 수 있음 

Pre-Training Configurations

3. Experiments

- Settings

• Dataset : 아래 표 참고
• Comparisons : WavLM, BEATs, EAT, USAD

Datasets

- Results

• 전체적으로 SPEAR의 성능이 가장 뛰어남

Model 성능 비교

• SUPERB benchmark에 대해서도 최고의 성능을 보임

SUPERB Benchmark

• HEAR benchmark에서도 SPEAR의 성능이 가장 뛰어남

HEAR Benchmark

• Ablation Study
  • Token mixing을 활용하면 더 나은 성능을 달성할 수 있음

Token Mixing의 효과

• Asymmetric dual-domain training 역시 성능 향상에 유효함

Dual-Domain Pre-Training