[Paper 리뷰] POWSM: A Phonetic Open Whisper-Style Speech Foundation Model

POWSM: A Phonetic Open Whisper-Style Speech Foundation Model

---

• Automatic Speech Recognition, Phoneme Recognition, Grapheme-to-Phoneme, Phoneme-to-Grapheme conversion은 각각의 task-specific architecture에 의존함
• POWSM
  • Multiple phone-related task를 jointly perform 하는 unified framework
  • Audio, text, phone 간의 seamless conversion을 지원
• 논문 (ACL 2026) : Paper Link

---

1. Introduction

• Phone은 모든 language에 대해 International Phonetic Alphabet (IPA)를 통해 represent 될 수 있음
  • 특히 Automatic Speech Recognition (ASR), Phone Recognition (PR), Grapheme-to-Phoneme (G2P), Phoneme-to-Grapheme (P2G) 등의 task를 수행하기 위해서는 shared phonetic representation이 필요함
  • BUT, spoken language processing에서 해당 task는 독립적으로 수행됨
    - 각 system은 specific input-output mapping에 optimize되어 있어 다른 phonetic task로 확장하기 어려움

-> 그래서 multiple phone-related task를 처리할 수 있는 unified model인 POWSM을 제안

 

• POWSM
  
  • ASR dataset을 task-specific format으로 reformulate하여 model이 audio, phoneme, grapheme representation 간의 consistent mapping을 학습하도록 지원
  • Whisper와 같은 attention-based encoder-decoder architecture를 기반으로 large-scale foundation model을 구성

< Overall of POWSM >

• PR, ASR, Audio-guided G2P, Auido-guided P2G task를 모두 수행할 수 있는 unified phonetic foundation model 
• 결과적으로 기존보다 우수한 성능을 달성

2. Method

- Data Preparation

• 논문은 orthographic, phonemic transcription이 pair 된 IPAPack++ dataset을 사용함
  • G2P-generated transcription은 manually inspect/clean 되고 300 phone 이상의 utterance는 filter out 됨
    - IPA sequence는 Unicode NFD로 normalize 되고 English G2P sequence는 voice-onset time issue를 fix 하기 위해 rule-base로 correct 됨
  • IPA token이 grapheme과 confuse 되지 않도록, sequence는 PanPhon phone entry를 greedy trie search를 통해 diacritic/modifier가 포함된 token으로 split 되고 slash로 enclose 됨
    

Overview

- Multitask Data Format

• POWSM은 PR, ASR, Audio-guided G2P, P2G task에 대해 training 됨
  • 각 utterance는 task 마다 한 번씩 사용되고, text prompt, language token, task token, target output의 task-specific format으로 구성됨
  • PR, ASR의 경우 text prompt를 blank ($\texttt{<na>}$)로 두고, G2P, P2G의 경우 grapheme과 phone을 prompt로 제공함
    - e.g.) Utterance $\texttt{Who is that}$의 target output은 $\texttt{"<eng><g2p><notimestamps>}\texttt{/h//u/}\texttt{/ɪ//z/}\texttt{/ð//\ae//t/"}$

- Training Details

• POWSM은 attention-based encoder-decoder (AED) architecture를 채택함
  • 특히 Whisper의 general encoder-deocoder structure와 일치하는 E-Branchformer encoder, Transformer decoder 기반의 OWSM v3.1 architecture를 따름
    1. Model은 ESPnet을 통해 from scratch로 training 되고 hybrid CTC/attention loss를 사용함:
       (Eq. 1) $\mathcal{L}=\alpha_{ctc}\mathcal{L}_{ctc}+(1-\alpha_{ctc})\mathcal{L}_{attention}$
       - $\alpha_{ctc}=0.3$
    2. Encoder는 40ms stride size를 가지고 training 시에는 256 batch size를 사용함
       - Speech input은 16kHz이고 20s로 padding 됨
    3. 추가적으로 convergence를 accelerate 하기 위해, encoder output에서 break와 length diacritics를 strip 함
  • Decoder는 text prompt로 condition 된 autoregressive language model로써, cross-attention을 통해 encoder output에 attend 함

3. Experiments

- Settings

• Dataset : IPAPack++
• Comparisons : Allosaurus, Allophant, Wav2Vec2Phoneme, MultIPA, ZIPA-CR

Test Sets

- Results

• 전체적으로 POWSM의 성능이 가장 뛰어남

Model 성능 비교

• Low-resource language에 대해서도 우수한 성능을 보임

Low-Resource Language에서의 성능

• Out-of-Domain data에 대해서도 robust 한 성능을 보임

Out-of-Domain Data에 대한 성능

• Analysis
  • Suprasegmental distinction을 collapse 하면 CTC에서 confusion을 줄일 수 있음

Encoder-CTC PER

• CTC decoding weight가 커지면 in-domain performance는 저하되는 대신 out-of-domain performance가 향상됨

CTC Weight 별 성능

• Speech, text prompt를 모두 사용하면 standardized pronunciation이 나타남

Speech-Guided G2P

• Audio-P2G는 phone context를 활용하여 ASR 이상의 결과를 제공함

Audio P2G

• Detected language token을 assign 하면 더 나은 성능을 달성할 수 있음

Language Token 별 성능