[Paper 리뷰] QI-TTS: Question Intonation Control for Emotional Speech Synthesis

QI-TTS: Question Intonation Control for Emotional Speech Synthesis

---

• Expressive text-to-speech는 intonation과 같은 fine-grained style이 무시되는 경우가 많음
• QI-TTS
  • Reference speech의 emotion을 transfer 하면서 questioning intonation을 효과적으로 deliver 하기 위해 2가지의 서로 다른 level에서 style embedding을 추출하는 multi-style extractor를 활용
    
  • Fine-grained intonation control을 위해 relative attribute를 통해 syllable level에서 intonation intensity를 represent 함
• 논문 (ICASSP 2023) : Paper Link

---

1. Introduction

• Emotional speech synthesis를 위해 주로 reference audio를 활용하여 desired speech style을 반영하는 style-transfer text-to-speech (TTS)를 구성함
  • 이를 위해 대표적으로 Global Style Token (GST), Variational AutoEncoder (VAE) 등을 활용할 수 있음
  • BUT, learned setence-level style embedding을 emotion transfer에 활용하는 것만으로는 speaker attitude를 충분히 반영하지 못함
    - Emotion embedding은 'angry statement', 'angry question' 같이 emotion과 intonation 간의 mutually exclusive combination을 동시에 모델링하지 못하기 때문
  • 특히 speaker는 questioning intonation을 사용하여 delcarative question 형식으로 statement를 제시할 수 있음
    - 따라서 single aspect에서 speech prosody를 모델링하는 것은 부적절하고, intention clarification을 위해 intonation을 반영할 수 있어야 함
  • 결과적으로 expressive TTS는 다음에 대한 개선점을 가짐  
    1. Normal statement 외에도 questioning과 같은 multiple, differential prosody를 모델링할 수 있어야 함
    2. Intonation expression은 상당히 다양하므로 specific intensity로 intonation을 flexibly deliver 할 수 있어야 함
    3. Expressiveness를 향상하기 위해 prosody와 다른 attribute를 disentangle 할 수 있어야 함

-> 그래서 앞선 expressive TTS의 한계를 개선한 QI-TTS를 제안

 

• QI-TTS
  • FastSpeech2를 기반으로 sentence-level과 final syllable-level에서 emotion, intonation을 추출하는 multi-style extractor를 도입
  • Relative attribute를 활용한 ranking function을 통해 각 audio sample에 intonation strength를 할당
  • 추가적으로 content embedding과 style embedding 간의 information overlap을 최소화하기 위해 content predictor와 gradient reversal layer (GRL)을 적용

< Overall of QI-TTS >

• Reference audio의 emotion, intonation을 end-to-end manner로 deliver 하고, explicit label 없이 intonation intensity를 효과적으로 control 함
• 결과적으로 기존 방식보다 뛰어난 성능을 달성

2. Method

• QI-TTS는 FastSpeech2를 기반으로 ranking function이 포함된 multi-style extractor, Gradient Reversal Layer (GRL)이 포함된 content predictor로 구성됨
  • Extractor는 sentence와 final syllable level에서 embedding 된 emotion과 intonation을 추출 
  • Ranking function은 relative intonation intensity를 output 하고 intonation intensity embedding으로 encode 함
    - 이후 emotion, intonation embedding과 concatenate 하여 multi-style embedding을 구성
  • GRL content predictor는 multi-style embedding에서 content information을 disentangle 함 

Overall of QI-TTS

- Multi-Style Extractor

• Sentence-final의 duration, fundamental frequency는 utterance의 다른 position과 다름
  • 실제로 english에서 final syllable duration은 non-final syllable보다 1.53배 길고, endpoint $F0$의 absolute value는 question/statement를 distinguish 하는데 효과적임
    - 따라서 논문은 duration variance와 intonation-related feature를 capture 하기 위해 final syllable을 포함하는 audio의 last 0.52초를 intonation으로 모델링함
  • 추가적으로 reference speech에서 emotion, intonation information을 추출하기 위해 multi-style extractor를 도입함
    1. 해당 module은 reference encoder와 style token layer를 가지고, sentence의 mel-spectrogram과 final syllable의 mel-spectrogram이 모두 reference encoder에 전달됨
       - $R_s,R_f$ : 각각 output sentence reference embedding, final syllable reference embedding
    2. 이때 emotion, intonation 간의 relationship은 hierarchical 하지 않으므로 final syllable reference embedding의 효과는 sentence reference embedding과 overlap 될 수 있음
       - 따라서 해당 overlap을 회피하기 위해 $R_f-R_s$를 사용하여 final syllable level의 residual embedding을 represent 함
    3. Emotion style embedding $G_s$와 intonation style embedding $G_f$는 $R_f$와 $R_f-R_s$를 해당 style token layer에 전달하여 얻어짐
    4. 이후 해당 embedding을 intonation intensity를 나타내는 ranking embedding과 concatenate 하여 multi-style embedding을 구성함

- Modelling Intonation Intensity

• 논문에서는 intensity label 없이 questioning intonation을 fine-grained control 하는 것을 목표로 함
  • 해당 unsupervised intensity modeling을 위해 ranking-based method인 relative attribute를 활용함
    1. 여기서 questioning intensity를 learned relative attribute로 depict 할 수 있는 speech attribute로 취급
    2. Questioning intensity는 quenstioning intonation variation이 없는 경우 0이므로 questioning intensity를 statement와 question 간의 relative difference로 고려
  • Training set $T=X_t$가 있고, $X_t$는 $t$-th training sample의 acoustic feature라고 하자
    1. $A,B$를 각각 question, statement set이라고 했을 때, QI-TTS는 다음의 ranking function을 학습해야 함:
       (Eq. 1) $f(X_t)=W{X}_t$
       - $W$ : weighting matrix
       
    2. Question의 intonation intensity는 statement보다 항상 높아야 하므로 다음의 constraint를 충족해야 함:
       (Eq. 2) $\mathrm{\forall }(X_a\in A\text{and}{X}_b\in B):W{X}_a>W{X}_b$
       $\mathrm{\forall }(X_a,X_b)\in A\text{or}(X_a,X_b)\in B:W{X}_a=W{X}_b$
    3. 그러면 weighting matrix $W$를 추정하기 위해 다음을 solve 함:
       (Eq. 3) $\underset{W}{min}(\frac{1}{2}||W|{|}_2^2+C(\sum {\xi }_{a,b}^2+\sum {\gamma }_{a,b}^2))$
       $\text{s.t.}W(X_a-X_b)\ge 1-{\xi }_{a,b};\mathrm{\forall }(X_a\in A\text{and}{X}_b\in B),$
       $|W(X_a-X_b)|\le {\gamma }_{a,b};\mathrm{\forall }(X_a,X_b)\in A\text{or}(X_a,X_b)\in B,$
       ${\xi }_{a,b}\ge 0;{\gamma }_{a,b}\ge 0$
       - $C$ : slack variable ${\xi }_{a,b}^2$와 ${\gamma }_{a,b}^2$의 margin과 size 간의 trade-off
       
  • Relative ranking function $f(x)$가 training 되면, $[0,1]$ range의 normalized relative attribute가 speech sample에 대해 계산될 수 있음
    - 이후 해당 attribute는 FC layer로 전달되어 intensity embedding $h_i$를 생성함
  • 추론 시에는 reference speech나 manual instruction을 사용하여 fine-grained intonation control이 가능
    - Reference audio를 analyze 하여 intensity를 예측하고 $[0,1]$ interval 내의 value를 수동 할당하는 방식

- Prediction Tasks

• Multi-style extractor는 reference audio에서 multi-level style을 unsupervisedly learning 함
  • 이때 논문은 emotion, intonation prediction task를 추가하여 각 level module이 해당 style을 효과적으로 학습하도록 함
  • Emotion predictor는 cross-entropy (CE) loss를 사용하고, intonation loss function은 sparse question label로 인해 weighted cross-entropy를 사용:
    (Eq. 4) $L=-{\hat{y}}_1\log y_1-\sigma {\hat{y}}_2\log y_2$
    - $[{\hat{y}}_1,{\hat{y}}_2]$ : statement, question category의 probability
    - $[y_1,y_2]$ : ground-truth label의 one-hot encoding
    - $\sigma$ : balance parameter
  • Adversarial content predictor network는 Mask-And-Predict (MAP)를 활용하여 multi-style embedding에서 overlapped content information을 disentangle 하도록 설계됨
    1. Network는 gradient reverse layer와 content predictor로 구성
    2. Predictor는 $L_{content}=||\hat{c}-c|{|}_1$의 loss를 최소화하여 content representation을 예측하도록 training 됨
       - $c,\hat{c}$ : 각각 phoneme encoder에 의해 생성된 content embedding, adversarial content predictor output
    3. Multi-style embedding에 포함된 content information을 최소화하기 위해 gradient가 reverse 된 다음, multi-style extractor로 backpropagate 됨

3. Experiments

- Settings

• Dataset : ESD
• Comparisons : Multi-Emotional FastSpeech2, Styler

- Results

• 전체적으로 QI-TTS가 가장 우수한 성능을 달성함

모델 성능 비교

• Mel-spectrogram 측면에서도 ground-truth와 비슷한 합성 결과를 보임

Mel-Spectrogram 비교

• Ablation study 측면에서 각 component를 제거하는 경우 성능 저하가 발생함

Ablation Study

• Intonation intensity control 성능을 확인하기 위해 Best-Worst Scaling (BWS) test를 수행해 보면, QI-TTS는 emotion을 효과적으로 반영할 수 있음

BWS test 결과