[Paper 리뷰] End-to-End LPCNet: A Neural Vocoder with Fully-Differentiable LPC Estimation

End-to-End LPCNet: A Neural Vocoder with Fully-Differentiable LPC Estimation

---

• Neural vocoder는 여전히 우수한 합성 품질에 비해 높은 computational complexity가 요구됨
• End-to-End LPCNet
  • Linear prediction에 기반한 autoregressive model을 사용하여 neural vocoding의 complexity를 완화
  • 추가적으로 frame rate network의 input feature에서 linear prediction cofficient를 예측하는 방법을 학습하여 기존 end-to-end version을 구성
• 논문 (INTERSPEECH 2022) : Paper Link

---

1. Introduction

• Vocoder는 acoustic parameter를 기반으로 intelligible speech를 합성하는 것을 목표로 함
  • BUT, WaveNet, WaveRNN과 같은 기존 neural vocoder는 real-time 합성을 위해서는 강력한 GPU/CPU가 요구됨
  • 한편 LPCNet은 WaveRNN을 기반으로 linear prediction (LP)와 source-filter model을 도입하여 고품질의 합성 성능을 유지하면서 3 GFLOPS의 computational cost를 줄일 수 있음
    1. BUT, LPCNet은 추론 시 acoustic feature로부터 LP coefficient를 explicit computation 해야 하는 한계점이 있음
    2. 결과적으로 arbitrary latent feature space를 사용하기 어려우므로 end-to-end coding이나 input이 full clean spectrum을 나타내지 않는 경우 사용하기 어려움

-> 그래서 기존 LPCNet의 explicit LPC computation을 회피하고 fully-differentiable 구성을 적용한 End-to-End LPCNet을 제안

 

• End-to-End LPCNet
  • 기존 LPCNet을 개선하여 End-to-End differentiable LPCNet을 구성
  • 이후 loss function으로부터 gradient를 backpropagating 하여 input feature를 통해 LPC estimation을 학습

< Overall of End-to-End LPCNet >

• Explict LPC computation을 회피하는 fully-differentiable LPCNet
• 결과적으로 LPCNet과 동일한 수준의 품질을 유지하면서 추론 속도를 개선

2. LPCNet Overview

• WaveRNN은 conditioning information으로부터 time $t$의 각 sample $s_t$에 대한 discrete probability distribution function (PDF) $p(s_t)$와 $s_{t-1}$까지의 past sample을 예측함
  • 구조적으로는 GRU를 기반으로 linear layer와 softmax activation을 적용해 distribution을 output 함
    - 이때 GRU의 computational requirement를 줄이기 위해 block-sparse wegith matrix를 사용
  • LPCNet은 linear prediction을 사용하여 WaveRNN을 simplify 함
    1. 먼저 LP coefficient $a_i$는 Levinson-Durbin Algorithm을 따라 input cepstral feature를 spectrum으로 변환하여 autocorrelation을 얻는 방식으로 explicitly compute 됨
    2. 이후 얻어진 LPC는 previous sample에서 예측 $p_t$를 계산하는 데 사용됨:
       (Eq. 1) $p_t=\sum _{i=1}^M{a}_i{s}_{t-i}$
       - $M$ : prediction order (16kHz LPCNet의 경우 $M=16$을 사용)
       - $e_t=s_t-p_t$ : excitation/residual
    3. 그러면 main GRU ${\text{GRU}}_A$는 past signal $s_{t-1}$ 뿐만 아니라 past excitation $e_{t-1}$과 current sample $p_t$의 예측에도 사용할 수 있음
       - 여기서 output은 excitation distribution $P(e_t)$를 추정
  • 한편 full 16-bit PDF를 output 할 때 LPCNet은 $\mu$-law scale을 채택하여 WaveRNN의 two-pass coarse-fine strategy를 회피함:
    (Eq. 2) $U(x)=\text{sgn}(x)\cdot \frac{U_{max}\log (1+\mu |x|)}{\log (1+\mu )}$
    - 여기서 $\mu$-law range $U_{max}=128$이고 $\mu =255$, $U(0)=0$
    - $\mu$-law value는 일반적으로 $[0,256]$ range의 양수값을 가지지만, 논문에서는 $[-128,128]$을 가지도록 함
    
  • $\mu$-law scale은 quantization noise를 signal amplitude와 independent 하도록 만드는 역할
    1. Input에 적용된 pre-emphasis filter $E(z)=1-\alpha z^{-1}$는 8-bit $\mu$-law quantization에서 발생하는 audible quantization noise를 방지함
    2. De-emphasis filter $D(z)=\frac{1}{1-\alpha z^{-1}}$는 synthesis output에 적용됨
       - $\alpha =0.85$를 사용
  • Frame rate network는 cepstral feature로부터 frame conditioning feature $\mathbf{f}$를 학습함
    - Sample rate network는 frame conditioning feature $\mathbf{f}$와 prediction $p_t$, past excitation $e_{t-1}$, past signal $s_{t-1}$을 기반으로 excitation $e_t$에 대한 output probability distribution을 예측

3. End-to-End LPCNet

• End-to-End LPCNet은 LPC computation이 cepstral feature의 fixed set으로 hardcode 되지 않고 differentiable computation을 지원하는 것을 목표로 함
  • 구조적으로는 아래 그림과 같이 frame rate network가 LPC를 계산하는데 사용됨
  • 이때 fully-differentiable end-to-end training을 위해서는 다음을 differentiable 하게 구성해야 함:
    1. LPC Computation
    2. Input Embedding
    3. Loss Function Computation

Overall of End-to-End LPCNet

- Learning to Compute LPCs

• LP coefficient는 error에 민감하고 unstable 하므로 directly quantize 하거나 estimate 할 수 없음
  • Robust representation으로 $[-1,1]$ interval 내에서 stability를 보장하는 Reflection Coefficient (RC)나 alternating ordering을 따르는 line spectral frequency를 고려할 수 있음
  • 따라서 논문에서는 representation으로 RC를 채택하여 사용함
    1. $[-1,1]$ interval이 $\tanh$ activation으로 쉽게 enforce 되고, pre-tanh logit이 RC의 log-area ratio representation과 동일하기 때문
    2. 여기서 RC는 Levinson recursion을 통해 direct-form LP coefficient로 변환됨:
       (Eq. 3) $a_j^{(i)}=\{\begin{array}{cc}{k}_i,& \text{if}j=i\\ a_j^{(i-1)}+k_i{a}_{i-j}^{(i-1)},& \text{otherwise}\end{array}$
       - $k_i$ : RC, $a_j^{(i)}$ : order $i$의 $j$-th prediction coefficient
    3. 결과적으로 (Eq. 1), (Eq. 3)은 differentiable 하므로 network는 RC를 계산하는 방법을 학습할 수 있음
  • 추가적으로 End-to-End LPCNet은 frame rate network condition vector $\mathbf{f}$의 첫 $M$ element를 RC로 directly use 함
    - 이를 통해 다음 sample rate network가 estimated prediction coefficient를 고려하도록 보장할 수 있음
    - (Eq. 3)과 cepstral-to-LPC conversion은 전체 complexity에 비해 무시할 수 있으므로, 기본적으로 End-to-End LPCNet은 기존 LPCNet과 동일한 complexity를 가짐

- Differentiable Embedding Layer

• Input $p_t,s_{t-1},e_{t-1}$은 8-bit $\mu$-law value로 quantize 되어 input sample embedding을 학습하는데 사용됨
  • 이때 embedding은 input에 적용되는 non-linear function을 학습하여 singal value를 GRU에 대한 input으로 직접 사용하는 것에 비해 합성 품질을 크게 향상할 수 있음
    - BUT, $\mu$-law quantization은 gradient가 frame rate network의 RC computation까지 loss를 backpropagate 하는 것을 방지함
  • 따라서 논문은 embedding을 differentiable 하게 구성하기 위해, interpolation scheme을 도입함
    
    1. 먼저 ${\mathbf{v}}_j$를 embedding matrix의 $j$-th embedding vector라 하고, $x$를 real-valued (unquantized) $\mu$-law sample value라고 하자
    2. 그러면 interpolated embedding ${\mathbf{v}}^{(i)}(x)$는:
       (Eq. 4) $f=x-\lfloor x\rfloor$
       (Eq. 5) ${\mathbf{v}}^{(i)}(x)=(1-f)\cdot {\mathbf{v}}_{\lfloor x\rfloor }+f\cdot {\mathbf{v}}_{\lfloor x\rfloor +1}$
       - 이를 통해 gradient는 fractional interpolation coefficient $f$를 통해 propagate 될 수 있음
  • 추론 시에는 interpolation의 extra complexity를 회피하고, $\mathbf{v}(x)={\mathbf{v}}_{\lfloor x\rceil }$를 계산함
    - $\lfloor \cdot \rceil$ : rounding operation

- Loss Function

• 기존 LPCNet은 DNN training 이전에 excitation을 pre-compute 할 수 있지만, 논문의 End-to-End LPCNet에서 excitation은 DNN architecture의 일부로 계산됨
  • 따라서 cross-entropy loss에 대한 ground-truth target은 constant 하지 않으므로 loss function에서 다음의 문제가 발생함
    1. Target $\mu$-law excitation을 quantize 하면 gradient가 RC computation으로 backpropagate 되지 않음
    2. $\mu$-law scale의 non-linear nature로 인해 large excitation value는 $\mu$-law spacing이 크고 narrow excitation value의 경우 0에 가까운 값을 가짐
       - 결과적으로 동일한 linear uncertainty라도 excitation이 크면 cross-entropy 값이 커질 수 있음
  • 먼저 첫 번째 문제를 해결하기 위해 논문은 interpolated cross-entropy loss를 도입함
    1. $e_t^{(\mu )}$를 time $t$에서의 real-valued $\mu$-law excitation이라고 하고, $\hat{P}(e_t^{(\mu )})$를 time $t$에서 추정된 discrete probability라고 하자
    2. 여기서 앞선 interpolated embedding과 같이 standard cross-entropy 대신 nearest integer로 round 하면:
       (Eq. 6) ${\mathcal{L}}_{CE}=\mathbb{E}[-\log \hat{P}(\lfloor e_t^{(\mu )}\rceil )]$
    3. 해당 loss는 다음과 같이 time에 따라 distribution의 기댓값을 취하여 probability를 interpolate 함:
       (Eq. 7) $f=e_t^{(\mu )}-\lfloor e_t^{(\mu )}\rfloor$
       (Eq. 8) ${\hat{P}}^{(i)}\left(e_t^{(\mu )}\right)=(1-f)\hat{P}(\lfloor e_t^{(\mu )}\rfloor )+f\hat{P}(\lfloor e_t^{(\mu )}\rfloor +1)$
       (Eq. 9) ${\mathcal{L}}_{ICE}=\mathbb{E}[-\log \left({\hat{P}}^{(i)}\left(e_t^{(\mu )}\right)\right)]$
       - $f$ : interpolation coefficient
  • 다음으로 두 번째 문제를 해결하기 위해서는 linear-domain excitation sample의 distribution에 해당하는 cross-entropy loss를 최소화해야 함
    1. 이는 ${\hat{P}}^{(i)}(\cdot )$을 $\mu$-law value와 1 차이에 해당하는 linear step size로 dividing 하는 것으로 수행될 수 있음
    2. 이때 $\mu$-law expansion function $U^{-1}(\cdot )$의 derivative로 나누어 compensated loss를 얻음:
       (Eq. 10) ${\mathcal{L}}_C=\mathbb{E}[-\log \frac{{\hat{P}}^{(i)}\left(e_t^{(\mu )}\right)}{\frac{d}{dx}{U}^{-1}(x){|}_{e_t^{(\mu )}}}]$
    3. $U^{-1}(\cdot )$은 piecewise exponential 하므로, contant term을 discard 하여 (Eq. 10)을 단순화하면:
       (Eq. 11) ${\mathcal{L}}_C={\mathcal{L}}_{ICE}+\mathbb{E}\left[\frac{|e_t^{(\mu )}|\log (1+\mu )}{U_{max}}\right]$
       - ${\mathcal{L}}_{ICE}$ : (Eq. 9)의 interpolated cross-entropy loss
       - 오른쪽 term : $\mu$-law companded excitation에서 $L_1$ loss로 $\mu$-law scale을 compensate

- Regularization

• Compensated loss ${\mathcal{L}}_C$만 사용하면 optimization이 발산하므로, training stability를 위해 논문은 다음의 3가지 regularization variant를 고려함
  1. $L_1$ Regularization
     
     • (Eq. 11)의 $\mu$-law compensation에는 $L_1$ loss가 이미 포함되어 있으므로 다음과 같이 compensation term을 artificially increase 하는 regularizer를 도입:
       (Eq. 12) ${\mathcal{L}}_{L_1}=\gamma \mathbb{E}\left[\frac{\left|e_t^{(\mu )}\right|\log (1+\mu )}{U_{max}}\right]$
       - 여기서 $\gamma =1$을 사용해 (Eq. 11)의 compensation term을 두배로 늘림으로써 training을 stabilize 함
     • 실제로 regularization은 standard LPC analysis와 유사한 방식으로 prediction error를 최소화함
       - 특히 $\mu$-law residual에 대한 연산은 regularization이 high-/low-amplitude signal에 거의 동일하게 적용되는 특성을 가짐
  2. Log-Area Ratio Regularization
     
     • 기존 LPCNet과 같이 ground-truth LPC에 대해 directly match 하는 방식을 고려할 수 있음
       - 해당 regularization에서 LPC는 target speech signal에 대해서만 계산되고, training time에만 사용되므로 End-to-End LPCNet의 complexity를 증가시키지 않음
     • 이때 추정된 RC $k_i$와 ground-truth RC $k^{(g)}$ 간의 distance로써, 두 filter 간의 difference를 나타내는 log-area ratio (LAR)을 사용:
       (Eq. 13) ${\mathcal{L}}_{LAR}=\mathbb{E}\left[\sum _i{(\log \frac{1-k_i}{1+k_i}-\log \frac{1-k_i^{(g)}}{1+k_i^{(g)}})}^2\right]$
  3. Log-Area Ratio Matching
     • (Eq. 6)의 non-compensated standard discrete cross-entropy를 사용하면서 LPC estimation을 adapt 하기 위해 (Eq. 13)을 적용하는 방식
     • 이때 LPC는 output probability estimation을 고려하지 않고 ground-truth LPC와 match 되도록 함
       - Excitation은 예측된 LP coefficient를 기반으로 계산됨

4. Experiments

- Settings

• Dataset : 9 TTS datasets
• Comparisons : LPCNet

- Results

• 여러 end-to-end variant에 대한 성능을 비교해 보면, LAR-regularized model이 ground-truth와 가장 비슷한 것으로 나타남

추정된 LPC와 Ground-Truth LPC 간의 Log-Spectral Distance (LSD)

각 Variant별 LPC Response 비교

• MOS 측면에서도 LAR-regularized model이 가장 우수한 성능을 달성함

MOS 비교

Baseline LPCNet과의 비교