[Paper 리뷰] Towards Fine-Grained and Multi-Granular Contrastive Language-Speech Pre-Training
Towards Fine-Grained and Multi-Granular Contrastive Language-Speech Pre-TrainingFine-grained speaking style을 modeling 하는 것은 어려움CLSP47k hours speech, 19M fine-grained caption을 포함한 FCaps dataset을 구축FCaps dataset을 기반으로 global, fine-grained supervision을 integrate 한 contrastive language-speech pre-trained modeling을 수행논문 (ACL 2026) : Paper Link1. IntroductionSpeaking style은 gender, age와 같은 speaker-int..
[Paper 리뷰] ImmersiveTTS: Environment-Aware Text-to-Speech with Multimodal Diffusion Transformer and Domain-Specific Representation Alignment
ImmersiveTTS: Environment-Aware Text-to-Speech with Multimodal Diffusion Transformer and Domain-Specific Representation AlignmentEnvironmental audio와 함께 speech를 jointly generate 하는 것은 어려움ImmersiveTTSMutimodal diffusion Transformer를 기반으로 transcript-aligned speech latent와 text-conditioned environmental context를 joint attention으로 fuseSemantic consistency를 향상하기 위해 domain-specific representation alig..
[Paper 리뷰] SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream Quantization
SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream QuantizationSpeech codec은 semantically-rich representation과 high-quality reconstruction에 대한 trade-off가 존재함SACSemantic-acoustic dual-stream quantization을 활용해 semantic, acoustic modeling을 disentangling두 개의 dedicated stream을 각각의 respective role에 맞게 optimize논문 (ACL 2026) : Paper Link1. IntroductionSpeech tokenizer는 continuous speech wavefor..
[Paper 리뷰] TED-TTS: Training-Free Intra-Utterance Emotion and Duration Control for Text-to-Speech Synthesis
TED-TTS: Training-Free Intra-Utterance Emotion and Duration Control for Text-to-Speech SynthesisControllable Text-to-Speech는 여전히 fine-grained intra-utterance expression 측면에서 한계가 있음TED-TTSCausal masking과 monotonic stream alignment를 combine 한 segment-aware emotion conditioning를 도입추가적으로 local duration embedding steering과 global EOS logit modulation을 combine 한 segment-aware duration steering strateg..
[이달슈] 이달의 슈게이즈 6회 - 26년 6월
이달의 슈게이즈 6회 - 26년 6월 * 업로드 당일 기준 작성자 레이더망에 걸린 것들만 올리니 놓치는게 있을 수도 있습니다. 1. 흰천장은 무너졌냐 파란노을의 새 싱글로 포문을 열어봅시다. 지난 11일에 발매된 '상처'는 노스텔직한 분위기가 가미된 무난한 파란노을식 사운드를 들려줍니다. 이전 곡들에 비해선 그나마 괜찮은 편에 속하긴 합니다만, 비유도 직설도 못하는 처참한 가사와 하드코어 할당제처럼 들어간 목적 없는 공격성 때문에라도 이 이상의 칭찬은 못하겠네요.파란노을 - '상처'2. NME의 선택 5일 샌프란시스코에서는 올해 초 'NME 100'에 이름을 올렸던 신예 Midrift의 데뷔앨범 이 발매되었습니다. 전반적으로 앨범은 포스트-하드코어에 기반한 20년대 영미권 슈게이즈의 대세를 그대로 따르면..
[Paper 리뷰] Emo-LiPO: Listwise Preference Optimization for Fine-Grained Emotion Intensity Control in LLM-based Text-to-Speech
Emo-LiPO: Listwise Preference Optimization for Fine-Grained Emotion Intensity Control in LLM-based Text-to-SpeechLarge Language Model-based Text-to-Speech는 fine-grained emotion intensity control의 한계가 있음Emo-LiPOFixed transcript 하에서 각 emotion에 대한 global intensity ordering을 modeling추가적으로 multi-speaker dataset인 ESD-Plus를 구축논문 (IJCAI 2026) : Paper Link1. IntroductionLarge Language Model (LLM)-based T..