[Paper 리뷰] EDM2: Analyzing and Improving the Training Dynamics of Diffusion Models
EDM2: Analyzing and Improving the Training Dynamics of Diffusion ModelsDiffusion model은 data-driven image synthesis에서 우수한 성능을 보임EDM2Diffusion model architecture에 대한 uneven, inefficient training의 원인을 파악Activation, weight, update magnitude를 expectation에 대해 preserve 하도록 network layer를 redesign추가적으로 training 이후 Exponential Moving Average parameter를 post-hoc setting논문 (CVPR 2024) : Paper Link1. Intro..
[Paper 리뷰] Score-based Generative Modeling through Stochastic Differential Equations
Score-based Generative Modeling through Stochastic Differential EquationsGenerative modeling은 noise로부터 data를 생성하는 것을 목표로 함Score-based Generative Modeling with SDENoise를 inject 하여 complex data distribution을 known prior distribution으로 변환하는 Stochastic Differential Equation (SDE)와 denoising을 통해 prior를 data distribution으로 변환하는 reverse-time SDE를 활용Score-based modeling을 활용하여 neural network를 통해 time-dep..
[Paper 리뷰] Elucidating the Design Space of Diffusion-based Generative Models
Elucidating the Design Space of Diffusion-based Generative Models현재의 diffusion-based generative model은 불필요하게 복잡함EDMDiffusion model에 대한 구체적인 design choice을 위한 명확한 design space를 제시이를 위해 sampling, training process, score network의 pre-conditioning 등에 대한 다양한 변경 사항들을 identify 함논문 (NeurIPS 2022) : Paper Link1. IntroductionDiffusion-based generative model은 conditional/unconditional 설정 모두에서 뛰어난 합성 성능을 보이..
[Paper 리뷰] AutoNF: Automated Architecture Optimization of Normalizing Flows with Unconstrained Continuous Relaxtion Admmitting Optimal Discrete Solution
AutoNF: Automated Architecture Optimization of Normalizing Flows with Unconstrained Continuous Relaxtion Admitting Optimal Discrete Solution강력하면서도 계산 효율적인 flow model을 구축하는 것은 여전히 어려움이를 위해 Neural Architecture Search를 고려할 수 있지만, Normalizing Flow의 invertibility constraint로 인해 기존 방식들은 적용하기 어려움AutoNFNormalizing Flow에 대한 automated architectural optimization frameworkFlow model의 invertibility constrain..
[Paper 리뷰] Denoising Diffusion Probabilistic Models
Denoising Diffusion Probabilistic ModelsNonequilibrium thermodynamics에서 영감을 받은 latent variable model인 diffusion probabilistic model을 사용하여 고품질의 이미지 합성을 시도Denoising Diffusion Probabilistic Model (DDPM)Diffusion probabilistic model과 Langevin dynamics를 연결하는 denoising score matching을 활용Autoregressive decoding의 generalization으로 해석될 수 있는 progressive lossy decompression을 허용논문 (NeurIPS 2020) : Paper Link..
[Paper 리뷰] Direct Design of Biquad Filter Cascades with Deep Learning by Sampling Random Polynomials
Direct Design of Biquad Filter Cascades with Deep Learning by Sampling Random Polynomials Arbitrary magnitude response와 match 하도록 Infinite Impulse Response filter를 설계하는 것은 어려움 - Yule-Walker method는 효율적이지만 high-order response를 정확하게 match 하지 못함 - Iterative optimization은 우수한 성능을 보이지만 initial condition에 민감 IIRNet 수백만개의 random filter에 대해 학습된 neural network를 사용하여 target magnitude response에서 filter coe..