[Paper 리뷰] AutoNF: Automated Architecture Optimization of Normalizing Flows with Unconstrained Continuous Relaxtion Admmitting Optimal Discrete Solution
AutoNF: Automated Architecture Optimization of Normalizing Flows with Unconstrained Continuous Relaxtion Admitting Optimal Discrete Solution 강력하면서도 계산 효율적인 flow model을 구축하는 것은 여전히 어려움 이를 위해 Neural Architecture Search를 고려할 수 있지만, Normalizing Flow의 invertibility constraint로 인해 기존 방식들은 적용하기 어려움 AutoNF Normalizing Flow에 대한 automated architectural optimization framework Flow model의 invertibility cons..
[Paper 리뷰] MixPath: A Unified Approach for One-shot Neural Architecture Search
MixPath: A Unified Approach for One-shot Neural Architecture Search 일반적인 two-stage neural architecture search method는 single-path search space에 제한되어 있음 Multi-path structure를 효율적으로 search 하는 것은 여전히 어려움 MixPath Candidate architecture를 정확하게 평가하기 위해 one-shot multi-path supernet을 학습시킴 서로 다른 feature statistics를 regularize하기 위해 Shadow Batch Normalization을 도입 결과적으로 Shadow Batch Normalization을 통해 최적화를 안정..
[Paper 리뷰] Transfer NAS with Meta-Learned Bayesian Surrogates
Transfer NAS with Meta-Learned Bayesian Surrogates Neural Architecture Search는 높은 계산 비용과 roubstness의 부족함에 대한 한계가 있음 특히 대부분의 방법론들은 prior knowledge를 무시하고 scratch로 최적의 architecture를 search 함 TNAS 다양한 dataset에 대한 prior architecture 평가를 통해 meta-learning Deep-kernel Gaussian process, Architecture embedding을 위한 graph neural network, Transformer-based encoder에 대해 Bayesian Optimization을 활용 논문 (ICLR 2023)..
[Paper 리뷰] AutoDiffusion: Training-Free Optimization of Time Steps and Architectures for Automated Diffusion Model Acceleration
AutoDiffusion: Training-Free Optimization of Time Steps and Architectures for Automated Diffusion Model Acceleration Diffusion model은 이미지 생성을 위해 많은 수의 time step을 필요로 함 서로 다른 model은 추론 시간을 가속화하는 서로 다른 최적의 time step을 가질 수 있음 AutoDiffusion 추가적인 학습 없이 diffusion model에 대한 최적의 time step과 architecture를 search 가능 가능한 모든 time step과 다양한 architecture에 대한 unified search space 구성 최적의 solution을 찾기 위한 two-stag..