[Paper 리뷰] AutoNF: Automated Architecture Optimization of Normalizing Flows with Unconstrained Continuous Relaxtion Admmitting Optimal Discrete Solution
AutoNF: Automated Architecture Optimization of Normalizing Flows with Unconstrained Continuous Relaxtion Admitting Optimal Discrete Solution 강력하면서도 계산 효율적인 flow model을 구축하는 것은 여전히 어려움 이를 위해 Neural Architecture Search를 고려할 수 있지만, Normalizing Flow의 invertibility constraint로 인해 기존 방식들은 적용하기 어려움 AutoNF Normalizing Flow에 대한 automated architectural optimization framework Flow model의 invertibility cons..
[Paper 리뷰] MixPath: A Unified Approach for One-shot Neural Architecture Search
MixPath: A Unified Approach for One-shot Neural Architecture Search 일반적인 two-stage neural architecture search method는 single-path search space에 제한되어 있음 Multi-path structure를 효율적으로 search 하는 것은 여전히 어려움 MixPath Candidate architecture를 정확하게 평가하기 위해 one-shot multi-path supernet을 학습시킴 서로 다른 feature statistics를 regularize하기 위해 Shadow Batch Normalization을 도입 결과적으로 Shadow Batch Normalization을 통해 최적화를 안정..
[Paper 리뷰] Transfer NAS with Meta-Learned Bayesian Surrogates
Transfer NAS with Meta-Learned Bayesian Surrogates Neural Architecture Search는 높은 계산 비용과 roubstness의 부족함에 대한 한계가 있음 특히 대부분의 방법론들은 prior knowledge를 무시하고 scratch로 최적의 architecture를 search 함 TNAS 다양한 dataset에 대한 prior architecture 평가를 통해 meta-learning Deep-kernel Gaussian process, Architecture embedding을 위한 graph neural network, Transformer-based encoder에 대해 Bayesian Optimization을 활용 논문 (ICLR 2023)..
[Paper 리뷰] AutoDiffusion: Training-Free Optimization of Time Steps and Architectures for Automated Diffusion Model Acceleration
AutoDiffusion: Training-Free Optimization of Time Steps and Architectures for Automated Diffusion Model Acceleration Diffusion model은 이미지 생성을 위해 많은 수의 time step을 필요로 함 서로 다른 model은 추론 시간을 가속화하는 서로 다른 최적의 time step을 가질 수 있음 AutoDiffusion 추가적인 학습 없이 diffusion model에 대한 최적의 time step과 architecture를 search 가능 가능한 모든 time step과 다양한 architecture에 대한 unified search space 구성 최적의 solution을 찾기 위한 two-stag..
[Paper 리뷰] NAS-TasNet: Neural Architecture Search for Time-Domain Speech Separation
NAS-TasNet: Neural Architecture Search for Time-Domain Speech Separation Fully convolutional time-domain network인 Conv-TasNet은 speech separation에서 많이 사용되어 왔음 Conv-TasNet의 성능을 극대화하기 위해 Neural Architecture Search를 도입할 수 있음 NAS-TasNet Conv-TasNet의 search space를 구축하기 위한 candidate operation의 정의 최적의 separation module 구조를 결정하기 위한 gradient descent / reinforcement learning를 활용한 두 가지 search strategy 활용 균형..
[Paper 리뷰] Pareto-aware Neural Architecture Generation for Diverse Computational Budgets
Pareto-aware Neural Architecture Generation for Diverse Computational Budgets 다양한 computational budget 하에서 효과적인 architecture를 설계하는 것은 배포에 필수적임 기존에는 주로 각 target budget에 대해 독립적인 architecture search를 수행 - 비효율적이고, 학습된 knowledge를 서로 공유할 수 없음 Pareto-aware Neural Architecture Generator (PNAG) 단일 학습만으로 주어진 budget에 대해 Pareto-optimal architecture를 동적으로 생성 다양한 budget에서 multiple Pareto-optimal architecture를..