[Paper 리뷰] AutoNF: Automated Architecture Optimization of Normalizing Flows with Unconstrained Continuous Relaxtion Admmitting Optimal Discrete Solution
AutoNF: Automated Architecture Optimization of Normalizing Flows with Unconstrained Continuous Relaxtion Admitting Optimal Discrete Solution 강력하면서도 계산 효율적인 flow model을 구축하는 것은 여전히 어려움 이를 위해 Neural Architecture Search를 고려할 수 있지만, Normalizing Flow의 invertibility constraint로 인해 기존 방식들은 적용하기 어려움 AutoNF Normalizing Flow에 대한 automated architectural optimization framework Flow model의 invertibility cons..
[Paper 리뷰] MixPath: A Unified Approach for One-shot Neural Architecture Search
MixPath: A Unified Approach for One-shot Neural Architecture Search 일반적인 two-stage neural architecture search method는 single-path search space에 제한되어 있음 Multi-path structure를 효율적으로 search 하는 것은 여전히 어려움 MixPath Candidate architecture를 정확하게 평가하기 위해 one-shot multi-path supernet을 학습시킴 서로 다른 feature statistics를 regularize하기 위해 Shadow Batch Normalization을 도입 결과적으로 Shadow Batch Normalization을 통해 최적화를 안정..
[Paper 리뷰] Transfer NAS with Meta-Learned Bayesian Surrogates
Transfer NAS with Meta-Learned Bayesian Surrogates Neural Architecture Search는 높은 계산 비용과 roubstness의 부족함에 대한 한계가 있음 특히 대부분의 방법론들은 prior knowledge를 무시하고 scratch로 최적의 architecture를 search 함 TNAS 다양한 dataset에 대한 prior architecture 평가를 통해 meta-learning Deep-kernel Gaussian process, Architecture embedding을 위한 graph neural network, Transformer-based encoder에 대해 Bayesian Optimization을 활용 논문 (ICLR 2023)..
[Paper 리뷰] AutoDiffusion: Training-Free Optimization of Time Steps and Architectures for Automated Diffusion Model Acceleration
AutoDiffusion: Training-Free Optimization of Time Steps and Architectures for Automated Diffusion Model Acceleration Diffusion model은 이미지 생성을 위해 많은 수의 time step을 필요로 함 서로 다른 model은 추론 시간을 가속화하는 서로 다른 최적의 time step을 가질 수 있음 AutoDiffusion 추가적인 학습 없이 diffusion model에 대한 최적의 time step과 architecture를 search 가능 가능한 모든 time step과 다양한 architecture에 대한 unified search space 구성 최적의 solution을 찾기 위한 two-stag..
[Paper 리뷰] Pareto-aware Neural Architecture Generation for Diverse Computational Budgets
Pareto-aware Neural Architecture Generation for Diverse Computational Budgets 다양한 computational budget 하에서 효과적인 architecture를 설계하는 것은 배포에 필수적임 기존에는 주로 각 target budget에 대해 독립적인 architecture search를 수행 - 비효율적이고, 학습된 knowledge를 서로 공유할 수 없음 Pareto-aware Neural Architecture Generator (PNAG) 단일 학습만으로 주어진 budget에 대해 Pareto-optimal architecture를 동적으로 생성 다양한 budget에서 multiple Pareto-optimal architecture를..
[Paper 리뷰] CompOFA: Compound Once-For-All Networks for Faster Multi-Platform Deployment
CompOFA: Compound Once-For-All Networks for Faster Multi-Platform Deployment Once-For-All (OFA)는 Neural Architecture Search (NAS)에서 한 번에 여러 모델을 학습시킬 수 있는 방식을 제안함 OFA를 적용하더라도 NAS 비용은 여전히 높음 CompOFA Accuracy-latency Pareto frontier에 가까운 모델로 search 범위를 제한 더 작은 search space를 구성하기 위한 모델 magnitude 간의 compound relationship 파악 논문 (ICRL 2021) : Paper Link 해당 논문의 Baseline : Once-For-All (OFA) 리뷰 1. Introd..