[Paper 리뷰] CompOFA: Compound Once-For-All Networks for Faster Multi-Platform Deployment
CompOFA: Compound Once-For-All Networks for Faster Multi-Platform Deployment Once-For-All (OFA)는 Neural Architecture Search (NAS)에서 한 번에 여러 모델을 학습시킬 수 있는 방식을 제안함 OFA를 적용하더라도 NAS 비용은 여전히 높음 CompOFA Accuracy-latency Pareto frontier에 가까운 모델로 search 범위를 제한 더 작은 search space를 구성하기 위한 모델 magnitude 간의 compound relationship 파악 논문 (ICRL 2021) : Paper Link 해당 논문의 Baseline : Once-For-All (OFA) 리뷰 1. Introd..
[Paper 리뷰] LightSpeech: Lightweight and Fast Text to Speech with Neural Architecture Search
LightSpeech: Lightweight and Fast Text to Speech with Neural Architecture Search Text to Speech (TTS) 모델을 다양한 device에 배포하기 위해서는 적은 메모리와 추론 latency를 가져야 함 Non-autoregressive TTS 모델을 통해 빠른 추론 속도를 달성했지만 여전히 자원 제약이 있는 device에 배포하기 어려움 LightSpeech Neural Architecture Search (NAS)를 활용한 FastSpeech 기반의 자동 network 설계 다양한 lightweight architecture를 포함하는 새로운 search space 구성 논문 (ICASSP 2021) : Paper Link 1. ..
[Paper 리뷰] Fast Hardware-aware Neural Architecture Search
Fast Hardware-aware Neural Architecture Search 다양하고 많은 양의 hardware에 대해 최적의 convolutional neural architecture를 설계하는 것은 어려움 Neural Architecture Search (NAS)는 이러한 hardware 다양성 문제를 고려해야함 HURRICANE 더 큰 search space를 통한 automatic hardware-aware search Two-stage search algorithm을 통한 다양한 hardware 맞춤형 최적화 논문 (CVPRW 2020) : Paper Link 1. Introduction 다양한 유형의 hardware device와 막대한 search cost는 NAS 적용의 주요한 걸..
[Paper 리뷰] Zen-NAS: A Zero-Shot NAS for High-Performance Image Recognition
Zen-NAS: A Zero-Shot NAS for High-Performance Image Recognition Accuracy predictor는 Neural Architecture Search (NAS)의 핵심 구성요소 높은 성능의 accuracy predictor를 구현하려면 상당한 양의 계산이 필요함 Zen-Score Network expressivity를 나타내는 새로운 zero-shot index 모델의 accuray와 양의 상관관계를 가짐 학습된 network parameter 없이 무작위로 초기화된 network를 통해 few forward 추론만 수행 Zen-NAS Zen-Score를 기반으로 주어진 추론 예산하에서 target network의 Zen-Score를 최대화하는 NAS 알고..
[Paper 리뷰] HELP: Hardware-Adaptive Efficient Latency Prediction for NAS via Meta-Learning
HELP: Hardware-Adaptive Efficient Latency Prediction for NAS via Meta-Learning 배포와 device별 제약 조건을 만족하기 위해 Neural Architecture Search (NAS)는 hardware를 고려해야 함 기존에는 Lookup table / Latency estimator를 통해 target device의 latency sample을 수집 -> 서로 다른 사양의 hardware를 많이 요구하기 때문에 비실용적임 Hardware-adaptive Efficient Latency Predictor (HELP) Device별 latency 추정 문제를 meta-learning 문제로 공식화 Latency를 출력하는 black-box를 고..
[Paper 리뷰] MAE-DET: Revisiting Maximum Entropy Principle in Zero-Shot NAS for Efficient Object Detection
MAE-DET: Revisiting Maximum Entropy Principle in Zero-Shot NAS for Efficient Object Detection Object detection에서 backbone architecture의 추론 시간을 줄이기 위해 Nerual Architecture Search (NAS)를 도입 기존 NAS 방식은 GPU 및 시간 자원이 많이 필요하므로 빠른 연구 개발을 위해 Zero-shot NAS 방식을 제안 MAE-DET Maximun Entropy Principle을 통해 network parameter를 훈련시키지 않고 효율적인 detection backbone을 설계 Architecture desgin 비용은 zero에 가깝지만 SOTA의 성능을 발휘 De..