ICLR 2020 | 神经网络架构搜索（NAS）论文推荐202
ICLR 2020 线上会议已经圆满结束。此次会议关于NAS的研究主题包括对benchmark的探讨、对于流行的NAS方法的理解和分析，以及如何提高NAS方法的精度和效率等。值得一提的是，此届会议举办了ICLR历史上的第一个神经网络架构搜索（NAS）的Workshop（https://sites.google.com/view/nas2020/home），充分体现出NAS正成为越来越热门的神经网络研究方向。
此文列出以下十篇ICLR 2020 上关于NAS的经典文章供大家学习参考！
1. NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search
作者：Xuanyi Dong, Yi Yang
本文是University of Technology Sydney和百度研究团队的合作研究成果。近年来伴随着NAS的大火，NAS的研究方法也层出不穷，但是对于各种方法的比较没有严格的基准。此篇文章致力于设立统一的基准(benchmark)用于不同NAS方法的比较。另外，虽然NAS可以自动搜索表现较好的模型，但是搜索的成本较高，尤其是是评估不同网络结构训练的成本。因此，此篇论文提供了15625个不同网络结构在三个数据集上的的训练的信息，有利于研究工作者避免繁琐重复的训练。
2. NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search
作者：Arber Zela, Julien Siems, Frank Hutter
作者来自University of Freiburg和Bosch AI. 此篇论文与上篇论文在研究目的上具有较大的相似，上篇论文spotlight，这篇论文被选为poster. 因此在此对于这篇文章不做过多的总结。
作者：Antoine Yang, Pedro M. Esperança, Fabio M. Carlucci
后两位作者来自Huawei Noah’s Ark Lab该篇论文提供了8种NAS方法在5个数据集上的评估基准（benchmark)，研究发现现有的NAS方法并没有比随机生成的网络结构具有显著的优势。
作者：Yao Shu, Wei Wang, Shaofeng Cai
作者来自新加坡国立大学。研究发现现有的一些流行的NAS方法的cell structure大多呈现如下结构：
1-.png
原因在于此种结构具有平稳的loss landscape以及快速的收敛性，如下图所示：
2-.png
作者：Arber Zela, Thomas Elsken, Tonmoy Saikia, Yassine Marrakchi, Thomas Brox, Frank Hutter
此篇论文认为DARTS可微网络结构搜索对于一些新的数据集没有表现出稳健的结果。原因在于DARTS对于valid dateset过度拟合。因此，研究提供了一些解决方案。
作者：Christian Sciuto, Kaicheng Yu, Martin Jaggi, Claudiu Musat, Mathieu Salzmann
研究发现流行的NAS方法比如DARTS, ENAS和随机的网络结构具有相似的performance。研究发现weight sharing是减弱这些流行方法的performance的一个原因。
作者：Yuhui Xu, Lingxi Xie, Xiaopeng Zhang, Xin Chen, Guo-Jun Qi, Qi Tian, Hongkai Xiong
作者来自上海交通大学和华为诺亚方舟实验室，同济大学和Futurewei Technologies。本篇论文为spotlight。研究目的在于提高DARTS的训练和内存的有效性(efficiency)。
作者：Jieru Mei, Yingwei Li, Xiaochen Lian, Xiaojie Jin, Linjie Yang, Alan Yuille, Jianchao Yang
作者来自约翰霍普金斯大学和字节跳动公司。此项研究的贡献在于增大了NAS的搜索空间（search space），以取得更高的精度。不同于DARTS有搜索和评估两个阶段，这篇文章NAS方法只有end-to-end这一个阶段。
作者：Han Cai, Chuang Gan, Tianzhe Wang, Zhekai Zhang, Song Han
作者来自MIT韩松团队。这篇论文主要内容是通过训练和搜索一种once for all的超级网络，以支持不同的硬件平台设施。
（关于本篇论文更多的信息参见“MIT 韩松专访：Once for All 神经网络高效适配不同硬件平台）
作者：Wuyang Chen, Xinyu Gong, Xianming Liu, Qian Zhang, Yuan Li, Zhangyang Wang
本篇论文将DARTS用于real-time的图像分割上。发现网络结构collapse的问题。解决方法为加入一些正则项(regularization term)。
相关阅读：
ICLR 2020 | 知识图谱推理框架：基于向量空间的推理和数值逻辑推理
ICLR 2020 | PairNorm: Tackling Oversmoothing in GNNs
ICLR 2020 | NLP预训练模型的全新范式：对比学习
