计算机视觉学习分享

【神经网络搜索】NasBench301 使用代理模型构建Benc

2021-11-01  本文已影响0人  pprpp

【GiantPandaCV导语】本文介绍的是NAS中的一个benchmark-NASBench301, 由automl.org组织发表,其核心思想是针对表格型基准存在的不足提出使用代理模型拟合架构与对应准确率。

Paper: NAS-Bench-301 and The case for surrogate benchmarks for Neural Architecture Search

Code: https://github.com/automl/nasbench301

0. 动机

根据以上介绍,需要重点关注:

1. 贡献

2. 证明代理模型优越性

在seed不固定的情况下,模型运行结果并不是固定的,即便是seed固定,一些模型也存在无法精确复现的问题。NAS的Benchmark制作中也会遇到这样的问题,NASBench101中使用三个不同的seed从头开始训练,得到对应模型的三个精度。因此对表格型的基准来说,也是存在一定的误差的,如果基于代理的基准的MAE(MeanAbsoluteError)能够低于表格型,就证明其具有更好的预测能力。

实验结果如下:

[图片上传失败...(image-21c1f-1635727748167)]

其中代理模型选择是GIN(A fair comparison of graph neural networks for graph classification),实验发现代理模型可以随着训练规模的增大,更好的学习平滑噪声。

[图片上传失败...(image-5d76b6-1635727748167)]

3. NAS-Bench-301数据集

NAS-Bench-301数据集详细信息如下:

3.1 数据采集

由于搜索空间巨大,不可能将整个搜索空间遍历并训练,需要考虑均匀采样搜索空间。

通过对整个搜索空间进行可视化t-SNE:

[图片上传失败...(image-7464b6-1635727748167)]

可以发现,并不存在大量突变,同时性能最好的架构在整个簇的外边,形成独立的簇。

可视化不同算法在整个搜索空间中采样结果可得:

[图片上传失败...(image-b3a313-1635727748167)]

3.2 性能表现统计

参数量和验证集error:可以发现形成了帕累托前沿。

[图片上传失败...(image-917378-1635727748167)]

比较奇特的是,随着参数量的增加,error还会进行一次反弹,这说明模型容量过大会导致出现过拟合问题。

下图发现Cell depth对性能影响不大:

[图片上传失败...(image-9231d9-1635727748167)]

4. 在NAS-Bench-301拟合代理模型

代理模型的任务还是回归,本文中并没有提出新的回归模型,而是普遍验证了多种回归算法并进行选择。

可选的代理模型有:

评估指标包括:

肯德尔系数适用评估模型预测的排序与真实排序的一致性,普通的肯德尔系数过于严苛,需要整个排序严格一致,但是由于相同精度的模型可能数量非常多,如果排序过于严格会导致指标不够精确,所以稀疏肯德尔系数允许出现0.1%的排序改变,能够更好地反映代理模型的性能。

实验结果:最好的几个模型是:LGBoost,XGBoost,GIN, 因而

[图片上传失败...(image-457214-1635727748167)]

引入噪声建模:发现GIN依然是性能最好的。

[图片上传失败...(image-acfca4-1635727748167)]

5. 注意事项

使用NASBench301存在的风险和注意事项:

6. 代码使用

环境安装:

git clone https://github.com/automl/nasbench301.git
cd nasbench301
cat requirements.txt | xargs -n 1 -L 1 pip install
pip install .

环境安装可能会出现问题,因为原先的requirements.txt只针对cuda10.0,如果本身就是cuda10.0环境可以直接使用官方提供的api,但是如果是cuda11.1可以继续往下看。

安装过程中,主要是问题在于torch_sparse包安装非常繁琐,对版本要求非常高。如果版本不匹配,会出现段错误,或者undefined symbols等问题。

torch_sparse: https://github.com/rusty1s/pytorch_sparse

本文所用环境:

经过一整天的配置,终于试出来一个版本:

torch==1.8.0+cu111 -f https://download.pytorch.org/whl/cu111/torch_stable.html
torchvision==0.9.0+cu111 -f https://download.pytorch.org/whl/cu111/torch_stable.html

torch-scatter==2.0.6 -f https://data.pyg.org/whl/torch-1.9.0%2Bcu111.html
torch-sparse==0.6.12 -f https://data.pyg.org/whl/torch-1.9.0%2Bcu111.html

torch-cluster==1.5.9 -f https://data.pyg.org/whl/torch-1.9.0%2Bcu111.html
torch-spline-conv==1.2.0 -f https://data.pyg.org/whl/torch-1.9.0%2Bcu111.html
torch-geometric==1.6.3

遇到的错误:

TypeError: load() missing 1 required positional argument: ‘Loader‘

YAML 5.1版本后弃用了yaml.load(file)这个用法,因为觉得很不安全,5.1版本之后就修改了需要指定Loader,通过默认加载器(FullLoader)禁止执行任意函数,该load函数也变得更加安全

用以下三种方式都可以

d1=yaml.load(file,Loader=yaml.FullLoader)
d1=yaml.safe_load(file)
d1 = yaml.load(file, Loader=yaml.CLoader)

原文链接:https://blog.csdn.net/qq_34495095/article/details/120905179

OSError: python3.7/site-packages/torch_sparse/_version_cuda.so: undefined symbol

这个主要是由于环境不匹配导致的问题,需要选择正确对应关系的版本。

上一篇下一篇

猜你喜欢

热点阅读