​ image

在没有改变计算复杂度的情况下，只是使用“调整学习率”和“修改特定卷积层的步幅大小”等方法，就将ResNet- 50在ImageNet上的top-1验证准确率从75.3%提高到79.29%。

这个成果来自于亚马逊近期发表的一篇论文《Bag of Tricks for Image Classification with Convolutional Neural Networks》，作者为李沐带领的AWS研究团队。

论文摘要中表示，这篇论文的中的方法和结论也能适用于其他任务，比如目标检测、语义分割等等。

image

最近，Reddit机器学习版块有人发帖称，自己也整理了各种各样调整改善深度学习模型的方法，比亚马逊的论文中提到的方法还要多。

他将这些内容做成了PPT，一共70多页，涵盖了16篇经典论文和两篇博客文章。

目前，这个帖子在Reddit上的分数已经超过了150，GitHub上的Star也超过了400。

image

PPT里面讲的是啥？

这份PPT，主要有7个主题，分别是：

• 调整学习率

• 调整小批量的规模

• 调整优化器和权值衰减

• 调整特征和标签

• 调整特征和标签（mixup）

• 调整初始条件

• Shake-shake正则化

每一个主题，都基于相对前沿以及效果较好的论文来进行分析。比如调整学习率这一主题，作者就选择了《Cyclical Learning Rates for Training Neural Networks》等3篇论文。

image

这篇论文最后的修订日期为2017年4月4日，这篇论文的主要就是从学习率的角度来谈怎么训练深度学习网络，并提出了一种名为循环学习率（cyclical learning rates）的新方法。

PPT中，作者对论文中的方法与思路进行了梳理，并给出了注释。

image

最后，作者也对亚马逊的论文《Bag of Tricks for Image Classification with Convolutional Neural Networks》进行了梳理与总结。

写这份资源的是谁？

PPT上的信息显示，这个PPT的作者是Krzysztof Kolasiński，来自一家名为FORNAX.ai的公司。

Linkedin上的介绍称，Krzysztof Kolasiński是这家公司的机器学习工程师，波兰人。他是一位物理学博士，专门研究计算物理学中的量子传输问题。

---

扫描顶部二维码，关注“帅帅Go”公众号

回复“模型优化”

即可得到下载链接