深度学习模型训练技巧

具体参考博文http://bigdata.51cto.com/art/201610/519753.htm?utm_source=tuicool&utm_medium=referral，写得非常棒，而且列出了相关优秀博客。

目的：提升性能=提高模型的准确率。

四种方式：

1.从数据上提升性能

2.从算法上提升性能

3.从算法调优上提升性能

4.从模型融合上提升性能

性能提升的力度按上表的顺序从上到下依次递减。举个例子，新的建模方法或者更多的数据带来的效果提升往往好于调出最优的参数。

（一）从数据上提升性能

1）收集更多的数据

2）产生更多的数据

深度学习算法往往在数据量大的时候效果好。由于某些原因你得不到更多的数据，也可以制造一些数据。

如果你的数据是数值型的向量，那么随机生成已有向量的变形向量。

如果你的数据是图像，用已有的图像随机生成相似图像。

如果你的数据是文本，做法你懂。

这类做法通常被称为数据扩展或是数据生成。

3）对数据做缩放

4）对数据做变换

5）特征选择

6）重新定义问题

（二）从算法上提升性能

1） 算法的筛选

2）从文献中学习

3）重采样的方法

（三）从算法调优上提升性能

1)模型可诊断性

2)权重的初始化

3)学习率

4)激活函数

5)网络结构

6)batch和epoch

7)正则项

8)优化目标

9)提早结束训练