学习资料：

• 大牛讲堂 | 算法工程师入门第三期-黄李超讲物体检测（从David Marr的计算模型到现在的深度学习）

重点摘录：

例如ReLU激活函数的应用，使得神经网络比之前用tanh， sigmoid 等激活函数的网络更容易训练，也更快收敛。

特征学习正是深度学习所擅长的部分。它把相关场景和目标的特征学习，转变为网络结构的定义和参数的学习，从而免去领域专家去设计特征这一环节。我们不需要绞尽脑汁去为你的目标去设计合适的特征，你只需要把原始图片和标注提供给网络，定义好网络结构，他就可以从头到尾自动学习出多层次的特征表达和分类器。深度学习还具有非常好的可扩展性。

像一些更好的神经网络权重的初始化方法，以及一些其他的奇淫巧技（trick）, 例如drop out等，和新的网络结构（ResNet等）也让神经网络的实用性和之前相比大大提高。