DL之小知识点

1、视觉是分层的，一开始感知到的应该是简单地边缘信息，后面是越来越抽象
2、感知分组：其实就是图像语义分割
3、图像分类：关注于大图整体属于哪个类
4、在2012年卷积网（7层，只是对lenet网络极少的修改，比如函数从sigmoid变成Relu）之前，一般都是“特征+支持向量机”结构，2015年残差网络（微软，151层）
5、学会图像分类，其他的比如物体检测就是稍微做一些改动，小菜一碟
6、曼哈顿距离就是L1距离
7、参数的选择一定要用验证集（假如数据量比较少，不能又训练集，测试集，验证集，则可以用交叉验证方法），测试集只是去测试方法的泛化能力，千万不要用测试集去选择参数，测试集只是去衡量方法的performance
8、注意：一般数据的裁剪都选择用方形的，长的要弄成方形的，这样图像分析效果会更好点
9、注意：一般的神经网络就3层，一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。Mine：深度学习的网络层数应该至少4层吧
10、点评：就是说后面接的是一个logistic 回归分类器，用的是softmax函数计算属于各类的概率