深度学习的挑战

• 提问正确的问题 和 给出正确的答案
  （图片分类 <> 场景理解）
• 选择，收集，组织好的数据训练模型
  （照片 <> 综合 <> 真实世界的帧）
  纯粹的感知是很难的
  视觉理解是很难的
• 不能做好的例子
  镜像
  稀疏信息
  3d 构建
  人类的心情
  下一刻发生什么
  幽默

要点记录

• 数据增强
  切割、翻转、缩放、旋转、转化、增加噪声

• 神经网络的学习方式：反向传播
  1、前向传播，计算输出和损失
  2、反向传播，计算梯度
  3、从权重梯度中减去权重梯度的一部分

• 计算硬件
  cpu：串行、多用途、每台电脑都有
  gpu：并行、多用途
  tpu：用户定制的有特殊用途的集成电路、谷歌出品、专用于机器学习、低精度

• 激活函数：
  sigmoid、Tanh、ReLU

• 损失函数：
  回归：均方误差(MSE)
  
  分类：交叉熵损失
  

小批量大小：网络进行一次参数更新的参考（根据实例计算梯度）实例数量，如果批量增大，则完成一个epoch的时间缩短，如果批量减少，则经验上会有更好的泛化效果。
Epoch：在整个训练集上的一次迭代
Batch：我们不能一次将整个训练集喂给网络，所以我们需要哦将数据集分批作为网络输入
iteration：一个batch数据从前向传播到反向传播再到参数更新的全过程

小批量的批量大小太大有害健康、即它会导致很坏的测试错误。不要使小批量的大小大于32。

• 防止过拟合：
  1、当在验证集的表现开始变差时应该停止训练或者至少应该存储checkpoint
  2、dropout(usually p>= 0.5)：出入层应该有更高的dropout率
  3、权重衰减：
  4、权重惩罚：L1，L2
  5、标准化：输入数据标准化（根据均值或方差）、批标准化——BN（根据批的均值或方差标准化隐层输入）、BR(BR的解释见下面图片)

  
  
  

  6、其他方法：Layer normalization(LN)——conceived for RNNs、Instance normalization(IN)——conceived for style Transfer、Group normalization(GN)——conceived for CNNs
  深度学习在图像中的应用CNN
  AlexNet(2012)、ZFNet(2013)、VGGNet(2014)、GoogLeNet(2014)、ResNet(2015)、CUImage(2016)、SENet(2017)

• 自编码器
  是一种非监督学习方法，类似于PCA，可以对输入数据进行降维，通过这个方法可以达到压缩数据同时提取数据精华的作用，用于深度学习中，可以让网络处理自编码器的输出（数据的精华），从而提高模型训练速度。
  对抗生成网络