Resnet

• 深度神经网络真的是网络层数越多好吗？

  
  image.png

• 过多的层不一定会带来更好的效果，因此何凯明提出了Resnet。针对深层的网络中一些是有作用的一些是没有作用的，通过残差连接可以降低无效网络层的权重，从而减少对结果的影响。

  
  image.png
  image.png

RNN

image.png image.png

Transformer （VIT）

• 位置编码和patch序列计算

  
  image.png

image.png

transformer的感受野更加大，更容易获取全局信息，缺点是吃数据。

• 如何做图像的位置编码？

  
  image.png

这个结论只针对于分类任务。

TNT

• 外部transformer就是原始的，内部的是针对每个patch进行超像素划分。

  
  image.png

image.png image.png