字节CV面经

• 介绍一下triplet loss
• 介绍一下基于triplet loss做的聚类
• triplet loss训的过程中会有什么问题

收敛慢，而且比classification更容易overfitting（此条待考究，并且即使过拟合了也比classification性能要好），此外需要对输入的数据按照label进行特别的排列，非常重要的一点是没有triplet loss的API，新手小白可能连十行代码都不到的triplet loss都写不出来，所以deep learning不只是调库调参而已

• triplet 三元组抽样是如何抽的

• 如何做的评价，有没有和其他模型做对比

  
  image.png

• k-means的k如何选的 144

• RNN有什么问题，梯度消失/爆炸?

  
  image.png

• 如何解决梯度消失问题

1. 预训练加微调此方法来自Hinton在2006年发表的一篇论文，Hinton为了解决梯度的问题，提出采取无监督逐层训练方法，其基本思想是每次训练一层隐节点，训练时将上一层隐节点的输出作为输入，而本层隐节点的输出作为下一层隐节点的输入，此过程就是逐层“预训练”（pre-training）；在预训练完成后，再对整个网络进行“微调”（fine-tunning）。Hinton在训练深度信念网络（Deep Belief Networks中，使用了这个方法，在各层预训练完成后，再利用BP算法对整个网络进行训练。此思想相当于是先寻找局部最优，然后整合起来寻找全局最优，此方法有一定的好处，但是目前应用的不是很多了。
   2.batchnorm
   3.res block

• 介绍resnet

• RNN为何有梯度消失问题

  
  image.png

• LSTM如何解决的RNN梯度消失问题

• 卷积核参数量

• 平移不变性 旋转不变性
  不变性意味着即使目标的外观发生了某种变化，但是你依然可以把它识别出来。
  cnn没有旋转不变性
  cnn有平移不变性

首先，解释一下什么是CNN的平移不变性。简单来说，平移不变性（translation invariant）指的是CNN对于同一张图及其平移后的版本，都能输出同样的结果。这对于图像分类（image classification）问题来说肯定是最理想的，因为对于一个物体的平移并不应该改变它的类别。而对于其它问题，比如物体检测（detection）、物体分割（segmentation）来说，这个性质则不应该有，原因是当输入发生平移时，输出也应该相应地进行平移。这种性质又称为平移等价性（translation equivalence）。这两个概念是比较混淆的，但确实是两个不同的东西（敲黑板）。

图像在平移后再特征图上的表示也是同样平移的，这就使图像拥有了一定的平移不变性。同样的，pooling（以MAX Pooling为例），对局部感受野取其极大值，如果图像在尺度上发生了变化，有一定概率在尺度变化后对应的感受野取到的极大值不变，这样就可以使特征图不变，同样也增加了一定的平移不变性。对于形状不变性，实际上，在图像识别中，重要的不是显著特征的绝对位置而是相对的位置，所以为了避免把过多的位置信息编码进去，卷积和池化的操作都可以对局部的纹理进行模糊化，这样也就使图像有了一定的形状的不变性。

• 池化层作用

1. 特征不变性（feature invariant）汇合操作使模型更关注是否存在某些特征而不是特征具体的位置可看作是一种很强的先验，使特征学习包含某种程度自由度，能容忍一些特征微小的位移
2. 特征降维由于汇合操作的降采样作用，汇合结果中的一个元素对应于原输入数据的一个子区域（sub-region），因此汇合相当于在空间范围内做了维度约减（spatially dimension reduction），从而使模型可以抽取更广范围的特征同时减小了下一层输入大小，进而减小计算量和参数个数
3. 在一定程度上能防止过拟合的发生
4. 增大感受野

• 过拟合
• vim替换(将 abc 替换为 xyz)
  :s/abc/xyz/g
• 代码题 最大正方形面积

1、挑2个项目介绍一下
2、supervisor损失函数用的什么
3、分割数据集
4、三元组采样了解吗
5、模型比SOTA差的原因是什么
6、代码题 跳格子