Where, What, Whether: Multi-moda

捕获CDC v发.PNG
paper:extension://bfdogplmndidlpjfhoijckpakkdjkkil/pdf/viewer.html?file=https://openaccess.thecvf.com/content_CVPR_2020/papers/Luo_Where_What_Whether_Multi-Modal_Learning_Meets_Pedestrian_Detection_CVPR_2020_paper.pdf

上图是论文的框架图
从论文中可以看到右边分成三列，where，what，whether
where：
论文是基于anchor-free，和CSP类似，提出鸟览图，鸟览图里边不会有遮挡问题这就是where
what：
这对CSP论文里边提出设置纵横比0.41，该论文认为这个比例不灵活，因为纵横比还受深度影响，所以根据深度和比例之间的关系建模
whether：
针对part-based方法建模的缺点，分割方式对待遮挡和非遮挡会造成遮挡样本和非遮挡样本的不平衡性，还会造成弱监督part label 的不确定性
针对这个缺点，提出新的建模方式，建立语料库，这个语料库是包含头部，手臂，身体，腿部。
从Where,What,Whether,三个角度建模，怎么融合三种方式的学习信息，这就多模式学习，正如论文标题说的那样Multi-modal Learning Meets Pedestrian Detection