视觉显著性研究综述阅读报告
视觉显著性研究概念
按照任务划分
注视点预测（Fixation Prection）
- 注视点检测任务关注场景中人第一次观看场景时注视点停留位置，也就是人第一眼看向哪里
- 注视点检测任务是一个历史悠久的研究话题，最早可以追溯到1990，它是来源于认知心理学研究
显著物体检测（Salient Object Detection）
- 显著物体检测任务是在场景中检测和分割显著性的物体，是object-level的任务
- SOD的研究历史不长，它更多的是一种视觉任务
FP与SOD的关系
- FP和SOD的saliency map完全不同
- FP和SOD有很紧密的关系，因为人在free-viewing模型下第一眼关注的对象一般是显著的物体
FP在image和video上的检测效果图------来自参考文献[1]
SOD在image和image group上的检测效果图------来自参考文献[3]
按照研究对象划分
RGB image saliency
对一张普通的RGB图像进行显著性分析
RGBD image saliency
RGBD图像相比于RGB图像，增加了一个depth通道，这个通道的每个像素值是传感器距离物体的实际距离
co-saliency
co-saliency 研究的是一组照片中共有且显著的物体，它的研究对象是图片组，它相对于单张照片的研究，增加了图片之间的一致性与相关性考量
video saliency
video saliency 是对video进行显著性分析，video可以看做所有帧图片的集合组，但是它相对于co-saliency增加了运动信息线索和时间信息。对于SOD来说，co-saliency检测的显著性物体是同一类，但video中检测的显著性物体往往是同一个物体，而且每一帧前后帧中这个物体的变化幅度较小
视觉显著性研究模型
传统的视觉显著性研究模型采用hand-craft特征来进行，但是这些模型不能获取high-level和semantic特征，所以效果并不理想，在2014/2015年以后深度学习技术的兴起，越来越多的模型采用深度学习技术提高更高层的特征信息，而且DNN中也可以更方便的融合多尺度多维度特征信息，因此显著性检测效果大大提高，因此我们现在更多的是去学习采用深度学习的模型。
从model设计的不同角度来看可划分
-
bottom-up/top-down思想角度
bottom-up的是数据驱动型，它直接提取底层线索例如颜色、纹理、形状等进行模型构建
top-down是任务驱动型，它带着特定任务的先验条件来获取线索，这会受具体任务和实验者等外部因素影响
目前主要采取的还是bottom-up的思想 -
supervised/non-supervised/weak-supervised model训练角度
FP model
FP在image方向的model
| model | year | note |
|---|---|---|
| eDN | 2014 | |
| DeepGaze I | 2014 | |
| Mr-CNN | 2015 | |
| DeepFix | 2015 | |
| ML-Net | 2016 | |
| JuntingNet and SalNet | 2016 | |
| PDP | 2016 | |
| DSCLRCN | 2016 | |
| FOCUS | 2016 | |
| SalGAN | 2017 | |
| iSEEL | 2017 | |
| DeepGaze II | 2017 | |
| EML-Net | 2018 | |
| DVA | 2018 | |
| SAM Nets | 2018 |
FP在video方向的model
| model | year | note |
|---|---|---|
| Bazzanii et.al. | 2016 | |
| OM-CNN | 2017 | |
| Leifman et.al. | 2017 | |
| Two-stream network | 2018 | |
| Gorji & Clark | 2018 | |
| ACLNet | 2018 | |
| SG-FCN | 2018 |
SOD model
SOD在image方向的model
SOD在co-saliency方向的model合集------来自参考文献[1]
SOD在co-saliency方向的model
SOD在co-saliency方向的model合集1------来自参考文献[3]
SOD在co-saliency方向的model合集2------来自参考文献[4]
SOD在video方向的model
SOD在video方向的model合集------来自参考文献[4]
视觉显著性研究数据集
FP数据集
FP在image方向数据集
image FP datasets------图片来自参考文献[1]
FP在video方向数据集
video FP datasets------图片来自参考文献[1]
SOD数据集
SOD在RGB image & RGBD image方向数据集
image SOD datasets整理1------来自参考文献[2]
image SOD datasets整理2------来自参考文献[4]
SOD在co-saliency方向数据集
co-saliency datasets整理1------来自参考文献[3]
co-saliency datasets整理2------来自参考文献[4]
SOD在video方向数据集
video SOD datasets------来自参考文献[4]
视觉显著性研究metrics
FP的检测metrics
| metrics | meaning |
|---|---|
| AUC-J | |
| SIM | |
| EMD ↓ | |
| AUC-B | |
| sAUC | |
| CC | |
| NSS | |
| KL ↓ |
SOD的检测metrics
| metrics | meaning |
|---|---|
| Presion-Recall(PR) Curve & F-measure | |
| Receive Operator Characteristic (ROC) Curve and AUC Score | |
| Mean Absolute Error (MAE) Score ↓ |
视觉显著性模型检测结果
FP model 检测结果
FP model在image上检测结果
image FP model在 MIT300上检测结果------来自参考文献[1]
FP model在video检测结果
video FP model在各数据集上检测结果------来自参考文献[1]
SOD model检测结果
SOD model在image上检测结果
image SOD model 检测结果------来自参考文献[2]
image SOD model 在NJUD和NLPR数据集上检测结果------来自参考文献[4]
SOD model在co-saliency上检测结果
co-saliency SOD model 在RGBD COSAL150和RGBD COSEG183数据集上检测结果------来自参考文献[4]
SOD model在video上检测结果
video SOD model 在UVSD和DAVIS数据集上检测结果------来自参考文献[4]
视觉显著性研究方向
FP和SOD共有
- 分析模型的失败案例，探索失败原因，探索数据集属性、特征对在模型上的影响
- 更能吸引注意力的是object区域还是low-level区域
- 图片转换如噪声旋转变形等对model的影响，关系到模型的鲁棒性
- 建立新的更大规模或者特殊场景下或者多形态多标签的数据集
- 更健全的评价标准（measure metrics）
- 与其他任务的结合和应用
- 对于co-saliency任务，图片内部的显著性差异性和图片间的一致性相似性权重选择
- 对于video saliency任务，如何更好地利用帧间信息和与运动信息，并将他们与每帧图像的特征结合分析
FP方向特有
- 收集数据的方式（用人眼移动追踪仪器还是鼠标点击收集）对模型的影响
- 分析数据集图片中目光、动作、手势等指示方向对FP的影响
- 分析数据集图片中群体和环境因素对FP的影响
SOD方向特有
- 收集更多high-level和samantic的特征
- 将high-level的特征与low-level特征相结合，让模型自行判断采取哪种特征更能检测到saliency object
参考文献
[1] 2018-TPAMI- Saliency Prediction in the Deep Learning Era:An Empirical Investigation
[2] 2019-arXiv-Salient Object Detection in the Deep Learning Era: An In-Depth Survey
[3] 2017-arXiv-A Review of Co-saliency Detection Algorithms: Fundamentals, Applications, and Challenges
[4] 2019-TCSVT-Review of Visual Saliency Detection with Comprehensive Information
[5] 2018-软件学报-视频显著性检测研究进展
[6] 2019-软件学报-视觉注意力检测综述
