【心理学与AI】对物体的记忆强度受哪些因素影响

2020-05-14 本文已影响0人子夜Uni

Dubey, R., Peterson, J., Khosla, A., Yang, M. H., & Ghanem, B. (2015). What makes an object memorable?. In Proceedings of the ieee international conference on computer vision (pp. 1089-1097).

人在观看图片的时候，对图片中每个物体记忆的强度并不完全一样的，比如看下图，这两个人占画面的比例是差不多的，可是显然左边这个人你会记得更清楚一点。到底是什么在影响我们对物体记忆的强度，是显著性吗？是位置吗？是物体的类别吗？本文就对这个问题展开比较广泛的探讨。

一副数据集中的图片，图中的数字表示对应物体记忆的强度，数字越大表示强度越强

这篇文章发在ICCV上，是计算机视觉的顶级会议。我不知道为什么计算机视觉要关注一个纯心理学研究，但是从作者的描述来看（结合作者另一篇文章的导言），这篇文章为什么能发这么好的计算机会议大概有这几个原因：

为什么有的东西记得牢有的会忘掉，这个心理学问题是值得研究的。但是通过观察表面的视觉特征似乎得不到什么结论，所以可以考虑用神经网络这个工具来进行预测，也许会得到一些启发；
第一个用计算机视觉的数据集研究这个物体记忆强度（object memorability）的问题，具体量化地去探究影响物体记忆的各个可能因素；
说明了显著性只能部分预测物体的记忆强度，并说明了成功预测的条件是什么。别人是测量过人造的材料[8, 34, 26]而没有在真实的物体上测试过；
说明了图像（image）记忆强度和物体（object）记忆强度之间的关系，这个实验直接表明，好记的图片基本都包含好记的物体。

如何测量物体的记忆强度

实验流程

总的来说作者用了一个数据集里的一些图片，并得到了图片中主要物体的分割图（就是把这个物体切出来）
。开始给被试呈现一些完整的图片，然后给被试呈现分割的物体，让被试判断这个物体是否在之前出现过。最后根据所有被试对某个物体回忆的正确率来计算它的记忆强度值。

具体的流程 见上图。可以看到对于要测试的object，前面总是会出现对应的target图片。为了不让被试一直选yes，在target图片（PASCAL-S）之外还引入了另外两类图片：

familiar（DUT-OMRON dataset [39]）。它和target的区别是，target图片和物体直接的间隔会在70-79张图片，但是familiar会在1-79张。用来让被试保持engaged；
filter（MSRA dataset [32]）。用来填充间隔的。
每个block有一共35张图片，三类（target:familiar:filter）的比例是3：16：16。

在后面的object序列里面，除了以上三类，还增加了一个:

control。都是一些非常简单容易判断的图片，为了保证实验的质量，也就是说这个正确率没超过70%的数据就都被踢掉了。
这个序列总共有45张图片，
这四类(control:familiar:target:filter)的object数量比例是10:3:16:16。

总共有10个blocks，大概需要30分钟完成。有1823个被试参与，总共用到850张target图片，3412个物体分割。每张图片的浏览时间是2.2正负1.6秒。每张图片都有16个被试的评分，最后记忆强度的平均得分是0.33正负0.28。

一致性检验 所有数据随机分成两半，这两半之间做相关性分析， $\rho = 0.76$ 说明一致性高。

记忆强度的影响因素分析

物体的特征复杂度 以前有研究图片的特征复杂度对图片的记忆强度没什么预测效果[18,27]。计算了每个物体的HSV三个通道的均值和方差，然后和记忆强度的分数做相关。
结果： V通道mean ( $\rho = 0.1$ ) and variance ( $\rho = 0.25$ ) 说明相关度低。H和S通道甚至几乎没有。

显著性 直觉上我们会认为越显著的物体越吸引注意，就会记得更牢。但是有些研究结果正相反[18]。PASCAL-S正好有个眼动数据集，我们就分析眼动停留的时长和记忆强度的关系。结果 $\rho = 0.71$ ，说明相关度高。但是看结果图（左），这个左下角的密集点表示，有很多物体压根没有被看到（fixations接近0）所以记忆得很差。

显著性分析。（左）记忆强度和注视点数量高度正相关；（中）记忆强度和图片种物体的数量负相关；（右）物体数量和注视点的数量有弱负相关

因此做了两个尝试，一个是将物体数量少的图片逐渐去掉，观察剩下物体和注视点数量的相关度，发现逐渐下降。下图（左）的横轴表示的是物体数量最少的图片的物体数量。
另一个将注视点少的物体逐渐去掉，观察剩下的物体和注视点数量的相关度，发现逐渐下降。下图（右）的横轴表示的是最少注视点的物体的注视点数量。

相关度随着数量少的图片，注视点少的物体被去掉之后发生的变化

通过这个分析我们发现，在物体数量比较少的图片中，或者注视点数量比较少的物体中，显著性这个指标比较有用。而其他的则相对来说预测力比较弱。

（中心偏差center bias）因为我们的实验方法要求被试每个object都认真看，所以这个中心偏差会降低。所以用的这个眼动数据是否能描述这次实验的眼动行为，感觉也不一定。

物体类别
人工做标注，把物体分为7类：动物，建筑，设备，家具，自然，人物，车辆
结论：动物，人物和车辆记忆强度分数都大于0.5，都是记得比较好的。而其他类都低于0.25。有可能家具，自然这种物体一般都出现在背景里或者是被遮挡的状态。中高记忆强度的物体一般在前景，低强度的一般在背景。

不同类别在不同记忆强度分数上出现的频率

如果只是前景和背景的影响，那分类就没意义了。所以作者又研究了，对于同一类物体，它的记忆强度会不会受到以下两个因素的影响？

图中物体的数量
总的来说是比较差的就一直比较差，比较好的数量多了也不好，但是还是比差的好。

不同类别的物体和其图片中物体数量的关系

其他类别物体的出现
下图里每个格子的值，是每个分类和某个分类一起出现时候的分数，减去这个分类总的分数。总的来说，本来就差的分类受到的影响比较小。动物，车辆和人物同时出现的时候，两者都会受到影响，但是还是比差的好。

其他类别物体同时出现时的分数变化

图片的记忆强度和其中物体的记忆强度之间有什么联系吗
作者又在网上（Amazon Mechanical Turk）采了一批数据，测量图片的记忆强度。用的任务是序列播放图片（1秒），然后如果被试觉得这张图片之前出现过就按一个键。350个被试参与这个实验，每张图片总共被看了80次。记忆分数由击中率来计算。
用这个结果和之前物体的记忆强度分数做相关。
结果：挺高相关的( $\rho = 0.40$ )。各个类别的相关：动物 ( $\rho = 0.38$ ), 建筑( $\rho = 0.22$ ), 设备( $\rho = 0.47$ ), 家具( $\rho = 0.53$ ), 自然( $\rho = 0.64$ ), 人物 ( $\rho = 0.54$ ), 车辆 ( $\rho = 0.30$ )