mvso数据集
2018-11-03 本文已影响0人
约翰纳斯
共有包含12种语言在内的730万张图片与相应的元数据
其中人工标注数量:11734
其大小分布为
Screenshot from 2018-11-09 22-33-01.png数据标注方法:
三个人分别根据给出图片与对应描述打分,分数有六种,-2,-1,代表消极情感倾向,0代表不包含情感倾向,1,2代表积极情感倾向,没有打分代表图文传达出相矛盾的情感
三人打分一致的数据共有2329个图文对
其中
标签 对应数目
0:1225
1:1005
-1:62
2:30
-2:7
null :0
至少两人达成一致的共有9793个图文对
其中
标签 对应数目
0:4524
1:4475
-1:403
2:360
-2:30
null:1
网络结构renet34
混淆矩阵.png
初步使用数据
我们将数据集进行处理,将标签从6个减少为3个,即将-2,-1看为-1,将1,2看为1,并去掉图文表达冲突的数据,然后将最少两人达成一致的数据提取出来作为初步数据集,其分布如下
数据分布
其中消极数据502个,中立数据4423,积极数据5744,数据量由11734减少为10669。
我们可以发现人们更倾向在社交网络上表达积极的情感。
文本数据
每个文本平均包含41.97个单词。
长度超过100的有1034个,没有描述的有169个,为了降低学习的难度我们将其从训练集中去掉,其余的长度分布如下
认为不准确的图文对:
捕获1.PNG 屏幕截图(10).png 屏幕截图(18).png 屏幕截图(19).png 屏幕截图(20).png 屏幕截图(21).png 屏幕截图(22).png 屏幕截图(24).png 屏幕截图(25).png