webvison数据集简介

部分内容引自：https://blog.csdn.net/qq_41185868/article/details/90454474
数据集的官方地址：https://www.vision.ee.ethz.ch/webvision/workshop.html
目前数据集已经有2个版本了

WebVision数据集简介

图片.png

WebVision是根据ImageNet数据集中的1000个类别，通过关键字在Google图像和Flickr这两个网站上进行搜索爬取。主要是利用1000个类的文本信息 从网站上爬数据，所以它的数据类别与｝mageNet完全一样，为1000类别，搜索的关键字个数为1364个(有些类别由多个关键字进行搜索)，总的包含了240万幅图片，分别由5万张图片构成验证集和测试集（均带有人工标注，但测试集合的标注不公开）。

(1)、数据分布不平衡
WebVision数据集主要有两个挑战。 第一个挑战，数据分布非常不平衡。 如图横坐标代表1000个类别，纵坐标代表每个类别的图片数量。如图浅蓝色的平稳曲线是ImageNet的 数据分布，每一个类别大概有1200张图片。而深蓝色曲线为Web Vision数据分布，可以看出有的类别高达11000张，而最少的小于400张图片，这种极度不平衡的分布对训练模型影响非常大。

图片.png

(2)、数据集含有大量错误或歧义的标签

图片.png

第二个挑战，数据集含有大量错误或歧义的标签。 数据集中含有大量与类别标签不相关或歧义的图片，也就是所谓的噪声，这也是最主要的一个难点。比如Willet可以是一种鸟，但也可以是人名，也可以是建筑物的名字。

数据集内容：