Day 25 - 多模态检索

To do list

• 参数实际值 + 半功率角相关的实验
• 大规模搜索的详细报告
• 背单词
• u盘 + 书签 + 数据线 + 电子产品周边

---

eBay eProduct Visual Search Challenge - FGVC9 (CVPR2022)

任务要求:
To retrieve the “same products'' (see below) from a million-scale product database given a “query” image.

根据query集去在测试集（只有图片）中进行检索，获得你认为的匹配度高的检索rank。

数据集：
eProduct, a dataset consisting of 2.5 million product images towards accelerating development in the areas of self-supervised learning, weakly-supervised learning, and multimodal learning, for fine-grained recognition.

• training set
  1.3M+ listing images, with titles and hierarchical category labels
• evaluation set
  5K query and 1.1M+ index images

训练集，验证集，query集以及用于检索的数据库（测试集）

数据集样例 训练数据格式

提交要求：

• 训练阶段（3.1-5.16）10/day、200/month
• 测试阶段（5.16-5.30）5/day、50/month

1. csv格式提交最终结果
2. 无表头两列表格，第二列空格隔开产品序列号

提交样式

评价标准：
macro-average recall@k (MAR@k) is simply the average of recall@k over all queries, where k=10. And recall@k is the proportion of true match items found in the top-k recommendations.

Tips:

• 计算只需要Top10的准确率，后面的序列不计入结果
• 提取物体特征时，为了找到匹配度高的产品图，需要考虑同一产品在不同角度和不同背景下的图片，以及需要具有相同的颜色、样式和形状。产品的品质则不在区分条件中，例如新旧。

2021方法论

• pseudo label + non-ensemble 文本特征提取
• ensemble
• larger image size

图像检索技术：

1. 利用机器学习算法来提取特征，然后通过K近邻来寻找高匹配度产品。

文本与图像多模态的检索

• 提取图像特征
• 提取文本特征
• 特征融合
• KNN找出匹配度高的商品图

图像文本融合模型

• TF-IDF 与 ResNet 取并集
• SBERT 与 NFNet 取并集
• TF-IDF 与 ResNet 度量层输出融合
• SBERT 与 NFNet 度量层输出融合
• 图像 Ensemble 与 文本 Ensemble 取并集

---

书签x3 + 冰墩墩x3 + 雪融融x1
预售抢不到，放弃了。