【Google-XTREME】笔记

摘要

1. 提出 多语言编码器 XTREME
2. 用于评估40种语言和9个任务

介绍

1. 提出问题

• 语言种类繁多
• 数据严重缺乏

2. 易点

• 许多语言在语法或词汇表方面有相似之处
• 利用输入空间的共享结构进行多语言训练（缓解数据稀疏性）

3. 从前人研究中提出问题

• 趋势是通用的多语言表示（单词级，句子级）
• 尽管事实上这些表示是通用的，但对它们的评估通常是在非常有限且通常是完全不同的一组任务（通常集中在翻译和分类）以及类型上相似的语言上进行的。

4. 提出论点

• 针对前人问题，提出XTREME
• XTREME专注于zero-shot跨语言传输场景
• 评估一系列，发现英语表现最好，其他一般
• 句法和句子检索任务的性能差异最高
• 印欧语系好，汉语、藏语、日语、韩语和尼日利亚-刚果语的表现更差

5. 总结

• 发布了包含40种不同类型语言的9个跨语言基准测试任务套件
• 为多语言模型的评估提供了一个在线平台和排行榜
• 提供了一组强大的基线，我们对所有任务进行评估，并发布代码以促进采用。
• 我们提供了最先进的跨语言模型的局限性的广泛分析。

相关工作

1. 跨语言表示
2. 跨语言评价

XTREME

1. 设计原则

• 任务要有一定难度
• 任务多样性
• 训练效率
• 多语言
• 足够的单语数据
• 可访问性
  再往下，我觉得没有记录的必要了，文章很清晰。