CAIL 2020-司法人工智能挑战赛(阅读理解)
任务一：阅读理解
1. 任务介绍
CAIL2019上我们提出了中文司法阅读理解任务，今年我们将提出升级版，不仅文书种类由民事、刑事扩展为民事、刑事、行政，问题类型也由单步预测扩展为多步推理，难度有所升级。
具体而言，对于给定问题，只通过单句文本很难得出正确回答，选手需要结合多句话通过推理得出答案。
我们允许选手使用去年的阅读理解数据集（CJRC）作为辅助数据集，同时允许选手使用任何外部资料作为知识来帮助模型，但是我们要求选手在预测过程中不能够进行联网的操作。
更多的详细信息以及下文提到的资源都可以参考https://github.com/china-ai-law-challenge/CAIL2020/tree/master/ydlj。
2. 数据介绍
本任务技术评测训练集包括两部分，一部分为去年的CJRC训练集，一部分为重新标注的约3000个问答对，其中民事、刑事、行政各1000个问答对，均为需要多步推理的问题类型。验证集和测试集各约3000个问答对，同样均为需要多步推理的问题类型。
3. 评价方式
本任务采用F1进行评估。
对于每个问题，需要结合案情描述内容，给出回答，回答为Span（内容的一个片段）、YES/NO、Unknown中的一种，并且给出答案依据，即所有参与推理的句子编号。评价包括两部分：1）Answer-F1，即预测答案会与标准答案作比较，计算F1；2）SupFact-F1，即预测句子编号序列会与标准句子编号序列作比较，计算F1。最终为这两部分F1的联合F1宏平均。
4. 基线系统
我们将提供一组基线模型，即BERT的阅读理解模型。
5. 参赛方式
-
参赛对象 : 本次技术竞赛面向全社会开放，相关领域的个人、科研机构、高等院校、企业单位等人员均可报名参加。
-
报名方式 : 竞赛网站将于2020年05月15日开放注册报名，登录网站主页即可报名，完善相关信息，即可报名参赛。
-
报名时间 : 2020年05月15日至2020年07月30日。（可能根据参赛队伍情况调整，具体时间请关注官方网站公告栏）
6. 赛程安排
-
第一阶段
（2020.05.15-2020.07.30）:
开启本任务比赛报名，发放CAIL2020-CJRC2.0训练集，用于编写模型进行训练和测试。每周限提交3次，开放排行榜； -
第二阶段
（2020.07.15-2020.08.18）：
开放第二阶段测试。对于高于任务预设基准算法成绩的队伍，我们将开放第二阶段的测试提交，第二阶段的最终成绩以各参赛队伍在第二阶段结束之前选择的三个模型中的在第二阶段测试集上的最高分数作为最终成绩。 -
第三阶段
（2020.08.19-2020.09.07）:
封闭评测，第二阶段结束时，所有参赛者需要选择三个在第二阶段提交成功的模型作为最终模型，三个模型取最高值。
挑战赛的最终成绩计算方式：最终成绩 = 第二阶段的成绩 * 0.3 + 第三阶段的成绩 * 0.7。 -
第四阶段
（2020.09.07之后）:
公布最终成绩，并开展技术交流和颁奖活动。
7. 奖项设置
挑战赛将对阅读理解任务评出一等奖1名，二等奖2名，三等奖4名。由主办方中国中文信息学会（CIPS）为获奖者提供荣誉证书认证；由科大讯飞股份有限公司和中国司法大数据研究院为获奖者提供奖励和参会交流赞助。
-
一等奖 15000
-
二等奖 7500
-
三等奖 5000
-
说明：
-
以上所有提及金额均为税前金额。
-
获奖算法与系统的知识产权归参赛队伍所有，仅要求获奖团队提供算法与系统报告（包括方法说明、数据处理、参考文献和使用开源工具等信息）及团队成员名单，供颁奖会技术交流。
-
