论文阅读_ICD编码_BERT
英文题目：BERT-based Ranking for Biomedical Entity Normalization
中文题目：基于bert的生物医学实体标准化排序
论文地址：https://arxiv.org/pdf/1908.03548
领域：自然语言处理，生物医学，实体标准化
发表时间：2019
作者：Zongcheng Ji, 德克萨斯大学
被引量：6
阅读时间：22.06.20
读后感
中规中矩的方法，评测了各个预训练模型的差异。
介绍
BERT是常用的自然语言处理深度学习模型, BoiBERT和ClinicalBERT是针对医疗领域预训练的模型，文中提出的架构用于将上述模型通过微调解决医疗实体规范化问题．
实体规范化Entity linking，主要面临以下挑战：
- 歧义问题：同一实体可能与多个概念相连
- 变体问题：同一概念可能与不同的实体相连
- 缺失问题：实体不与知识库中的任务概念相连
（这里指的概念是规范化后的文本）
在医疗领域主要任务是对实体的规范化和编码，变体问题是医疗领域的主要问题。
方法
已知文档的句子中的有实体m，以及包含很多概念的知识知识库KB，任务是将实体m连接到KB中的概念c，如果找不到，则认为不可达 unlinkable。
图-1展示了文中方法的结构，包含四个模块：预处理、创建候选项、候选项排序、预测不可达。
预处理
对于m和c都进行如下操作：
- 拼写纠错
- 缩写转换
- 处理数字符号
- 其它预处理：使用CLAMP28工具包，处理标点，大小写等。
生成候选概念
利用传统的 BM25 模型。首先，提取所有概念c和训练集中的m用于训练模型，对于m，选择模型推荐的前10个近似项c作为候选概念。
候选概念排序
使用预训练的 BERT/BioBERT/ClinicalBERT 模型，将排序任务转换成句子对的分类任务。对于每个m与对应的c，构建 [CLS] m [SEP] c 输入模型，精调模型参数。当m中包含概念c时，其类别为1，否则为0。
预测不可达
m中的实体可能找不到对应概念c，因此，需要预测不可达的情况。如果 BM25 不能返回候选项，则认为不可达。另外，设定一个阈值，如果相似度得分小于阈值，则认为不可达。
实验结果
