手把手教你比较两个模型的预测能力
本文首发于 ”百味科研芝士“ 微信公众号，转载请注明：百味科研芝士，Focus科研人的百味需求
点击蓝字关注我们
各位科研芝士的朋友，大家好。最近学习到用NRI进行模型比较，起初当听到NRI这个词的时候，我的表情可能是这样的。
其实当时我还真不知道这个概念，不过奈何我们大家都爱学习，接着一顿操作猛如虎，来学习一个这个知识点，今天就把自己学习的一点，分享给大家，希望对大家能有帮助。
概念扫盲NRI
全称为Net Reclassification Index，是这三个单词的英文首字母缩写，代表净重新分类指数。
作用
一般情况，在预测结局事件的时候，不同的人可能会建立不同的预测模型，当我们去评价两个模型的好坏或者预测能力的强弱的时候，你可能会说AUC呀，其实除了AUC，还有NRI也是用来比较两个模型预测能力的。
区分度、灵敏度和特异度
一个好的预测模型应该能针对某个结局，把风险高低区分开来，这是区分度（discrimination）。
区分度一般以我们熟悉的ROC曲线下面积（AUC）来评价，或称C统计量（C-statistics）。AUC越高，模型对高低风险人群的区分度越好。一个广泛接受的评判标准是，AUC在0.6以下为低区分度，0.6 – 0.75 是中区分度，0.75以上为高区分度。而在诊断试验中，通常根据检验指标的判断结果和金标准诊断结果，整理成一个2×2的表格，如下表所示，并以此来计算诊断试验中两个比较重要的指标，即灵敏度和特异度。
灵敏度=A/(A+C)，即真阳性率，反映了将实际有病的人正确地判定为阳性的比例。
特异度=D/(B+D)，即真阴性率，反映了将实际无病的人正确地判定为阴性的比例。
以灵敏度为纵坐标，1-特异度为横坐标绘制图形，即可得到我们熟悉的受试者工作特征曲线（Receiver Operating Characteristic curve，ROC曲线）。
净重新分类指数NRI
相对于ROC曲线及其AUC，NRI更关注在某个设定的切点处，两个模型把研究对象进行正确分类的数量上的变化，常用来比较两个模型预测能力的准确性。首先根据结局事件，比如是否患病，将病人按照真实的患病情况分为两组，即患者组和非患者组，旧模型会把研究对象分类为患者和非患者，然后在旧模型的基础上引入新的指标构成新模型，新模型会把研究对象再重新分类成患者和非患者。
那么，便会出现原本在旧模型中被错分，但在新模型中得到了纠正，分入了正确的分组，同样也有一部分研究对象，原本在旧模型中分类正确，但在新模型中却被错分的情况，这个时候，我们利用这种重新分类的现象，来计算净重新分类指数NRI。
NRI计算
如下两个表所示，表一为一般情况，表二为特定情况，（一共595个样本，其中180个位患者组，415个位非患者组），我们将研究对象按照真实的患病情况分为两组，即患者组和非患者组，然后分别在这两个分组下，根据新、旧模型的预测分类结果，整理成两个2×2的表格。
表一
NRI= (B1-C1) / N1+(C2-B2) / N2
表二
根据上述NRI公式计算如下：
NRI= (B1-C1) / N1+(C2-B2) / N2=(30-8)/180+(32-15)/415=16.3%
NRI>0，提示在加入了新的生物标志物后，新模型的预测能力有所改善，正确分类的比例提高了16.3%。
NRI解释
若NRI>0，则为正改善，说明新模型比旧模型的预测能力有所改善；若NRI<0，则为负改善，新模型预测能力下降；若NRI=0，则认为新模型没有改善。
接着我们看看在R里面如何实现呢？
1.安装并加载包
2.借助survival包中的数据集，进行数据选取
最后生成的egData如下：
最后一列event数据集表示的是病人的生存状态，1代表存活，0代表死亡。
3.根据event列构建logistic回归模型
可以看到构建的两个模型，第二个模型比第一个模型多了一个protime指标。
4. 采用PredictABEL包，一行代码计算NRI值
主要的函数为reclassification，第一个参数为我们的数据集，第二个参数为二分类的列，此处21代表的event列，predrisk1和predrisk2分别代表的为拟合的两个模型，这里分别填的为pstd和pnew，即通过glm函数拟合的logistic模型，最后一个cutoff必须要输入（0,X1,X2,1）,其中0,1不可缺少，然后选择合适的cutoff值，此处我输入的为0.6.
5.结果展示：
对于这个结果，我们主要看IDI值，主要指的是发生和未发生结局事件样本的平均预测风险差异，新模型较旧模型中提高了0.44%，并且给出了p值，表示二者模型几乎没差异。
Ok，今天的推文就到这，我们主要分享了NRI的基本概念和基于R语言计算NRI，希望能对大家有所帮助，最后，欢迎大家留言，有不正确的地方，也请大家留言指正。
后台回复：“NRI”，获取代码，，
—END—
