原文链接：PU-learing:解决正负样本不足利器(R语言)

微信公众号：机器学习养成记    搜索添加微信公众号：chenchenwings

---

在实际分类场景中，经常会遇到类似这样的问题：只有标记了的正样本，和未标记的样本。比如金融风控场景，有一部分用户被标记为欺诈用户，剩下的用户未被标记，虽然这其中大多数信用良好，但仍有少量可能为欺诈用户。虽然为了方便操作，可以将未标记的样本都作为负样本进行训练，但会降低准确度，如何辨别未标记样本中的正负样本，提升模型准确度，就成为一个值得思考的问题。PU-learning算法于2002年提出，最早用来解决文本分类问题，并延伸到基因识别、反欺诈等诸多领域，是解决样本未标记问题的利器，本文将对此算法进行介绍，并通过R语言进行实例演示。

PU-learning算法

我们通常进行的分类学习，一般是有监督学习，即从确定的正负样本中学习规律，对新数据进行预测。在实际业务场景中，可能会因为数据积累不够、标注数据成本高等问题，使得数据样本不丰富。PU-learning是一种半监督学习算法，主要用来解决可以清晰确定正样本但不能确定负样本的问题。

建立PU分类器的基本思想是两步法：1、从未标注样本中找到可靠负例（RN）。2、用确定的正例和可靠负例训练分类器。

确定可靠负例（RN）

寻找可靠负例的方法有朴素贝叶斯、Spy、1-DNF等，下面选取Spy方法进行介绍并演示。

其中，一般从P中选择15%样本作为S，tr指判断为正例的概率。阈值tr的选择上，应满足S中正例错误率低于1-r的条件下，最小化U中正例数目。

训练分类器

在得到RN后，用P和RN通过传统机器学习分类算法，训练分类器，预测新样本。

R语言实现

step1:导入数据，并划分P和U集合。

step2:随机抽取p中15%样本作为集合s，并建立ps和us集合。

step3：使用朴素贝叶斯分类，对ps和us训练分类器，并作用到u集合上，计算每个样本的分类概率。朴素贝叶斯分类可用e1071包中的naiveBays函数。

step4：使用s确定阈值tr，并将分类概率小于tr的u中样本加入rn。这里为了简化操作，选择s中所有样本分类概率的10%分位点作为tr。

step5：使用p和rn训练svm分类器，并对测试集test进行预测，通过混淆矩阵观察分类效果。svm分类器可用e1071包中对svm函数实现。

最终混淆矩阵效果为：

---

推荐文章

· Bagging算法(R语言)

·静态爬虫与地址经纬度转换(python)

·特征工程(一):前向逐步回归(R语言)

·聚类(三):KNN算法(R语言)

·小案例(六)：预测小偷行为（python）

·ggplot2:正负区分条形图及美化

扫描二维码，关注我们。

如需转载，请在开篇显著位置注明作者和出处，并在文末放置机器学习养成记二维码和添加原文链接。

快来关注我们吧！