深度学习模型处理多标签（multi_label）分类任务——ke

2019-04-07 本文已影响26人王同学死磕技术

最近在读论文的的过程中接触到多标签分类(multi-label classification)的任务，必须要强调的是多标签（multi-label）分类任务和多分类(multi-class)任务的区别：

多标签分类任务指的是一条数据可能有一个或者多个标签，举个例子：比如一个病人的体检报告，它可能被标记上，高血压，高血糖等多个标签。
多分类任务指的是一条数据只有一个标签，但是标签有多种类别。机器学习中比较经典的iris鸢尾花数据集就是标准的多分类任务，一条数据喂给模型，模型需判断它是3个类别中的哪一个。

这里笔者强调一下多标签分类任务的两个特点：

类别标的数量是不确定的，有些样本可能只有一个类标，有些样本可能存在多个类别标签。
类别标签之间可能存在相互依赖关系，还是拿我上述的例子来说：如果一个人患有高血压，他有心血管疾病的概率也会变大，所以高血压这个label和心血管疾病的那些labels是存在一些依赖关系的。

多标签分类算法简介

多标签分类算法比较常用的有ML-KNN、ML-DT、Rank-SVM、CML等。我就不多介绍这些基于传统机器学习的方法，感兴趣的同学可以自己去研究。这里主要介绍如何采用深度学习模型做多标签分类任务，首先我们必须明确一下多标签分类模型的输入和输出。

模型输入输出

假设我们有一个体检疾病判断任务：通过一份体检报告判断一个人是否患有以下五种病：有序排列——[高血压，高血糖，肥胖，肺结核，冠心病]
输入：一份体检报告
输出：[1,0,1,0,0 ] ，其中1代表该位置的患病，0代表没患病。所以这个label的含义：患者有高血压和肥胖。

模型架构

接下来如何建立模型呢:
当然你可以对label的每一个维度分别进行建模，训练5个二分类器。
但是这样不仅是的label之间的依赖关系被破坏，而且还耗时耗力。接下来我们还是来看看深度神经网络是如何应用于此问题的。其架构如下：

采用神经网络做特征提取器，这部分不需要多解释，就是一个深度学习网络；
采用sigmoid做输出层的激活函数，若做体检疾病判断任务的话输出层是5个节点对应一个5维向量，这里没有采用softmax，就是希望sigmoid 对每一个节点的值做一次激活，从而输出每个节点分别是 1 概率；
采用binary_crossentropy损失函数函数，这样使得模型在训练过程中不断降低output和label之间的交叉熵。其实就相当于模型使label为1的节点的输出值更靠近1，label为0的节点的输出值更靠近0。

有点类似 Structure Learing ，最终模型的输出就是一个结构序列。

实战部分

导入必要的python包。

import scipy
import pandas as pd
from scipy.io import arff
from sklearn.model_selection import train_test_split
from keras.layers import Dense
import numpy as np

载入数据

数据是一份益生菌的数据集，数据集可以从这里下载。数据样式如下图所示：共有117列，其中前103列是数据的feature，后14列示数据的label（都是0或者1）。

data, meta = scipy.io.arff.loadarff('yeast-train.arff')
df = pd.DataFrame(data)

data

数据预处理

这里没有做太多的EDA，数据清洗等工作，只是将将数据的feature和label分开，同时将数据分成训练集合测试集。

X = df.iloc[:,0:103].values
y = df.iloc[:,103:117].values
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
y_train = y_train.astype(np.float64)
y_test = y_test.astype(np.float64)

模型定义

按照上文所描述的模型架构，搭建了一个2层的神经网络，每层神经元个数分别是500和100。

def deep_model(feature_dim,label_dim):
    from keras.models import Sequential
    from keras.layers import Dense
    model = Sequential()
    print("create model. feature_dim ={}, label_dim ={}".format(feature_dim, label_dim))
    model.add(Dense(500, activation='relu', input_dim=feature_dim))
    model.add(Dense(100, activation='relu'))
    model.add(Dense(label_dim, activation='sigmoid'))
    model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
    return model

模型训练

定义好batch_size,训练轮数epoch，将处理好的数据喂给模型，就可以跑起来了。

def train_deep(X_train,y_train,X_test,y_test):
    feature_dim = X_train.shape[1]
    label_dim = y_train.shape[1]
    model = deep_model(feature_dim,label_dim)
    model.summary()
    model.fit(X_train,y_train,batch_size=16, epochs=5,validation_data=(X_test,y_test))
train_deep(X_train,y_train,X_test,y_test)

模型架构和训练过程如下图所示：模型训练5轮，验证集准确率就达到0.8

train

结语

在现实生活中很多地方都会用到多标签分类，因为就拿用户画像来说，一个人身上很少只被贴上一个标签，人是复杂的，通常是各种标签，各种人设的集合。所以模型必须学会如何分辨和识别一个带有多个标签的复杂的事物，这样的模型才会是更聪明的模型。