自然语言处理(NLP)自然语言处理 (让机器更懂你)Machine Learning & Recommendation & NLP & DL

基于keras的文本分类

2018-12-07  本文已影响5人  leotmc

1. 文本预处理

Step1 Tokenizer

keras.preprocessing.text.Tokenizer(num_words=None, 
                                   filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~', 
                                   lower=True, split=' ', 
                                   char_level=False, 
                                   oov_token=None)

文本标记实用类
该类允许使用两种方法向量化一个文本语料库: 将每个文本转化为一个整数序列(每个整数都是词典中标记的索引); 或者将其转化为一个向量,其中每个标记的系数可以是二进制值、词频、TF-IDF权重等。
参数

Tokenizer类的属性

默认情况下,删除所有标点符号,将文本转换为空格分隔的单词序列(单词可能包含 ' 字符)。 这些序列然后被分割成标记列表。然后它们将被索引或向量化。0 是不会被分配给任何单词的索引。


Step2 fit_on_text

keras.preprocessing.text.Tokenizer(num_words=None, 
                                   filters='!"#$%&()*+,-./:;<=>?@[\]^_`{|}~', 
                                   lower=True, split=' ', 
                                   char_level=False, 
                                   oov_token=None).fit_on_texts(texts)

在实例化Tokenizer类后,使用fit_on_texts(texts),来更新Tokenizer对象的词典和词频信息。


Step3 texts_to_sequences

keras.preprocessing.text.Tokenizer().texts_to_sequences(texts)

将文本序列转换成整数的索引序列。


Step4 pad_sequences

pad_sequences(sequences, maxlen=None, dtype='int32',
                  padding='pre', truncating='pre', value=0.):

对序列做填充(padding)或修剪(truncating)
因为每个sentence的长度都不一样,在将其转换为integer后,为了后续的批次训练,需要对变长的sentence做填充或修剪。

返回值: 一个shape=(len(sequences), maxlen)的numpy数组


Step5 训练

model.fit(self,
            x=None,
            y=None,
            batch_size=None,
            epochs=1,
            verbose=1,
            callbacks=None,
            validation_split=0.,
            validation_data=None,
            shuffle=True,
            class_weight=None,
            sample_weight=None,
            initial_epoch=0,
            steps_per_epoch=None,
            validation_steps=None,
            **kwargs):

Step6 保存和加载模型

  1. 保存模型和tokenizer
    注意:保存模型的时候,应该同时保存tokenizer已备后续使用。在保存模型的时候,需要将其保存为hdf5的文件格式。
with open('model/tokenizer.pickle', 'wb') as f:
      pickle.dump(tokenizer, f)
model.save('model/model.h5')
  1. 加载模型和tokenizer
from keras.models import load_model
with open('model/tokenizer.pickle', 'rb') as f:
      tokenizer = pickle.load(f)
model = load_model('model/model.h5')
上一篇 下一篇

猜你喜欢

热点阅读