KerasNLP
2023-11-28 本文已影响0人
unilearning
KerasNLP是构建在Keras3.0之上的NLP工具,该软件包支持用户构建整个NLP流程,借助于Keras3.0,使得一套代码同时运行在TF、Pytorch、Jax多个后端成为可能。
安装方式直接通过pip的方式安装,但是因为Keras3.0刚发布,安装需要一些小技巧
pip install —upgrade keras-nlp
pip install —upgrade keras>=3
Keras3.0需要后安装,不然会导致基于TF的后端覆盖掉最新版本的Keras。
下面是使用KerasNLP基于Bert进行分类的例子:
import os
os.environ["KERAS_BACKEND"] = "tensorflow" # Or "jax" or "torch"!
import keras_nlp
import tensorflow_datasets as tfds
imdb_train, imdb_test = tfds.load(
"imdb_reviews",
split=["train", "test"],
as_supervised=True,
batch_size=16,
)
# Load a BERT model.
classifier = keras_nlp.models.BertClassifier.from_preset(
"bert_base_en_uncased",
num_classes=2,
)
# Fine-tune on IMDb movie reviews.
classifier.fit(imdb_train, validation_data=imdb_test)
# Predict two new examples.
classifier.predict(["What an amazing movie!", "A total waste of my time."])