Rasa Core源码之Policy训练
context.png
上下文的联系与理解是对话系统中重要的一块，直接影响与机器人对话的体验。最近接触了RASA系列，包括自然语言理解的rasa nlu和对话管理的rasa core。简单方便的实现一个任务对话系统的同时，也好奇其内部实现使用的技术。花时间读了Rasa Core关于上下文理解部分的源码，后面有机会再把rasa对话系统的其他模块的实现也做一个源码的分析。
文章分为以下几部分：
- Rasa Core的主要模块概念
- 训练数据准备
- 对话Policy模型训练和实现方法
主要概念
arch.png
与对话系统的主要模块对应，如图 Rasa Core的实现也有相应的几个模块。从接受用户消息到机器人做出决策的流程大致如下：
- 接受用户消息，送入Interpreter模块，识别并生成包含消息文本（text）、用户意图（intent）、和实体（entities）的字典。这里Interpreter对意图和实体的识别由上面提到的Rasa NLU实现，不是文章的主题，只要知道其功能即可。
- Tracker 是对对话状态进行追踪（state tracker）的对象，它接受并记录Interpreter识别的新消息。
- Policy接受当前的对话状态，选择响应哪一个Action。
- 被选择的Action别记录在Tracker中，并返回响应给用户。
上述流程是在Interpreter和Policy模型训练好的基础上对话系统的运行流程，下面主要针对Policy选择Action的模型训练部分的源码进行分析。该部分模型需要考虑历史对话对下一步响应进行决策，是整个对话系统的核心。
训练数据
训练Policy之前需要准备两个数据文件：
- domain.yml : 包括对话系统所适用的领域，其中包括intents（意图集合）、slots（实体槽集合）、actions (机器人相应方式的集合)。
- story.md：训练数据集合，这里的训练数据比不是原始的对话数据，而是原始的对话在domain中的映射。
以官方的订餐馆的数据集为例：
restaurant_domain.yml:
slots:
cuisine:
type: text
people:
type: text
location:
type: text
price:
type: text
info:
type: text
matches:
type: list
intents:
- greet
- affirm
- deny
- inform
- thankyou
- request_info
entities:
- location
- info
- people
- price
- cuisine
templates:
utter_greet:
- "hey there!"
utter_goodbye:
- "goodbye :("
- "Bye-bye"
utter_default:
- "default message"
utter_ack_dosearch:
- "ok let me see what I can find"
...
...
actions:
- utter_greet
- utter_goodbye
- utter_default
- utter_ack_dosearch
- utter_ack_findalternatives
...
...
babi_stories.md：
## story_03812903
* greet # 用户打招呼
- utter_ask_howcanhelp # 机器人响应需要什么帮助
* inform{"location": "paris", "people": "six", "price": "cheap"} # 用户回复想订一下Paris便宜的六人桌
- utter_on_it # 机器人回复好的
- utter_ask_cuisine # 机器人继续询问要什么菜系
* inform{"cuisine": "indian"} # 用户说印度菜
- utter_ack_dosearch # 机器人回复稍等帮您查找
- action_search_restaurants # 机器人查库返回结果
...
... # 省略
* affirm # 用户确认
- utter_ack_makereservation # 机器人回复完成订单，询问手机号
* request_info{"info": "phone"} # 用户告知手机号
- action_suggest # 机器人其他推荐
* thankyou # 用户感谢
- utter_ask_helpmore # 机器人询问其他帮助
story中对样例对话进行了简单的注释。
模型训练
准备好训练数据，下面是模型训练。拿官方的一个经典的KerasPolicy模型为例，该模型用Keras实现了一个简单的LSTM作为Policy模型：
def model_architecture(self, num_features, num_actions, max_history_len):
"""Build a keras model and return a compiled model.
:param max_history_len: The maximum number of historical
turns used to decide on next action
"""
from keras.layers import LSTM, Activation, Masking, Dense
from keras.models import Sequential
n_hidden = 32 # Neural Net and training params
batch_shape = (None, max_history_len, num_features)
# Build Model
model = Sequential()
model.add(Masking(-1, batch_input_shape=batch_shape))
model.add(LSTM(n_hidden, batch_input_shape=batch_shape, dropout=0.2))
model.add(Dense(input_dim=n_hidden, units=num_actions))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy',
optimizer='rmsprop',
metrics=['accuracy'])
logger.debug(model.summary())
return model
模型通过历史对话记录作为输入训练数据，下一个决策Action作为label，进行模型训练。三个参数：
- max_history_len： 记录的最大历史长度。
- num_features： 每个记录的特征维度（intent、slot、action等的数目），包括了该记录的状态。
- num_actions：候选响应数。
模型本质上是num_actions个类别的多分类。下面详细分析对story.md的编码，生成可以直接输入到模型的训练数据（X，y）。
状态追踪（state track）
在搞清楚模型输入的训练数据是什么之前需要了解Rasa Core是如何实现状态追踪。训练阶段，rasa core读入Story，用track记录：在设置最大长度上下文为2时，一条训练数据的会有如下字典的表示：
[
{'entity_location': 1.0, 'entity_people': 1.0, 'entity_price': 1.0, 'slot_cuisine_0': 0.0, 'slot_info_0': 0.0, 'slot_location_0': 1.0, 'slot_matches_0': 0.0, 'slot_people_0': 1.0, 'slot_price_0': 1.0, 'intent_inform': 1.0, 'prev_utter_on_it': 1},
{'entity_location': 1.0, 'entity_people': 1.0, 'entity_price': 1.0, 'slot_cuisine_0': 0.0, 'slot_info_0': 0.0, 'slot_location_0': 1.0, 'slot_matches_0': 0.0, 'slot_people_0': 1.0, 'slot_price_0': 1.0, 'intent_inform': 1.0, 'prev_utter_ask_cuisine': 1},
{'entity_cuisine': 1.0, 'slot_cuisine_0': 1.0, 'slot_info_0': 0.0, 'slot_location_0': 1.0, 'slot_matches_0': 0.0, 'slot_people_0': 1.0, 'slot_price_0': 1.0, 'intent_inform': 1.0, 'prev_action_listen': 1}
]
该部分状态对应上面训练数据的
- utter_on_it # 机器人回复好的
- utter_ask_cuisine # 机器人继续询问要什么菜系
* inform{"cuisine": "indian"} # 用户说印度菜
状态编码
track列表中第一个字典表示utter_on_it后的状态，此时slot_location、slot_people、slot_price等的均已收集到在之前的对话中，对应value为1。第二个字典表示在utter_ask_cuisine后的状态，此时并没有获取到新的信息，而只是记录上一个机器响应prev_utter_ask_cuisine的value为1，表示该阶段状态；第三个字典表示当前状态，在获取新的cuisine信息后对应key的value置为1，同时上一个action为prev_action_listen表示监听。
相应的，根据训练数据下一个机器应该采取的action为：
- utter_ack_dosearch # 机器人回复稍等帮您查找
如此得到一条训练数据（x,y）, x经过编码，单条记录为一个二值向量，如果特征出现为1，否则为0，对应上面的第三个字典：
{'entity_cuisine': 1.0, 'slot_cuisine_0': 1.0, 'slot_info_0': 0.0, 'slot_location_0': 1.0, 'slot_matches_0': 0.0, 'slot_people_0': 1.0, 'slot_price_0': 1.0, 'intent_inform': 1.0, 'prev_action_listen': 1}
[0, 0, 0, 1, 0, 0, 1, 0, 1, 1, 0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0,0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0],
而对于最大历史信息记录为2的对应单条训练数据：
[array([[0, 0, 0, 1, 0, 0, 1, 0, 1, 1, 0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0,0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 1, 0, 1, 0, 1, 1, 1, 0, 0, 0, 0,0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]], dtype=int32)]
对应的y为5（utter_ack_dosearch的编号）。相同方法从Story中读取所有可能的数据对，去重和数据增强（打乱拼接），最终生成训练数据X，y。
- X的维度为：(num_states, max_history, num_features)
- y的维度为：num_states
模型训练
在准备好训练数据之后就可以对LSTM进行训练：
def train(self, X, y, domain, **kwargs):
self.model = self.model_architecture(domain.num_features,
domain.num_actions,
X.shape[1])
y_one_hot = np.zeros((len(y), domain.num_actions))
y_one_hot[np.arange(len(y)), y] = 1
number_of_samples = X.shape[0]
idx = np.arange(number_of_samples)
np.random.shuffle(idx)
shuffled_X = X[idx, :, :]
shuffled_y = y_one_hot[idx, :]
validation_split = kwargs.get("validation_split", 0.0)
logger.info("Fitting model with {} total samples and a validation "
"split of {}".format(number_of_samples, validation_split))
self.model.fit(shuffled_X, shuffled_y, **kwargs)
self.current_epoch = kwargs.get("epochs", 10)
logger.info("Done fitting keras policy model")
和一般LSTM网络的训练方法一样，这里先对y进行one hot编码，shuffle训练集，之后进行训练。对于单个训练数据，对比文本的训练，一个状态相当于一个词，而最大上下文长度为2的单条训练数据可类比为2个词的句子。
而在模型实用的预测阶段，一开始流程也有涉及，显然只要Tracker记录之前的聊天记录，每次拿当前决策的前两个消息作为模型输入，输出即为每个action的概率值，选择最大的响应即可。
小结
到此分析了Rasa Core的Policy训练方式，虽然Rasa Core的代码量并不算大，但这里并没有根据源码细节来看，而只是理清其训练方法。通过一个不错的对话系统的源码阅读，可以对对话管理的几个关键技术有进一步的理解，比如状态追踪、上下文理解以及没有讲的意图识别和实体识别。
相比于高大上的论文的解决方案（如端到端、Memory Network进行上下文理解），Rasa Core显得更加简单可用，同样Rasa Core支持online learning还有点增强学习的意思，感兴趣的可以关注其github。
