9. TED Policy in Rasa
前言
许多 AI 助手没有像我们想象的那样使用太多机器学习。 虽然将机器学习应用于 NLU 是一种常见的做法，但是在对话管理方面，许多开发人员仍然会回溯到规则和状态机。
在正常情况下，随着时间的推移，开发者会添加越来越多的规则来构建 AI 助手，Rasa 试图挑战这个情形。取而代之的是，使用机器学习来选择助手的响应，这是一种灵活且可扩展的选择。这样做的原因是机器学习的核心概念之一：泛化。
当程序可以泛化时，开发者无需为每个可能的输入都对响应进行硬编码，因为该模型会根据已看到的示例学习识别模式。这以硬编码规则从未有过的方式扩展，并且对对话管理和 NLU 一样有效。
Rasa Open Source 使用机器学习根据示例对话（作为训练数据提供）选择助手的下一步动作。无需为每个可能的对话回合编写if / else语句，而是为模型提供示例对话以从中进行泛化。何时需要支持新的对话路径？无需尝试通过更新现有的复杂规则来推理，而是将示例对话添加到适合新模式的训练数据中。这种方法不仅适用于简单的单轮对话，还可以支持语音，多轮互动。
在此文章中，将通过剖析 Rasa Open Source 中使用的一种机器学习策略来探索对话管理。 Transformer Embedding Dialogue Policy（简称TED）只是Rasa Open Source 中用于选择助手下一步应采取的动作的对话策略之一。 它使用 transformer 体系结构来确定在进行预测时应注意哪些对话以及有选择地忽略哪些对话。
建模多轮对话
一个 Rasa 聊天助手在其配置中使用多个策略来决定下一步要采取的动作。 一些对话策略针对简单任务进行了优化，例如将当前对话与训练数据中的一个对话进行匹配，而其他对话策略（如TED策略）则适合于建模对话，在此对话中需要先前的上下文来选择最合适的下一个动作。 当助手需要响应用户时，助手配置中的所有策略都会对应该采取的下一个最佳动作做出预测，而对其预测具有最高置信度的策略将确定要采取的动作。
TED 策略在非线性对话中表现尤其出色，在非线性对话中，用户会插入偏离主题的消息，或者循环返回以修改较早的语句。 这种类型的多轮对话反映了用户实际的交谈方式，这种对话类型，如果尝试用一组规则建模的话会非常复杂。
非线性对话是什么意思？ 想象一下一个对话，如果你只能记住对方说的最新消息， 你可能会错过很多提示并犯很多错误！ 真实的对话倾向于在主题之间来回移动，然后返回到原本得主题。 可视化此模式的一种方法是将对话视为一组分层的段，其中对话的各个部分直接相互响应。 每个片段不一定与之前讨论过的主题相关，并且可以同时播放多个片段。
一个示例是子对话：一种短暂离题的对话模式。 在下面的对话中，用户回圈以验证帐户上的 credit，然后再继续进行主要目的——进行购买。 购买完成后，用户再返回 credit topic。
另一个常见的非线性示例是与目前的用户意图或任务无关的闲聊，陈述或问题。 如果用户要问“你是机器人吗？” 对话中，助手应回答这个问题，然后返回上一个任务。 同样，如果用户想要修改较早的请求，则助手应该能够跟上并阅读上下文以进行必要的调整。
让我们看一下另一轮对话，并按颜色组织相关主题：
这种情况可能极具挑战性，虽然可能不需要整个对话历史记录来确定下一步动作，但用户可以参考的对话历史记录没有限制。 可以考虑使用硬编码规则来优雅地处理此对话所需的嵌套逻辑。 但是更好的替代方法是基于机器学习的方法，该方法可以梳理分层的主题以找出重要和不重要的内容。
Transformers vs Recurrent Neural Networks
处理这类对话的最常见方法是使用一种称为递归神经网络或 RNN 的体系结构。默认情况下，RNN 会将每个用户输入提交到内存。虽然从理论上讲，RNN 应该能够在广泛的对话类型中产生准确的预测，但现实是，如果没有大量的训练数据，RNN 常常无法正确地泛化。
在对对话轮次建模时，对每个用户输入进行编码存在一些明显的缺点。它占用大量资源，而且并非每次对话都与当前对话状态相关。长短期记忆（LSTM）网络是一种RNN，旨在通过学习忘记谈话的某些部分来解决此问题。
但是，越来越多的 LSTM 被 Transformer 体系结构取代，该体系结构特别适合于建模多回合对话。与 LSTM 不同，Transformer 不会对用户输入的整个序列进行编码。取而代之的是，Transformer 使用一种称为自注意力的机制来选择，进行预测时要在对话中独立考虑哪些元素。这与 LSTM 相反，后者更新其内部存储器，然后将状态传递给后续的对话回合。
如果 LSTM 遇到用户的意外输入，它可能会以无法恢复的状态结束，因为内存是从一个会话轮次传递到下一个会话轮次的。 Transformer 能够更好地从意外输入中恢复，因为在每个轮次都会重新计算对话历史记录的相关性。
总而言之，在预测跨更复杂，多回合对话时，Transformer 体系结构具有两个优点。
- 它可以确定对话序列中哪些元素需要重点注意(自注意力机制)
- 它可以按顺序独立进行每个预测，因此，如果用户插入了意外内容，它就可以恢复。
How the TED Policy works
让我们从输入到输出，来更深入地了解TED策略做出预测时的情况。 如果想更深入一点，可以在论文中找到有关该过程的解释。
每次对话时，TED策略都会将三条信息作为输入：
- 用户的消息
- 之前预测的系统动作
- 保存到助手内存中作为插槽的所有值。
这些输入中的每一个在被送入 Transformer 之前都经过特征化和拼接。
自注意力机制的作用：Transformer在每个回合动态地访问对话历史的不同部分，然后评估并重新计算先前回合的相关性。 这允许TED策略在这一轮时考虑用户的话语，而在另一轮时完全忽略它，这使得Transformer成为处理对话历史记录的有效架构。
接下来，将稠密层应用于 Transformer 的输出，以获取用于对话上下文和系统动作的 embeddings。 计算 embeddings 之间的差异，TED 策略是基于Starspace算法的技术，可最大程度地提高与目标标签的相似度，并最大程度降低与错误标签的相似度。 比较 embeddings 之间相似性的过程类似于 Rasa NLU 管道中EmbeddingIntentClassifier预测意图分类的方式。
当需要预测下一个系统动作时，将根据所有可能的系统动作的相似性对它们进行排名，然后选择相似度最高的动作。
如下所示，在每个对话回合中都会重复此过程。
TED Policy 架构包括以下步骤：
- 将每个时间步的下列特征拼接到dialogue transformer embedding层的输入向量中：
- 用户输入（用户意图和实体）或经过user sequence transformer encoder处理的用户文本，
- 通过 bot sequence transformer encoder 处理的先前系统动作或机器人的回复
-
slots 和激活的 forms
-
将输入向量的 embedding 输入到 encoder 中
-
在 encoder 输出上应用密集层，获取每个时间步的对话 embedding
-
应用密集层为每个时间步的系统动作创建 embedding
-
计算对话 embedding 和系统动作 embedding 之间的相似度。 此步骤基于StarSpace算法。
StarSpace，一种通用的神经网络嵌入模型,本质是通过从实体的集合之间的关系中学习具有离散特征表示的实体embedding来直接用于排序或分类任务。
-
在每个时间步，将 user sequence transformer encoder 的 token 级输出与encoder 的输出连接在一起。
-
应用 CRF 算法为每个用户文本输入预测上下文实体。
参考：
Unpacking the TED Policy in Rasa Open Source
Dialogue Transformers——RASA TED policy 论文翻译
