RATSQL(Relation-Aware Transforme

2021-12-14  本文已影响0人  一个迷人的昵称

本issue记录RATSQL相关的内容

摘要

现有两个挑战：

  1. 如何为语义解析器提供编码数据库关系？
  2. 如何将数据库列名与给定的query对齐

本文工作：

基于关系感知的自注意力机制，在一个text-to-sql encoder内解决schema encoding， schema linking和特征表示三个问题

Introduction

schema表示（schema generalization）难点：

  1. 任何text-to-sql模型均要将schema构建为适合解码成可能包含列名和表名的SQL语句的向量表示
  2. 1中得到的表示应该编码了schema的所有信息，包括列类别、主键、外键
  3. 模型需要识别（可能与训练过程不同的）NL问题所设计的列名和表格，故成：schema linking，即将question与列、表进行对齐

具体描述本文工作

（RATSQL）利用关系感知的自注意力机制来构建schema和question的全局推理，用于在给定的question和数据库schema中对关系结构进行编码。

Related Work

  1. relation-aware self-attentionpaper

Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. 2018. Self-Attention with Relative Position Repre- sentations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 464– 468.

  1. AST-based structural paper

Jiaqi Guo, Zecheng Zhan, Yan Gao, Yan Xiao, Jian-Guang Lou, Ting Liu, and Dongmei Zhang. 2019. Towards complex text-to-SQL in cross- domain database with intermediate representation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4524–4535.

Relation-Aware Self-Attention

一个正常的self-attention encoder/transformer:

给定输入：

image.png

有：

image.png

其中，1 \le h \le H，这里attention权重\alpha_{ij}^{(h)}就是input的关系信息

一个self-attention layer：

image.png

这里，r_{ij}就编码了x_i和x_j之间已知的关系

假设\mathbb{R}为关系特征集合，那么\mathbb{R}^{(s)} \subseteq X \times X。RATSQL对每个(i, j)边用r_{ij}^K=r_{ij}^V=concat(\rho_{ij}^{(1)}, ..., \rho_{ij}^{(R)})表示所有的预定义特征。

这里\rho_{ij}^{(s)}要么是一个从关系\mathbb{R}学到的embedding(如果该关系适用于相应的边)，要么是一个零向量。

RAT-SQL

1. 输入输出定义

基本定义：

每个列名c_i均包括多个words，如c_{i,1}, ..., c_{i,|c_i|}；表格名t_i也包括多个words，如t_{i,1}, ..., t_{i,|t_i|}

将database schema表示为：
image.png

其中：

因为以上不包括question信息，所以设计了新的图：

\mathcal{G}_Q =<\mathcal{V}_Q, \mathcal{E}_Q>

其中：

encoder-decoder

\mathcal{G}_Q →f_{enc}→representations→f_{dec}→ P_r(P| \mathcal{G}_Q)

2. Relation-Aware Input Encoding

  1. Glove
  2. BiLSTM
  3. BERT

因此对于graph\mathcal{G}_Q，构建输入为：

image.png

3. Schema Linking

在\varepsilon_{Q\leftrightarrow S}的schema linking relations辅助模型去做question和schema的对齐，对齐也主要包括两种：match names， match values。

Name-Based Linking

是指列名/表名完全或部分地出现在question中，self-attention在这里还是有一些的缺陷，所以作者：

  1. 对question取1~5的n-gram，判别每个n-gram是exact match还是partial match
  2. 对于x_i\in Q, x_j\in S（或反过来），我们约定r_{ij}\in \varepsilon_{Q\leftrightarrow S}属于：
image.png
Value-Based Linking

是指Question与schema中的内容（value）相关联，因此也会间接影响到SQL，所以作者：

  1. 对q_i和列名c_j增加了一个Column-Value，即q_i匹配了列c_j的任意一个值
Memeory-Schema Alignment Matrix

TODO

4. Decoder

decoder参考了

Pengcheng Yin and Graham Neubig. 2017. A Syntactic Neural Model for General-Purpose Code Generation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 440–450.

的树结构。

（该方法）根据深度优先遍历，通过一个LSTM来输出一个decoder action序列，像生成句法树一样生成SQL。这个action的产生遵从以下两种方式：

  1. 根据语法规则扩展最后生成的节点，称为ApplyRule
  2. 从schema中选择一个column或者table，成为SelectColumn或者SelectTable

准确来说，

image.png

其中\mathcal{Y} =f_{enc} (\mathcal{G}_Q)是question和schema最后的encoding变量，a_{<t}是之前所有的actions。因此对于不同的action，有不同操作，如下：

Experiments

本小结详细讲了实验相关细节，描述了用到的方案如StanfordCoreNLP，PyTorch，BERT，batch size=24训练了9w个step，利用了超参数搜索的一些方式。由于spider没有test数据公开，所以论文也在dev上进行了验证和实验。并给出了Spider和WiKiSQL两个数据集的实验结果。

在错误分析部分，分析主要有以下三类错误：

  1. 18%：由于SQL表述形式不同但是实际意义相同
  2. 39%：在Select部分有丢失或者错误
  3. 29%：在Where部分错误

附录

TODO

按语

本篇论文是20年微软发表在ACL上的论文，基本达到了当时的sota水平，同时开源了项目代码，有极大的研究价值。纵观整个项目，项目代码较为优雅，在执行上做了很多优化，利用装饰器封装了一个全局的字典用于存储所有变量，方便整个项目在任意位置访问资源，这种写法可以深入学习。模型结构方面，还是经典的encoder-decoder，在encoder部分做了很多的尝试，在decoder部分还是采用了IRNet那种AST的方式。

作者主要是参考了relation-aware self-attention，即将schema和question之间的关系在做attention的时候加进去，从而让模型学得Question与Schema之间的关联信息。所以论文的很多工作是围绕着如何描述它们之间的信息展开的，例如定义了一些column和table之间的type（table 1），在question和column/table之间做match（name-based, value-based），以及（还没看）。在decoder阶段是利用了LSTM深度优先生成树结构，从而构成SQL语句。

上一篇下一篇

猜你喜欢

热点阅读