CS224N Natural Language Processing with Deep Learning Lecture 5

课程主页:https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1194/

视频地址:https://www.bilibili.com/video/av46216519?from=search&seid=13229282510647565239

这里回顾CS224N Lecture 5的课程内容,这一讲介绍了Dependency Parsing。

Dependency Parsing

句子的依赖结构(dependency structure)展示了句子中的单词依赖于其他哪个单词,通常会增加一个根节点ROOT,此外依赖结构还有如下限制:

  • 只有一个单词依赖于ROOT
  • 没有循环

上述条件会使得dependency变成树结构,一个具体的例子如下:

转换成树的形式效果如下:

Greedy Deterministic Transition-Based Parsing

现在讨论如何解析句子的依赖结构,首先介绍Greedy Deterministic Transition-Based Parsing,该方法是使用状态转移的方法进行解析,首先给出状态的基本定义。

状态:

对于任意句子$S=w_{0} w_{1} \dots w_{n}$,状态可以由三元组$c=(\sigma, \beta, A)$描述:

  1. 栈$\sigma$,其存储$S$的单词$w_i$
  2. 缓存$\beta$,其存储$S$的单词$w_i$
  3. 一组形式为$(w_i,r,w_j)$的依赖弧$A$,其中$w_i, w_j$来自$S$,并且$r$描述了依赖关系。

对于任意句子$S=w_{0} w_{1} \dots w_{n}$,

  1. 一个形如$\left(\left[w_{0}\right]_{\sigma},\left[w_{1}, \dots, w_{n}\right]_{\beta}, \varnothing\right)$的初始状态$c_0$(其中$w_0$为ROOT)
  2. 一个终止状态$\left(\sigma,[]_{\beta}, A\right)$

状态转移:

状态间存在三种形式的转移:

  1. $\text{SHIFT}$:移除buffer的第一个单词,然后将其push到stack.(前提条件:buffer非空)
  2. $\mathrm{LEFT}-\mathrm{ARC}_{r}$:添加依赖弧$\left(w_{j}, r, w_{i}\right)$到集合$A$,其中$w_i$为栈中第二个元素,$w_j$为栈顶的元素。从栈中移开$w_i$。(前提条件:栈至少有两个元素并且$w_i$不是ROOT)
  3. $\mathrm{RIGHT}-\mathrm{ARC}_{r}$:添加依赖弧$\left(w_{i}, r, w_{j}\right)$到集合$A$,其中$w_i$为栈中第二个元素,$w_j$为栈顶的元素。从栈中移开$w_j$。(前提条件:栈至少有两个元素并且$w_i$不是ROOT)

概括如下:

来看一个具体例子:

Neural Dependency Parsing

现在介绍如何将神经网络和上述方法结合起来,首先介绍输入:

  1. $S_{\text {word}}$:栈$\sigma$和缓存区$\beta$中某些单词(属于$S$)(及其从属元素)的向量表示。
  2. $S_{\text{tag}}$:$S$中单词的(POS)词性标签:$\mathcal{P}=\{N N, N N P, N N S, D T, J J, \ldots\}$
  3. $S_{\text{label}}$:$S$中某些单词的弧形标签。弧形标签包括一个小的离散集,描述了依赖关系:$\mathcal{L}=\{a m o d, t m o d, n s u b j, c s u b j, d o b j, \dots\}$

每种类型的特征,我们都有对应的嵌入矩阵,分别为$E^{w} \in \mathbb{R}^{d \times N_{w}},E^{t} \in \mathbb{R}^{d \times N_{t}},E^{l} \in \mathbb{R}^{d \times N_{l}}$,选择的数量分别为$n_{\text{word}},n_{\text{tag}},n_{\text{label}}$,输入特征为$\left[x^{w}, x^{t}, x^{l}\right]$,整个网络架构如下:

本文标题:CS224N Natural Language Processing with Deep Learning Lecture 5

文章作者:Doraemonzzz

发布时间:2020年03月20日 - 17:34:00

最后更新:2020年03月22日 - 15:16:18

原始链接:http://doraemonzzz.com/2020/03/20/CS224N Natural Language Processing with Deep Learning Lecture 5/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。