CS224N Natural Language Processing with Deep Learning Lecture 3

距离上次更新已经 1594 天了，文章内容可能已经过时。

课程主页：https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1194/

视频地址：https://www.bilibili.com/video/av46216519?from=search&seid=13229282510647565239

这里回顾CS224N Lecture 3的课程内容，这一讲介绍了神经网络以及分类问题。

分类问题的介绍

假设我们有训练集

$${\{x_i,y_i\}}_{i=1}^N$$

其中$x_i\in {\mathbb{R}}^d$为输入，$y_i$为标签（离散值）。

传统的方法是使用softmax分类器，即

$$p(y|x)=\frac{\exp \left(W_{y\cdot }x\right)}{\sum _{c=1}^C\exp \left(W_{c\cdot }x\right)}$$

其中

$$W_{y\cdot }x=\sum _{i=1}^d{W}_{yi}{x}_i=f_y$$

度量上述概率的方式是使用交叉熵：

$$H(p,q)=-\sum _{c=1}^{C}p(c)\log q(c)$$

注意$y_i$为one hot的形式，即

$$p=[0,\dots ,0,1,0,\dots 0]$$

所以总体的损失函数为

$$J(\theta )=\frac{1}{N}\sum _{i=1}^N-\log \left(\frac{e^{f_{y_i}}}{\sum _{c=1}^C{e}^{f_c}}\right)$$

利用梯度下降的方法即可计算权重$W$。

上述方法计算出的分类边界是线性的，所以无法处理很复杂的问题，所以实际中一般使用神经网络进行建模，这也是后续的重点。

神经网络

神经网络的结构如下：

以下图为例介绍具体计算步骤：

$$a_i=f(W_{i1}{x}_1+W_{i2}{x}_2+W_{i3}{x}_3+b_i)$$

矩阵形式为

$$\begin{array}{rl}& z=Wx+b\\ & a=f(z)\end{array}$$

其中

$$f\left([z_1,z_2,z_3]\right)=[f\left(z_1\right),f\left(z_2\right),f\left(z_3\right)]$$

$f$被称为激活函数，注意$f$一定是非线性函数，否则多层网络的效果等于单层。

命名实体识别（NER）

考虑NER问题，即在文本中找到并分类命名实体：

NER问题可以化成分类问题，即对每个单词$x$，输出其分类，但是如果直接使用该方法，那么会忽略上下文信息，所以考虑该单词的上下文，以窗口长度为$2$为例：

所以输入为

$$x_{\text{window}}=x\in {\mathbb{R}}^{5d}$$

下面给出一个处理该问题的具体的网络架构

有了网络结构，接下来指定损失函数就可以进行训练，这里的损失函数为

$$J=max(0,1-s+s_c)$$

训练的方法为梯度下降法

$${\theta }^{\text{new}}={\theta }^{\text{old}}-\alpha {\mathrm{\nabla }}_{\theta }J(\theta )$$