第三周的内容介绍了CNN，这里主要回顾CNN的基本概念。

Introduction to CNN

Convolutions

如果使用第二周的MLP来进行图像识别，那么结果会和物体在图像中的位置有关，如下图：

所以我们不能直接使用MLP，解决的办法是卷积(Convolutions)：

Padding

在做卷积运算的时候，处于角落位置的像素进行卷积运算的次数很小，为了解决这个问题，我们可以使用Padding，在原图片周围填充一些像素：

Backpropagation for CNN

由于卷积运算会对许多像素进行重复运算，所以CNN中的反向传播和MLP中反向传播略有不同，需要进行累加：

Stride

Stride为步长，可以理解为kernel每次平移的像素数量，从一个例子中来看一下：

增加Stride主要是为了减少输出的维度。

Pooling

Pooling也是一种减少输出维度的方法，相当于直接把某些像素进行压缩，例如把每$2\times2$个像素取其中的最大值，来看一个例子：

Modern CNNs

由于当$x$很大时，$\frac{1}{1+e^{-x}}$和$\tanh(x)$的梯度很小，不利于训练，所以常常使用其他的激活函数。

ReLU activation

由于ReLU激活函数在小于$0$的地方导数为$0$，这依旧是一个不好的性质，所以还有Leaky ReLU激活函数。

Leaky ReLU activation

Weights initializations

对权重的初始化也非常重要。假设$x_i$同分布，$w_i$服从标准正态分布，且$E(x_i) =E(w_i)=0$，那么$E(\sum_{i=1}^n w_i x_i)=0$，我们来计算其方差：

我们希望输入和输出的方差尽量一致，所以会取$n \text{Var}( w) =1$，我们来计算$n \text{Var}( aw) $，注意$w$服从标准正态分布。

一般的，我们会取$a =\frac{\sqrt 2}{\sqrt{n_{in} + n_{out}}}$或者$a =\frac{\sqrt 2}{\sqrt{n_{in}}} $

Batch normalization

在输入数据之前，会做正规化处理：

Dropout

训练过程中，以一定的概率使得神经元无效，这种方法叫做Dropout：

在测试数据时，我们不对神经元采取Dropout，而是乘以Dropout的概率p:

Data augmentation

当图片数据不够时，可以对图片进行旋转，对称等处理来增加数据：