Neural Networks for Machine Learning Lecture 3

课程地址：https://www.coursera.org/learn/neural-networks

老师主页：http://www.cs.toronto.edu/~hinton

备注：笔记内容和图片均参考老师课件。

Lecture3主要介绍了反向传播算法，这里简单回顾下。

先回顾下公式，首先是linear neuron

$$z=b+\sum_{i}x_iw_i$$

但是线性神经元还是很弱的，所以老师这里引入了logistic neuron

$$y=\frac {1}{1+e^{-z}},\frac {dy}{dz}=y(1-y)$$

我们现在有损失函数$E=\frac {1}{2}(t-y)^2$，关于$w_i$求偏导可得

$$\frac {\partial y}{\partial w_i}=\frac {\partial z}{\partial w_i}\frac {\partial y}{\partial z}=x_iy(1-y)\\ \frac {\partial E}{\partial w_i}=\sum_{n}\frac {\partial y^n}{\partial w_i}\frac {\partial E}{\partial y^n} =-\sum_{n}x_i^ny^n(1-y^n)(t^n-y^n)$$

有了这些准备工作，开始叙述反向传播。没有隐藏层的神经网络是非常弱的，但是有隐藏层的神经网络选择特征比较困难，所以我们要设计算法让其自动选择，这就有了反向传播算法，具体如下所示

核心思路就是利用$z_j,y_i$来计算$\frac{\partial E}{\partial w_{i,j}}$，这样做的好处是很方便调整。