Neural Networks for Machine Learning Lecture 3

课程地址:https://www.coursera.org/learn/neural-networks

老师主页:http://www.cs.toronto.edu/~hinton

备注:笔记内容和图片均参考老师课件。

Lecture3主要介绍了反向传播算法,这里简单回顾下。

先回顾下公式,首先是linear neuron

但是线性神经元还是很弱的,所以老师这里引入了logistic neuron

我们现在有损失函数$E=\frac {1}{2}(t-y)^2$,关于$w_i$求偏导可得

有了这些准备工作,开始叙述反向传播。没有隐藏层的神经网络是非常弱的,但是有隐藏层的神经网络选择特征比较困难,所以我们要设计算法让其自动选择,这就有了反向传播算法,具体如下所示

核心思路就是利用$z_j,y_i$来计算$\frac{\partial E}{\partial w_{i,j}}$,这样做的好处是很方便调整。