Neural Networks for Machine Learning Lecture 4

课程地址：https://www.coursera.org/learn/neural-networks

老师主页：http://www.cs.toronto.edu/~hinton

备注：笔记内容和图片均参考老师课件。

这一章的内容其实没怎么看懂，这里就把课件中没证明的公式简单证明一下。

首先是Softmax的公式

$$y_i = \frac{e^{z_i}}{∑_{j∈group }e^{z_j}}\\ \frac{∂y_i}{∂z_i}= \frac{e^{z_i}∑_{j∈group }e^{z_j}-e^{z_i}e^{z_i}}{(∑_{j∈group }e^{z_j})^2} =\frac{e^{z_i}}{∑_{j∈group }e^{z_j}}\frac{∑_{j∈group }e^{z_j} -e^{z_i}}{∑_{j∈group }e^{z_j}}=y_i(1-y_i)\\ \frac{∂y_i}{∂z_j}=\frac{e^{z_i}}{(∑_{j∈group }e^{z_j})^2}(-e^{z_j})=-\frac{e^{z_i}e^{z_j}}{(∑_{j∈group }e^{z_j})^2}=-y_iy_j (j\ne i )$$

Cross-entropy的公式

$$C = − ∑_j t_j \text{log } y_j\\ \begin{aligned} \frac{∂C}{∂z_i} &=∑_j \frac{∂C}{∂y_j}\frac{∂y_j}{∂z_i}\\ &=∑_j (-\frac{t_j}{y_j})\frac{∂y_j}{∂z_i}\\ &=∑_{j=i}(-\frac{t_j}{y_j})\frac{∂y_j}{∂z_i}+∑_{j\ne i}(-\frac{t_j}{y_j})\frac{∂y_j}{∂z_i}\\ &=(-\frac{t_i}{y_i})y_i(1-y_i)+∑_{j\ne i}(-\frac{t_j}{y_j})(-y_iy_j)\\ &=-t_i+t_iy_i+y_i∑_{j\ne i}t_j\\ &=-t_i+y_i\sum t_j \end{aligned}$$

课件中$t_j$为目标值，表示的是概率，所以

$$\sum t_j=1 \\ \frac{∂C}{∂z_i}=y_i-t_i$$