Neural Networks for Machine Learning Lecture 4

课程地址:https://www.coursera.org/learn/neural-networks

老师主页:http://www.cs.toronto.edu/~hinton

备注:笔记内容和图片均参考老师课件。

这一章的内容其实没怎么看懂,这里就把课件中没证明的公式简单证明一下。

首先是Softmax的公式

Cross-entropy的公式

课件中$t_j$为目标值,表示的是概率,所以