Neural Networks for Machine Learning Lecture 16

课程地址:https://www.coursera.org/learn/neural-networks

老师主页:http://www.cs.toronto.edu/~hinton

备注:笔记内容和图片均参考老师课件。

这周是课程的最后一次内容,介绍了几个新的应用。

Learning a joint model of images and captions

这部分介绍了如何学习图像和标签的联合模型,效果是给每个图像一个标签,训练一共有三步:

1.训练图像的多层模型

2.训练词向量的多层模型

3.利用新的顶层把两个模型联合起来

可以从下图中看到步骤:

Hierarchical coordinate frames

这部分主要是解决视角的问题,从下图中来看个例子:

老师指出CNN不太好解决这种问题,给出的方法是使用一组神经元来代表结合特征的形状及其相对于视网膜的姿势。简单来说就是增加神经元来表示特征的相对位置,如下图:

Bayesian optimization of neural network hyperparameters

这部分是讲调参的,老师的意思是,如果超参数太多,那么手工调参太慢,不如用机器学习来解决这个问题,记录目前为止的最佳的超参数,每次改变一些超参数,得到相应的结果,选择那些改变最大的超参数,例如下图中就会选择C

最后一部分是讲机器学习无法预测长期的任务,这里略过。

总结

最后总结一下这门课,课程做的很用心,老师也很牛,但是这门课讲的层次太高,几乎没有细节,非常不适合新手,感觉要对神经网络非常熟悉才适合这门课,以后有空了要回头再看一遍。