Neural Networks for Machine Learning Lecture 1

这门课其实观望了很久，之前比较忙没时间学，几天前看了下，发现每周视频量不是很多，所以打算暑假把这门课跟完，做一些简单的笔记。

课程地址：https://www.coursera.org/learn/neural-networks

老师主页：http://www.cs.toronto.edu/~hinton

备注：笔记内容和图片均参考老师课件。

下面进入Lecture1的内容，Lecture1的内容比较简单，介绍了机器学习以及神经网络一些基本概念，这里比较重要的概念是神经元，为了模仿大脑的神经元，在神经网络中也有一些神经元的模型，可以简单理解为一种处理函数，这里介绍了几个常用的。

• Linear Neurons

  $$y=b+\sum_{i}x_iw_i$$

  图像如下

  

• Binary Threshold Neurons

  $$z=b+\sum_{i}x_iw_i\\ z=\begin{cases} 1, & \text{ $z\ge 0$}\\ 0, & \text{其余情况} \end{cases}$$

  图像如下

  

• Rectified Linear Neurons(Linear Threshold Neurons)

  $$z=b+\sum_{i}x_iw_i\\ z=\begin{cases} z, & \text{ z>0}\\ 0, & \text{其余情况} \end{cases}$$

  图像如下

  

• Sigmoid Neurons

  $$z=b+\sum_{i}x_iw_i\\ y=\frac {1}{1+e^{-z}}$$

  图像如下

  

• Stochastic Binary Neurons

  $$z=b+\sum_{i}x_iw_i\\ p(s=1)=\frac {1}{1+e^{-z}}$$

  图像如下

  

  注意这个和Sigmoid Neurons是不同的，这里预测是概率。