这次回顾ECE408 Lecture 11，这次介绍了前馈神经网络和梯度下降法。

课程主页：

搬运视频：

这一章大部分内容都比较熟悉，这里只回顾为什么要使用CNN做图像分类。

用MLP做图像分类

考虑一张$250\times 250$的图像：

  • 输入：将二维图像处理为一维向量；
  • 全连接层太大：
    • 每个节点$250^2=62500$个权重！
    • 大约总共有~4B总权重！
  • 如果层数大于1参数就会更多，并且这样的网络无法处理更大的图像；
  • 总的来说，需要太多的计算和内存开销；

图像处理中传统的特征检测使用：

  • 滤波器，卷积核；
  • 我们可以在神经网络中使用它们吗？

2D卷积

MLP和卷积的对比

  • MLP层有固定的结构，所以输入/输出的数量是固定的；
  • 卷积支持可变大小的输入（对同一事物的观察）
    • 不同长度的音频；
    • 不同像素的图像；

为什么使用卷积

  • 稀疏交互
    • 小空间区域中有意义的特征；
    • 需要更少的参数（更少的存储空间、更好的统计特性、更快的训练）；
    • 需要多层以获得广泛的感受野；
  • 参数共享
    • 重复应用kernel计算层输出；
  • 平移不变性
    • 如果输入被平移，输出也被类似地平移；

小结

卷积：

  • 2D矩阵；
  • $Y=W\star X$；
  • Kernel大小小于输入，更小的感受野；
  • 更少的参数；

MLP：

  • 向量；
  • $Y=WX+b$；
  • 最大感受野；
  • 更多的权重；