课程地址：https://www.coursera.org/learn/neural-networks

老师主页：http://www.cs.toronto.edu/~hinton

备注：笔记内容和图片均参考老师课件。

这一周的内容主要是讲玻尔兹曼机，老师叙述的角度太高层次了，导致完全没听懂，所以我专门写了一篇博客对受限玻尔兹曼机进行讲解，可以看完那篇再学习这周的内容，传送门/)，这里主要回顾习题。

习题

选择题 1

玻尔兹曼机与前馈神经网络的区别在于：

  • 玻尔兹曼机定义了数据的概率分布，但神经网络定义了数据的确定性转换。
  • 玻尔兹曼机中隐藏单元的状态是随机变量，但在神经网络中，它是输入的确定性函数。
  • 玻尔兹曼机没有神经网络的隐藏单位。
  • 玻尔兹曼机中隐藏单元的状态是输入的确定性函数，并且难以精确计算，但在神经网络中，通过正向传递很容易计算。

玻尔兹曼机是概率模型，定义了概率分布，而前馈神经网络是确定性的转换，所以第一项正确。

由玻尔兹曼机是概率模型可知隐藏单元是随机变量，神经网络中，隐藏单元是确定值，所以第二项正确。

第三项显然是错的。

由玻尔兹曼机是概率模型可得第四项是错的。

选择题 2

在整个讲座中，当谈到玻尔兹曼机时，为什么我们要谈论计算$s_is_j$的期望而不是$s_is_j$的值?

  • 可以计算精确值，但计算效率低。
  • 无论提供多少计算时间，都无法计算精确值。所以我们所能做的就是计算近似值。
  • $s_i,s_j$是随机变量，玻尔兹曼机定义了它们的概率分布，讨论随机变量特定的值是没有意义的。
  • 期望仅指所有训练数据的平均值。

玻尔兹曼机是概率模型，定义了$s_i,s_j$的概率分布，所以我们很自然地处理$s_is_j$的期望，因此第三项正确。

选择题 3

在学习RBM时，我们减少了实际粒子的能量并增加了幻想粒子的能量。Brian坚持认为不需要后者。他声称，仅仅减少实际粒子的能量就足够了，并且所有其他状态空间区域的能量都会相对增加。这也可以节省我们从模型分布中抽样的麻烦。这种直觉有什么问题？

  • 直觉没有错。这种方法是学习玻尔兹曼机的另一种方法。
  • 该模型可以减少实际粒子的能量，使得负粒子的能量也减少。如果发生这种情况，网络就不会学习，所有粒子的能量都会不受限制地减少下去。
  • 所有更新的总和必须为零，因此我们需要增加负粒子的能量以平衡事物。
  • 由于总能量是恒定的，因此一些粒子必须为其他粒子释放能量以获得能量。

可以参考那边介绍的博客中Gibbs Sampling的方法，如果不减少实际例子的能量，那么一部分Sample就不变了，所以模型就无法学习，因此第二个选项正确。

选择题 4

受限玻尔兹曼机比具有任意连接性的玻尔兹曼机更容易学习。以下哪项是影响因素？

  • RBM是更强大的模型，即它们可以比一般BM模型更多的概率分布。
  • RBM的任何配置的能量是其状态的线性函数。对于一般BM而言，情况并非如此。
  • 在RBM中，隐藏单元之间或可见单元之间没有连接。
  • 可以在RBM中运行持久性马尔可夫链，但不能在一般BM中运行。

这个比较简单，受限玻尔兹曼机的特点就是隐藏单元之间或可见单元之间没有连接。

选择题 5

在训练良好的数据生成模型时，PCD是比CD1更好的算法。这意味着从用PCD训练的自由运行的Boltzmann机（经过足够的时间）抽取的样本可能看起来比用CD1训练的相同模型绘制的样本更真实。为什么会这样？

  • 在PCD中，在整个学习期间仅使用单个马尔可夫链，而CD1在每次更新中开始新的马尔可夫链。因此，PCD是一种更一致的算法。
  • 在PCD中，持久性马尔可夫链可以记住小批量中的正粒子的状态，并在采样时显示它们。但是，CD1会在每次更新时重置Markov链，因此很长时间内无法保留有关数据的信息。
  • 在PCD中，许多马尔可夫链在整个学习中使用，而CD1仅使用一个。因此，来自PCD的样品是来自几个模型的样品的平均值。由于模型平均有助于PCD生成更好的样本。
  • 在PCD中，持久的马尔可夫链探索了状态空间的不同区域。但是，CD1让Markov链只运行一步。因此，CD1无法在很大程度上探索可能性的空间，并且可能错过增加一些应该不可能的状态的能量。长时间运行机器可能会达到这些状态，导致不切实际的样本。

这个是由于CD1的特点是只训练一步，PCD训练多步，所以PCD探索了多种状态，所以这题最后一个选项正确。

选择题 6

在RBM中，任何配置的能量都是状态的线性函数。

这最终会导致

如果能量是非线性的，例如

对于一些非线性函数$f$和$g$，以下哪一项是正确的。

  • $ \Delta W _{ij} \propto f( \langle v_i \rangle_{data})g( \langle h_j \rangle_{data}) - f( \langle v_i \rangle_{model})g( \langle h_j \rangle_{model}) $

  • $ \Delta W _{ij} \propto \langle f(v_i)g(h_j) \rangle_{data} - \langle f(v_i)g(h_j) \rangle_{model} $

  • $ \Delta W _{ij} \propto \langle f( v_i )\rangle_{data}\langle g( h_j ) \rangle_{data}- \langle f( v_i )\rangle_{model}\langle g( h_j ) \rangle_{model}$

  • $ΔW_{ij} ∝⟨v _ih_j⟩ _{data} −⟨v_ih _j ⟩_{model}$

由定义

我们来求$ \frac{\partial \log (p(\mathbf{v}))}{\partial W_{ij}} ​$

倒数第二步是因为

接着对所有点取平均

选择题 7

在RBM中，任何配置的能量都是状态的线性函数。

这最终会导致

如果能量是非线性的，例如

对于一些非线性函数$f​$和$g​$，以下哪一项是正确的。

  • $p(h_j=1|v)= \frac{ 1}{1+\exp \Big(- \sum_i W_{ij}v_i - b_j \Big) }$
  • $p(h_j=1|v)= \frac{ 1}{1+\exp \Big((g(0)- g(1))(\sum_i W_{ij}f(v_i) +b_j \Big) }$
  • $p(h_j=1|v)= \frac{ 1}{1+\exp \Big(-\sum_i W_{ij}f(v_i) -b_j \Big) }$
  • 以上都不正确

同我之前所写的一篇文章，可以推导出条件独立性，即

从而