Neural Networks for Machine Learning Lecture 13

课程地址：https://www.coursera.org/learn/neural-networks

老师主页：http://www.cs.toronto.edu/~hinton

备注：笔记内容和图片均参考老师课件。

这周介绍了Sigmoid Belief Networks，这里主要回顾下选择题。

对于一般的Sigmoid Belief Networks，网络及计算公式如下：

题目中的网络为

所以

$\sigma(z) = \frac{1}{1+\exp(-z)}\\ P(v=1|h_1,h_2) =\sigma(w_1h_1 + w_2h_2)\\ P(h_1=1) =\sigma(0) =\frac 1 2 \\ P(h_2=1) =\sigma(0) =\frac 1 2$

$h_1,h_2$的概率是$\frac 1 2$是因为没有输入，由由于$h_1,h_2$没有连接，所以$h_1,h_2$独立，从而

$P(v,h_1,h_2) = P(v|h_1,h_2) P(h_1,h_2) = P(v|h_1,h_2) P(h_1)P(h_2)$

选择题 2

import numpy as np

def prob(w1, w2, h1, h2):
    s = w1*h1 + w2*h2
    return 1/(1 + np.exp(-s))

w1 = -6.90675478
w2 = 0.40546511

p2 = prob(w1, w2, 0, 1)
p2

0.60000000045404056

选择题 3

p3 = p2*0.5*0.5
p3

0.15000000011351014

选择题 4

$\begin{aligned} \log(P(v,h_1,h_2) ) &=\log \Big(P(v|h_1,h_2) P(h_1)P(h_2) \Big) \\ &=\log P(v|h_1,h_2) +\log P(h_1) +\log P(h_2) \\ &= \log\sigma(w_1h_1 + w_2h_2) +2 \log \frac 1 2 \end{aligned}$

所以

$\begin{aligned} \frac{∂\log P (C_{011}) }{∂w_i} &=\frac{∂ \Big(\log\sigma(w_1h_1 + w_2h_2) +2 \log \frac 1 2 \Big) }{∂w_i} \\ &=\frac{∂ \Big(\log\sigma(w_1h_1 + w_2h_2) \Big) }{∂w_i} \\ &=\frac 1 { \sigma(w_1h_1 + w_2h_2) } \sigma(w_1h_1 + w_2h_2)(1-\sigma(w_1h_1 + w_2h_2)) h_i\\ &=(1-\sigma(w_1h_1 + w_2h_2)) h_i \end{aligned}$

p4 = (1 - p2)*0
p4

0.0

选择题 5

p5 = (1 - p2)*1
p5

0.39999999954595944

选择题 6

$\begin{aligned} P(h_2∣v,h_1) &= \frac{p(v,h_1,h_2)}{P(v,h_1)}\\ &= \frac{P(v|h_1,h_2)p(h_1,h_2)}{\sum_{h_2=0}^1P(v|h_1,h_2)p(h_1,h_2)} \\ &= \frac{P(v|h_1,h_2)p(h_1,h_2)}{P(v|h_1,h_2=0)p(h_1,h_2=0) + P(v|h_1,h_2=1)p(h_1,h_2=1)} \\ &= \frac{P(v|h_1,h_2)p(h_1)p(h_2)}{P(v|h_1,h_2=0)p(h_1)p(h_2=0) + P(v|h_1,h_2=1)p(h_1)p(h_2=1)}\\ &= \frac{P(v|h_1,h_2)\times \frac 1 2 \times \frac 1 2}{P(v|h_1,h_2=0)\times \frac 1 2 \times\frac 1 2 + P(v|h_1,h_2=1)\times\frac 1 2 \times\frac 1 2}\\ &= \frac{P(v|h_1,h_2)}{P(v|h_1,h_2=0)+ P(v|h_1,h_2=1)} \end{aligned}$

w1 = 10
w2 = -4
s1 = prob(w1, w2, 0, 1)
s2 = prob(w1, w2, 0, 0)
p6 = s1 / (s1 + s2)
p6

0.034723337448322934

选择题 7

s3 = prob(w1, w2, 1, 1)
s4 = prob(w1, w2, 1, 0)
p7 = s3/(s3 + s4)
p7

0.49939242873941264

最后回顾编程题11，参考资料

编程题 11

我们要计算的量是

$\log Z \\ Z =\sum_h \sum_v \exp\Big(-E (v,h)\Big)\\ E (v,h) =-v^TWh \\ h\in R^n, v\in R^m ,W \in R^{m\times n}$

对$-E (v,h)$进行处理

$-E (v,h) =-v^TWh =\sum_{i=1}^m \sum_{j=1}^n v_i w_{ij} h_j \\ \sum_v \exp\Big(-E (v,h)\Big) = \sum_v \prod_{i=1}^m \exp\Big(\sum_{j=1}^n v_i w_{ij} h_j \Big)\\ 如果v_i=1，那么\exp\Big(\sum_{j=1}^n v_i w_{ij} h_j \Big)= \exp\Big(\sum_{j=1}^n w_{ij}h_j \Big) =\exp\Big( W_{i:} h \Big) \\ 如果v_i=0，那么\exp\Big(\sum_{j=1}^n v_i w_{ij} h_j \Big)= \exp(0 ) =1\\ 所以\sum_v \prod_{i=1}^m \exp\Big(\sum_{j=1}^n v_i w_{ij} h_j \Big) = \prod_{i=1}^m\Big( 1 + \exp\Big(W_{i:} h \Big)\Big)\\ 其中 W_{i:}表示W的第i行$

最后一步左边一共有$2^m$项（$v\in R^m$），右边是$m$个二项的乘积，对比之后可以发现两边相等，这样做的好处在于不需要计算$2^m$次，只要计算$m$项的乘积。

利用上式计算$Z$

$\begin{aligned} Z &= \sum_h\sum_v \exp\Big(-E (v,h)\Big) \\ &= \sum_h \sum_v \prod_{i=1}^m \exp\Big(\sum_{j=1}^n v_i w_{ij} h_j \Big) \\ &= \sum_h \prod_{i=1}^m\Big( 1 + \exp\Big(W_{i:} h \Big)\Big) \end{aligned}$

对于此题来说，$n =10$，所以$v$一共有$2^n=2^{10}=1024$种状态，只要对$1024$项求和即可，里面的乘积项可以利用向量和矩阵的乘法快速计算出来。