CS229 2017版作业0

课程视频地址:http://open.163.com/special/opencourse/machinelearning.html

课程主页:http://cs229.stanford.edu/

更具体的资料链接:https://www.jianshu.com/p/0a6ef31ff77a

作业地址:https://github.com/Doraemonzzz/CS229

参考资料:https://github.com/zyxue/stanford-cs229

从今天开始整理CS229的作业,一共做了两个版本,分别是2017版和老版本,虽说一部分有官方解答了,但还是想根据自己的理解做一遍,解答的pdf版本在我的github上。

这次的作业是回顾线性代数。

1.Gradients and Hessians

(a)首先计算$f(x) =\frac 1 2 x^T Ax +b^Tx$

接着计算$\frac{\partial f(x)}{\partial x_k}$,注意$A$为对称矩阵,记$A$的第$k$行为$A_k$

所以

(b)计算$\frac{\partial f(x)}{\partial x_k}$

所以

(c)接着(a)计算$\nabla^2 f(x)$,我们计算$\frac{\partial^2 f(x)}{\partial x_l \partial x_k}$

所以

(d)记$h(x) = a^Tx$,所以$f(x)=g(h(x))$,所以利用(b)计算$\nabla f(x)$,

接着计算$\frac{\partial^2 f(x)}{\partial x_l \partial x_k}$

所以

2.Positive definite matrices

(a)任取$x \in \mathbb R^n$,那么

(b)考虑$A$的零空间,任取$x\in N(A)$,那么

这说明$x\in N(z^T)$。反之,任取$x\in N(z^T)$,那么

从而$x\in N(A)$,因此

因为$z \in \mathbb R^n$,所以$\text{rank}(z) \le 1$,因为$z$非零,所以$\text{rank}(z) \ge 1$,从而$\text{rank}(z)=1$,利用这个结论以及$N(A) = N(z^T)$来计算$\text{rank}(A) $

(c)任取$x \in \mathbb R^m$,那么

记$z= B^Tx$,结合$A$的半正定性可得

所以$BA B^T$半正定

3.Eigenvectors, eigenvalues, and the spectral theorem

(a)对$A = T ΛT^{ -1}$两边右乘$T$可得

考虑两边的第$i$列得到

所以$A$的特征值即其对应的向量为$(\lambda_i,t^{(i)})$

(b)注意$U$为正交矩阵,对$A = UΛU^T$两边右乘$U$可得

考虑两边的第$i$列得到

(c)取$x_i$,使得

计算$x_i^TAx_i$可得

所以结论得证。

本文标题:CS229 2017版作业0

文章作者:Doraemonzzz

发布时间:2019年03月01日 - 17:40:00

最后更新:2019年03月01日 - 17:45:40

原始链接:http://doraemonzzz.com/2019/03/01/CS229 2017版作业0/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。