Neural Networks for Machine Learning Lecture 14
课程地址:https://www.coursera.org/learn/neural-networks
老师主页:http://www.cs.toronto.edu/~hinton
备注:笔记内容和图片均参考老师课件。
这周介绍了DBN和pre-train,这里主要回顾下选择题。
选择题 1Why is a Deep Belief Network not a Boltzmann Machine ?
A DBN is not a probabilistic model of the data.
All edges in a DBN are directed.
Some edges in a DBN are directed.
A DBN does not have hidden units.
DBN最顶层是RBM,这一层为无向边,其余每层为有向边,第三个选项正确。
选择题 2Brian looked at the direction of arrows in a DBN and was surprised to find that the data is at the “outpu ...
Coursera Cpp程序设计 week 5
这一周的内容主要是介绍虚函数与多态。
课程地址:
coursera:C++程序设计
https://www.coursera.org/learn/cpp-chengxu-sheji
中国大学MOOC:程序设计与算法(三)C++面向对象程序设计
程序设计与算法(三)C++面向对象程序设计
虚函数在类的定义中,前面有virtual关键字的成员函数就是虚函数,virtual 关键字只用在类定义里的函数声明中,写函数体时不用。
class base {
virtual int get() ;
};
int base::get()
{ }
多态的表现形式一
派生类的指针可以赋给基类指针。
通过基类指针调用基类和派生类中的同名虚函数时:
(1)若该指针指向一个基类的对象,那么被调用是基类的虚函数;
(2)若该指针指向一个派生类的对象,那么被调用的是派生类的虚函数。
这种机制就叫做“多态”。
例子:
class CBase {
public:
virtual void SomeVir ...
Unit 2 Linear Regression
这一章主要介绍了线性回归,这里回顾下基本操作。
课程地址:
https://www.edx.org/course/the-analytics-edge
读取数据,查看基本信息。
setwd("E:\\The Analytics Edge\\Unit 2 Linear Regression")
wine = read.csv("wine.csv")
str(wine)
'data.frame': 25 obs. of 7 variables:
$ Year : int 1952 1953 1955 1957 1958 1959 1960 1961 1962 1963 ...
$ Price : num 7.5 8.04 7.69 6.98 6.78 ...
$ WinterRain : int 600 690 502 420 582 485 763 830 697 608 ...
$ AGST : num 17.1 16.7 17.1 16.1 16.4 ...
...
Neural Networks for Machine Learning Lecture 13
课程地址:https://www.coursera.org/learn/neural-networks
老师主页:http://www.cs.toronto.edu/~hinton
备注:笔记内容和图片均参考老师课件。
这周介绍了Sigmoid Belief Networks,这里主要回顾下选择题。
对于一般的Sigmoid Belief Networks,网络及计算公式如下:
题目中的网络为
所以
\sigma(z) = \frac{1}{1+\exp(-z)}\\
P(v=1|h_1,h_2) =\sigma(w_1h_1 + w_2h_2)\\
P(h_1=1) =\sigma(0) =\frac 1 2 \\
P(h_2=1) =\sigma(0) =\frac 1 2$h_1,h_2$的概率是$\frac 1 2$是因为没有输入,由由于$h_1,h_2$没有连接,所以$h_1,h_2$独立,从而
P(v,h_1,h_2) = P(v|h_1,h_2) P(h_1,h_2) = P(v|h_1,h_2) P(h_1)P(h_2)选择题 2import numpy ...
Unit 1 An Introduction to Analytics
最近开始了Edx上The Analytics Edge课程的学习,这个课程主要讲授有关R语言的内容,这里会总结一些重点操作,这一章主要介绍了一些基本操作。
课程地址:
https://www.edx.org/course/the-analytics-edge
Basic Calculations来看几个基本运算
8*6
48
2^16
65536
Variables先定义几个变量
SquareRoot2 = sqrt(2)
SquareRoot2
1.4142135623731
HoursYear <- 365*24
HoursYear
8760
ls()操作可以看到有哪些变量。
ls()
‘HoursYear’ ‘SquareRoot2’
rm可以删除变量。
rm(HoursYear)
VectorsR中构建数组的方式是使用c(1,2)这样的形式,注意R中数组的索引从1开始
array = c(2,3,5,8,13)
array[1]
2
还有一种构建数组的方式是seq(0,100,2),类似于Python中的range(0,100,2),不同之处在于 ...
台大实分析单元 3 测度 1
这一讲将讨论测度以及可测性,介绍了非常重要的$\lambda -\pi$系方法。
Unit 2 Measurability2.1 Families of sets and set functions首先给出以下定义:
固定一个集合\Omega(称为全集)\\
\Phi :\Omega的非空子集族 \\
\tau: \Phi \to \overline {\mathbb R} = {\mathbb R} \bigcup \{-\infty ,\infty\} \\
\tau称为一个集合函数备注:这一章我们只考虑值域为正实数以及$\infty$的集合函数,即:
\tau: \Phi \to \overline {\mathbb R}^+ = {\mathbb R}^+ \bigcup \{\infty\}对于空集还做如下要求:
如果 {\varnothing} \in \Phi ,我们要求 \tau ({\varnothing}) = 0单调性:
我们称\tau是单调的,\\
如果A \subset B,A,B \in \Phi \Rightarrow \tau(A) \le ...
斯坦福算法专项课程Course1 week4习题解析
这一部分将带来Course1 week4的习题解析。
选择题选择题 1$n$个节点的树最多有多少个不同的minimum cuts?
$n$
$C_n^2$
$2^n -2$
$n-1$
树中minimum cuts对应的边的数量为$1$条,$n$个节点的树有$n-1$条边,每条边对应一个minimum cuts,所以一共有$n-1$个不同的minimum cuts
选择题 2让“output”表示Karger的min cut算法在给定$n$个点连通图上的结果,并令$p = \frac{1}{\binom n 2}$。
以下哪项陈述属实?
对于每个有$n$个顶点的图$G$和每个min cut $(A,B)$
\Pr [\text{out}=(A,B)] \le p
对于每个有$n$个顶点的图$G$,存在一个min cut $(A,B)$使得
\Pr [\text{out}=(A,B)] \ge p
对于每个有$n$个顶点的图$G$,存在一个min cut $(A,B)$使得
\Pr [\text{out}=(A,B)] \le p
对于每个有$n$个顶点的图$G$和每个mi ...
台大实分析单元 2 可加性
这一讲的内容是有关可加性。
先给出一个重要定义
对于a\in \mathbb R,按如下方式定义a^+,a^-\\
a^+=\begin{cases}
a, &a>0\\
0, & a\le 0
\end{cases} ,
a^-=\begin{cases}
-a, &a0, \exists A \in F(I),\\
s.t. 当B \in F(I), B \cap A =\varnothing时,|\sum_{\alpha \in B} C_\alpha|0\\
0, & a\le 0
\end{cases}所以
|\sum_{\alpha \in B} C_\alpha^{+}| = |\sum_{\alpha \in B'} C_\alpha| \\
B' \subset B又因为$B \cap A =\varnothing,B’ \subset B$,所以$B’ \cap A =\varnothing$,从而
\sum_{\alpha \in B} C_\alpha^{+} =|\sum_{\alpha \in B} C_\alpha^{+}| = |\sum ...
TensorFlow基本知识小结
在学习Coursera上MOOC时用到了TensorFlow,之前对这个内容不是很熟悉,这里稍微总结一些基本概念及其使用。
其实之前也看过TensorFlow,但是不是很理解其运作过程,直到MOOC中讲到计算图的时候总算是理解了,先看一个计算图:
我对TensorFlow的理解是TensorFlow先给出计算图的架构(tf.placeholder),将要计算的参数定义为变量(tf.get_variable),然后定义损失函数以及训练方法,注意这些步骤并没有涉及到实际运算,只是把上述计算图及一些相关量搭建好,等这个步骤完成之后,我们再喂入数据进行训练即可,具体流程如下:
来看一个例子,该例子来自于Coursera上Introduction to Deep Learning第二周的内容,这个例子是有关MNIST数据集手写数字识别,这里只给出部分重要的代码。
s = tf.InteractiveSession()
D = 784
### YOUR CODE HERE ### tf.placeholder(...) for flat X with shape[0] = None for ...
台大实分析单元 1 Introduction
本科的时候也学习过实分析,但那时候学的比较差,现在发现这门课真的很重要,所以决定重新学习一遍,网上找了一些资料后发现台大劉豐哲老师的课程不错,决定把这门课自学完,整理一些笔记,记录作业的解答,这部分是第一讲的内容。
附上课程地址:
http://ocw.aca.ntu.edu.tw/ntu-ocw/ocw/cou/105S109/36
Unit 1. Introduction and Examples1.1 Summability of systems of real numbers我们先考虑求和的问题,考虑莱布尼茨级数
\sum_{n=1}^{\infty}\frac { (-1)^{n-1}} n我们知道这个级数收敛,但是这个级数按照不同的顺序相加得到的结果不同,这是一种不太好的性质,所以老师重新定义一种求和式,在这种定义下的收敛和求和顺序无关(相当于绝对收敛)。
考虑一个集合$\{C _\alpha \}_{\alpha \in I}$,$I$是一个指标集,后面为了叙述方便,将$\{C _\alpha \}_{\alpha \in I}$简写为$\{C _\alpha \}$ ...
Coursera Cpp程序设计 week 4
这一周的内容主要是介绍继承和派生,下面回顾下。
课程地址:
coursera:C++程序设计
https://www.coursera.org/learn/cpp-chengxu-sheji
中国大学MOOC:程序设计与算法(三)C++面向对象程序设计
程序设计与算法(三)C++面向对象程序设计
继承和派生基本概念继承:在定义一个新的类B时,如果该类与某个已有的类A相似(指的是B拥有A的全部特点), 那么就可以把A作为一个基类,而把B作为基类的一个派生类(也称子类)。
派生类拥有基类的全部成员函数和成员变量,不论是private、protected、public并且在派生类的各个成员函数中,不能访问基类中的private成员。
来看一个学生类和大学生类,研究生类的例子:
class CStudent {
private:
string sName;
int nAge;
public:
bool IsThreeGood() { };
void SetName ...
Introduction to Deep Learning week 2
第二周的内容介绍了多层感知机(MLP),反向传播以及TensorFlow的基本使用,这里主要回顾多层感知机(MLP)和反向传播的内容。
先来看最简单的神经网络,多层感知机(MLP)
The simplest neural network: MLPMLP考虑如下问题:
我们的目标是区分出标记为$+,-$的点,之前的分类模型对应二维平面一条直线,这张图显然是无法用一条直线来分类,但是我们可以画出多条直线,如下所示:
其中$\sigma(x) =\frac{1}{1+e^{-z}}$。现在我们可以利用得到的$(z_1,z_2,z_3)$再进行分类,画图之后可以发现,这样就可以分类了,把上述过程的计算式写出来:
z_i =\sigma(w_{0,i} +w_{1,i}x_1+w_{2,i}x_2) \\
a(x) = \sigma(w_0+w_1z_1(x)+w_2z_2(x)+w_3z_3(x))\\
\sigma(x) =\frac{1}{1+e^{-z}}上述过程可以用计算图表示出来:
我们的计算图被称为多层感知机(Multi-layer perceptron,MLP),图中的 ...