CS231 第二讲 图像分类

课程视频地址:https://study.163.com/courses-search?keyword=CS231

课程主页:http://cs231n.stanford.edu/2017/

这一讲主要介绍图像分类问题。

图像分类

图像分类是计算机视觉的核心任务,问题的形式为给定图片,让计算机判断它属于哪一类,具体如下:

因为图片有视角,大小,种类差异等问题,所以直接设计一个算法来进行分类是很困难的,所以这里采取数据驱动的方法:

  • 1.收集图像数据和标签
  • 2.使用机器学习训练分类器
  • 3.在新的图片上评估分类器

程序的接口如下:

下面介绍这里使用的第一个算法Nearest Neighbor

Nearest Neighbor

Nearest Neighbor算法思路非常简单,直接计算测试图片和训练图片的“距离”,然后将距离最小的训练图片的标签附给测试图片即可,这里常用的距离如下:

${L_1}​$距离的例子如下:

不难看出这里的训练时间为$O(1)​$,预测时间为$O(N)​$,其中$N​$为训练集中图片的数量,所以这个算法在实际中不常用,因为我们一般希望预测时间要非常短。

Nearest Neighbor的自然推广是K-Nearest Neighbor,即找到距离最近的$k$个图片,根据这$k$个图片的投票结果预测图片。

于是现在产生了两个问题,K-Nearest Neighbor的$k$应该选择多少,距离应该使用哪个?这两个量被称为超参数,超参数是指算法中需要选择的参数,而不是模型本身的参数。关于超参数的选择,比较好的有如下两个方法:

第一种方法为讲数据分为训练集,验证集,以及测试集。在训练集上训练模型,通过验证集的效果来选择超参数,模型确定后在测试集上检验效果,示意图如下:

第二种方法为交叉验证。首先将数据分为训练集和测试集,然后将训练集拆分为$k$个部分,每次在$k-1$组数据上训练数据,然后在剩下一组数据上评估模型,这样一共要训练$k$次,取$k$次评估结果的平均值为最终评估结果,根据这个结果来选择超参数,示意图如下:

不难看出,第二种方法需要的计算量非常大,所以在深度学习中,这个选择超参数的方法并不常用。

在实际中,K-Nearest Neighbor从不使用,主要因为如下原因:

  • 1.测试时间太长

  • 2.像素的距离指标不提供信息,例如下面右边三个图和最左边的图的$L_2$距离相同(人为产生的),但显然这三张图差别很大

  • 3.维度灾难,即当数据的维度太大时,计算非常慢。

线性分类器(Linear Classification)

线性分类器是使用参数的方法,形式如下:

即给定一个图片,我们将其转换为向量$x$,然后计算

这里输出结果为$10​$维向量,然后根据最大分量决定图片属于哪一类,来看一个具体例子:

上图的分类器告诉我们这张图片应该分类为Dog(显然这是一个不大好的分类器)。

那么线性分类器该如何解释呢?$W$可以解释为“模具”,具体如下:

不难看出汽车类的“模具”确实和汽车非常接近。(上述“模具”产生的方式为将$W$的行向量还原为图片)

另一种解释是将图片看成高维空间中的点,那么$Wx+b=0$表示一个平面,这也是线性分类器名称的由来:

那么线性分类器是万能的吗?显然不是,例如如下几个例子都不能用线性分类器进行分类:

现在假设我们可以使用线性分类器进行分类,接下来的问题是如何找到一个好的$W$?这也是下一讲的内容。

本文标题:CS231 第二讲 图像分类

文章作者:Doraemonzzz

发布时间:2019年01月24日 - 22:15:00

最后更新:2019年02月27日 - 13:43:35

原始链接:http://doraemonzzz.com/2019/01/24/CS231 第二讲 图像分类/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。