监督式学习

让我们首先谈谈监督学习问题的几个例子。假设我们有一个数据集，给出了俄勒冈州波特兰市47所房屋的房间大小和价格：

作图可得：

根据这样的数据，我们如何根据房间大小来学习预测波特兰其他房屋的价格？

我们将使用$x^{(i)}$来表示“输入”变量（这个例子中为房间大小），也称为输入特征，$y^{(i)}$表示“输出”或我们正试图预测的目标变量（此处为价格）。一对$(x^{(i)},y^{(i)})$被称为训练样本，我们将用于学习的数据集——$m$个训练样本$\{(x^{(i)},y^{(i)});i=1,…,m\}$——被称为训练集。请注意，符号中的上标$(i)$只是训练集的索引，与取幂运算无关。我们还将使用$\mathcal X$表示输入值所在空间，并使用$\mathcal Y$表示输出值所在空间。在这个例子中，$\mathcal X=\mathcal Y =\mathbb R$

为了更正式地描述监督式学习问题，我们的目标是，给定训练集，学习函数$h:\mathcal X \mapsto \mathcal Y$，使得$h(x)$是对$y$的“好”预测器。由于历史原因，该函数$h$被称为假设。从图中可以看出，这个过程是这样的：

当我们试图预测的目标变量是连续时，例如在我们的住房示例中，我们将学习问题称为回归问题。当$y$只能取离散值时，我们将其称为分类问题。