这次回顾ECE408 Lecture 10，这次介绍了机器学习。

课程主页：

搬运视频：

引子

  • 计算技术的发展是基于这样一个前提，即有一天，计算机器将能够模仿一般的人类智能；
  • 从计算能力的角度来看，摩尔定律推动了智能机器的发展：硬件速度每18个月提高2倍；
  • 然而，软件方面一直是一个令人烦恼的悬而未决的问题；

用软件解决难题（既定方法）

使用传统方法解决问题的思路是从算法包到软件然后到问题：

机器学习重新定义了范式

例子：CNN

机器学习

  • 构建逻辑未被人们完全理解的应用程序；
    • 使用标记数据——带有输入值及其所需输出值的数据——来了解逻辑应该是什么；

机器学习任务

  • 分类
    • 输出属于$k$个类别中的哪一个；
    • 例如：物体识别；
  • 回归
    • 预测给定一些输入的数值；
    • 例如：预测明天的温度；
  • Transcription
    • 将非结构化数据转化为文本形式；
    • 例如：OCR；
  • 翻译
    • 将一种语言的符号序列转换为另一种语言的符号序列；
  • 结构化输出
    • 将输入转换为具有重要关系的向量；
    • 例如：将自然语言句子转化为语法结构树；
  • 其他
    • 预测、异常检测、推荐、采样、去噪、密度估计；

为什么现在机器学习哼流行？

  • 深度学习：DL概念、框架和工具包的进步使所有人都可以轻松访问DL；
  • 计算能力：GPU计算硬件和CUDA等编程接口使得深度神经网络训练的研究周期非常快；
  • 数据：大量廉价传感器、云存储、物联网、照片共享等；
  • 需求：自动驾驶、智能设备、安全、科技带来的社会舒适度、医疗保健、数字农业、数字制造；

问题的类型

根据问题的描述难易和解决难易程度可以作出下图：

“机器学习”方法

  • 挑战
    • 很难将问题形式化；
  • 解决方案
    • 不要把问题形式化，让机器从数据/经验中学习；

经典机器学习

  • 人类选择特征；
  • 学习特征如何与输出相关联；

经典机器学习算法

  • 朴素贝叶斯
    • 使用贝叶斯预测模型组合的独立特征；
  • 感知机
    • “生物/神经”启发方法；
  • 线性/逻辑回归
    • 特征贡献学习执行预测/分类；
  • 支持向量机
    • 大边距法；
  • 决策树/随机森林
    • 空间划分方法；
  • K-均值聚类
    • 用于数据分析的无监督技术；

选择好的特征是很重要的，例如下图：

如果采用极坐标特征，那么可以表示为：

那么是否有可能自动选择特征呢？答案就是深度学习：

多层感知机

如何确定权重？

反向传播算法。

前向过程和反向过程的可视化