这次回顾ECE408 Lecture 10,这次介绍了机器学习。

课程主页:

搬运视频:

引子

  • 计算技术的发展是基于这样一个前提,即有一天,计算机器将能够模仿一般的人类智能;
  • 从计算能力的角度来看,摩尔定律推动了智能机器的发展:硬件速度每18个月提高2倍;
  • 然而,软件方面一直是一个令人烦恼的悬而未决的问题;

用软件解决难题(既定方法)

使用传统方法解决问题的思路是从算法包到软件然后到问题:

机器学习重新定义了范式

例子:CNN

机器学习

  • 构建逻辑未被人们完全理解的应用程序;
    • 使用标记数据——带有输入值及其所需输出值的数据——来了解逻辑应该是什么;

机器学习任务

  • 分类
    • 输出属于$k$个类别中的哪一个;
    • 例如:物体识别;
  • 回归
    • 预测给定一些输入的数值;
    • 例如:预测明天的温度;
  • Transcription
    • 将非结构化数据转化为文本形式;
    • 例如:OCR;
  • 翻译
    • 将一种语言的符号序列转换为另一种语言的符号序列;
  • 结构化输出
    • 将输入转换为具有重要关系的向量;
    • 例如:将自然语言句子转化为语法结构树;
  • 其他
    • 预测、异常检测、推荐、采样、去噪、密度估计;

为什么现在机器学习哼流行?

  • 深度学习:DL概念、框架和工具包的进步使所有人都可以轻松访问DL;
  • 计算能力:GPU计算硬件和CUDA等编程接口使得深度神经网络训练的研究周期非常快;
  • 数据:大量廉价传感器、云存储、物联网、照片共享等;
  • 需求:自动驾驶、智能设备、安全、科技带来的社会舒适度、医疗保健、数字农业、数字制造;

问题的类型

根据问题的描述难易和解决难易程度可以作出下图:

“机器学习”方法

  • 挑战
    • 很难将问题形式化;
  • 解决方案
    • 不要把问题形式化,让机器从数据/经验中学习;

经典机器学习

  • 人类选择特征;
  • 学习特征如何与输出相关联;

经典机器学习算法

  • 朴素贝叶斯
    • 使用贝叶斯预测模型组合的独立特征;
  • 感知机
    • “生物/神经”启发方法;
  • 线性/逻辑回归
    • 特征贡献学习执行预测/分类;
  • 支持向量机
    • 大边距法;
  • 决策树/随机森林
    • 空间划分方法;
  • K-均值聚类
    • 用于数据分析的无监督技术;

选择好的特征是很重要的,例如下图:

如果采用极坐标特征,那么可以表示为:

那么是否有可能自动选择特征呢?答案就是深度学习:

多层感知机

如何确定权重?

反向传播算法。

前向过程和反向过程的可视化