学习视频：第1章-绪论_哔哩哔哩_bilibili
西瓜书对应章节： 第一章

---

机器学习三观

What：什么是机器学习？

关键词：“学习算法”

Why: 为什么要学机器学习？

#### 1. 机器学习理论研究#### 2. 机器学习系统开发#### 3. 机器学习算法迁移 （AI+）#### 4. AI 应用方向研究：NLP, CV, 推荐系统

How: 怎样学习深度学习？

#### - 纯理论研究
#### - 系统的开发

#### - 算法迁移 （AI for Science)
#### - AI 应用方向研究

---

基础核心知识概念

假设空间 & 版本空间

假设空间定义了所有可能的解决方案；版本空间则是在考虑了训练数据后，认为可能正确的解决方案的集合

算法

从数据中学得模型的“具体方法”，其产出结果称为“模型”

样本（示例）

关于一个事件或对象的描述。用向量进行表示，向量中的各个维度称为“特征”或“属性“。向量中的元素用分号 ";" 表示为列向量，用逗号 ","表示为行向量。

标记

学习样本在某方面的表现存在潜在规律的的信息。

样本空间 & 标记空间

所有可能的输入数据或特征向量的集合；
所有可能的输出标签或目标值的集合

机器学习任务分类 （根据标记取值类型不同）

- 标记取值为“离散型”， 任务为 分类
- 标记取值为 “连续型”， 任务为 回归

机器学习任务分类 （根据是否用到标记信息）

- 训练阶段有用到标记信息，此类任务为 “监督学习”
- 训练阶段没用到标记信息，此类任务为 “无监督学习”

数据集

- 通常用集合表示
- 一般同一份数据集中的每个样本都含相同个数的特征
- 样本 $x_{ij}$ 表示样本 $x_i$ 在第 j 个属性上的取值

泛化

模型对未在训练过程中见过的数据进行准确预测的能力

分布

概率论中的概率分布。

归纳偏好

不同的机器学习算法有不同的偏好- 最常用的评价方法是 - 基于模型在测试集上的表现评判模型的优劣。
- 机器学习算法没有绝对的优劣之分，只有是否适合当前待解决问题之分。

• **没有免费的午餐定理（NFL)**: 众算法生而平等（哪个算法训出来的模型在测试集上表现好哪个算法 nb）。

数据决定模型的上限，算法则是让模型无限逼近上限

- 数据决定模型的上限

数据是指从 数据量 和 特征工程 两个角度考虑

• 通常数据量越大模型效果越好
• 通常对特征数值化越合理，特征收集越全越细致，模型效果通常越好

---