机器学习致力于研究如何通过计算的手段、利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”的形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即“学习算法”。

1 基本术语

数据集：下面记录的集合称为一个“数据集”

示例或样本：每条记录是关于一个事件或对象的描述。

属性：反映事件或对象在某方面的表现或性质的事项，例如“色泽”“敲声”等

属性值：属性上的取值，例如“青绿”“乌黑'

属性空间或样本空间：属性张成的空间

特征向量：因为每一个样本都可以表示为特征空间中的一点，即为一个坐标向量。所以我们也把一个样本称为一个特征向量

样例：拥有了标记信息的示例

监督学习：分类、回归

无监督学习：聚类

泛化能力：学得模型适用于新样本的能力。

2 假设空间

        归纳学习：有狭义与广义之分,广义的归纳学习大体相当于从样例中学习，而狭义的归纳学习则要求从训练数据中学得概念(concept),因此亦称为“概念学习”或“概念形成”．概念学习技术目前研究、应用都比较少,因为要学得泛化性能好且语义明确的概念实在太困难了,现实常用的技术大多是产生“黑箱”模型.然而,对概念学习有所了解,有助于理解机器学习的一些基础思想.

布尔概念学习：即对“是”、“不是”进行学习。

3 归纳偏好

        机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”

        对于任意两个学习算法，无论哪个算法更加”聪明“或者更加”笨拙"，它们的期望性能竟然相同。这就是”没有免费的午餐“定理（No Free Lunch Theorem,简称NFL定理)

        前提:所有的问题出现的机会相同，所有问题同等重要。但是实际情况并不是这样。很多时候我们只关心自己试图解决的问题，希望为他找到一个解决方案，至于这个解决方案在别的问题，甚至相似问题是是否为好方案，我们并不关心。

        NFL定理最重要的寓意，是让我们清楚的认识到，脱离实际问题，空谈“什么学习算法更好”毫无意义，因为若考虑潜在的问题，则所有的学习算法一样好，要谈算法的相对优劣，必须针对具体的学习问题。