人工智能Artificial Intelligence最早是在1956年提出的。几个计算机科学家在达特茅斯会议上希望能使计算机不仅仅是进行简单的计算，而是可以达到人脑相同的功能。关于人工智能，罗辑思维节目还做过一期节目，里面讲到人工智能一开始被嘲笑，它有多智能，就有多少人工，而且诡异的是，每当人工智能取得一些进步，我们就马上认为这是常规方法得到的结果，从而认定它不算是人工智能了。可见，人工智能还在发展中。

而机器学习Machine Learning就是实现人工智能的方法。事实上计算机专家提出的人工智能就是以机器为基础的。只是后来发现除了用机器和代码，人工智能也可以用生物学等方法实现，其实神经网络的发展也离不开脑神经学的研究。现在的机器学习，特指统计机器学习，基于计算机和数据，构建概率统计模型，然后再根据模型对数据进行预测和分析。李航博士的《统计学习方法》讲解了一些重要的统计学习的方法。关于学习，Herbert A.Simon有过这样一个定义：如果一个系统能够通过执行某个过程改进它的性能，这就是学习。我认为从字面意思，学习有两层意思，一个是学，得到一个概念，是从无到有的过程；一个是习，练习，鸟复飞也，是不断练习，不断强化，不断熟练的过程。

深度学习是机器学习的一种，是最近基于大数据和计算能力的提升（GPU的使用、云计算，并行处理）才得到了广泛的运用。只不过随着一些特有的学习手段的提出（如残差网络、GAN网络、CNN、LSTM长期短期记忆），开始被单独视为一种学习方法。

深度之所以称之为深度，主要就是需要训练神经网络（使用有监督或者无监督的学习方法），而且层数越来越高。而在深度学习之前的机器学习，对比之下就是浅层学习，这种早期的机器学习甚至都没有使用神经网络，因为简单的SVM就可以达到相同的效果。神经网络其实只是机器学习其中的一种模型，除此之外传统的机器学习的算法还包括决策树、聚类、贝叶斯分类、EM、Adaboost等；从学习方法上看，机器学习又可分为监督学习、无监督学习、半监督学习、集成学习、深度学习和强化学习。所以我们看到正如之前讲到的，深度学习是机器学习的一种。并且几种学习方法之间是相互渗透的，深度学习也会用监督或者无监督的学习方法来训练神经网络。

传统机器学习和深度学习的一个很重要的区别就是“特征工程”。传统机器学习的模型因为比较简单，容易造成欠拟合，即不能较好地表征输入的信息，如模型是线性关系，则不能表征二次曲线。所以传统机器学习需要我们人为地找到输入信息的特征，即特征提取，比如一些滤波器，找到输入图像的边缘，角点等。

下面主要说一下深度学习的发展。

深度学习之前还有流形学习和稀疏学习，现在是深度学习的天下，但它也有一些问题，比如需要大量数据来训练，不适用于简单的领域，不能完全模拟人脑。吴恩达表示，接下来的机器学习，可能是迁移学习的天下。

Reference：

人工智能、机器学习和深度学习的区别? - 育心的回答 - 知乎

https://www.zhihu.com/question/57770020/answer/249708509