神经网络介绍

本系列主要是吴恩达深度学习系列视频的笔记，传送门：https://www.coursera.org/deeplearning-ai

神经网络，全称人工神经网络（Artificial Neural Network，ANN），是一种受生物神经系统结构和功能启发的计算模型，专为复杂信息处理而设计。这个概念试图模仿人脑中神经元网络的组织方式来解决计算问题，尤其是在模式识别、分类、预测和决策制定等方面表现出色。

神经网络广泛应用于图像识别、自然语言处理、语音识别、推荐系统、金融预测等领域，是现代人工智能和机器学习技术的核心组件之一。

神经网络的应用

神经网络广泛应用于图像识别、自然语言处理、语音识别、推荐系统、金融预测等领域，是现代人工智能和机器学习技术的核心组件之一。

如今应用深度学习获利最多的一个领域，就是在线广告。这也许不是最鼓舞人心的，但真的很赚钱。具体就是通过在网站上输入一个广告的相关信息，因为也输入了用户的信息，于是网站就会考虑是否向你展示广告。神经网络已经非常擅长预测你是否会点开这个广告，通过向用户展示最有可能点开的广告，这就是神经 网络在很多家公司难以置信地提高获利的一种应用。因为有了这种向你展示你最有可能点击的广告的能力，而这一点击的行为的改变会直接影响到一些大型的在线广告公司的收入。

计算机视觉在过去的几年里也取得了长足的进步，这也多亏了深度学习。你可以输入一个图像，然后想输出一个索引，范围从 1到 1000来试着告诉你这张照片，它可能是，比方说， 1000个不同的图像中的任何一个，所以你可能会选择用它来给照片打标签。

深度学习最近在语音识别方面的进步也是非常令人兴奋的，你现在可以将音频片段输入神经网络，然后让它输出文本记录。得益于深度学习，机器翻译也有很大的发展。你可以利用神经网络输入英语句子，接着输出一个中文句子。

在自动驾驶技术中，你可以输入一幅图像，就好像一个信息雷达展示汽车前方有什么，据此，你可以训练一个神经网络，来告诉汽车在马路上面具体的位置，这就是神经网络在自动驾驶系统中的一个关键成分。

深度学习兴起的原因

深度学习和神经网络之前的基础技术理念已经存在大概几十年了，为什么它们现在才突然流行起来呢？

上面的这张图片中，横轴为数据量，纵轴为表现结果，红线为传统的机器学习模型，在数据量小的时候效果非常明显，但是在数据量变大的时候，效果提升变得不那么明显，上面的几种能够在数据量增大后依然保证效果提升即为神经网络，且神经网络规模越大，效果越好。

在之前的历史中，我们的数据量通常都很小，甚至达不到传统机器学习的瓶颈，所以只用机器学习就可以达到很好的效果。而前几年，随着大数据时代的到来，我们得到的数据量都十分巨大，数远超过机器学习算法能够高效发挥它们优势的规模，是大数据技术的成熟推动了神经网络的应用。

如果你想要获得较高的性能体现，那么你有两个条件要完成，第一个是你需要训练一个规模足够大的神经网络，以发挥数据规模量巨大的优点；另外，你的数据量需要能够达到传统机器学习的瓶颈位置，你需要很多的数据。因此我们经常说规模一直在推动深度学习的进步，这里的规模指的也同时是神经网络的规模。

在最近这几年，我们也见证了算法方面的极大创新。许多算法方面的创新，一直是在尝试着使得神经网络运行的更快。比如最常用到的ReLu函数替代sigmoid函数作为激活函数，关于ReLu函数的细节，我会在后面为你进行详细地讲解。