一份帮助你更好地理解深度学习的资源清单

摘要： 深度学习朝着可解释的方向发展，理解背后的基本原理显得更加重要。本文是一份帮助读者更好地理解深度学习基本过程的清单，便于初学者和部分起步者针对性地补充自己的知识体系。

人工智能和深度学习太火了，火得一塌糊涂，有很多人想从事这个行业。网络上也有很多教程可供大家开始深度学习。如果你完全是一个小白，那么你可以在入行时选择使用极好的斯坦福课程CS221或[CS224]()，Fast AI课程或深度学习AI课程。除了深度学习AI之外的课程，其它的课程都可以在家中舒适地免费学习。此外，你只需要一台好的计算机（最好使用Nvidia GPU），就可以正式地迈出深度学习的第一步。
然而，本文内容并没有解决绝对的初学者问题，一旦你对深度学习算法的工作方式有了一些感觉，你可能会想要进一步地了解整个过程是如何运作的。虽然深度学习中的大多数工作是添加像卷积层（Conv2d）这样的层、在ADAM等不同类型的优化策略中更改超参数或者通过编写一行命令来改变使用Batchnorm。深度学习方法一直被人称为是一个“黑匣子”，很多人可能会想知道背后发生的事情。本文是一个资源列表，可能会帮助你了解背后的过程，比方说放置卷积层或在Theano中调用T.grad时发生的过程。

论文|General Treatise

深度学习花书（Deep Learning Book）是最知名的资源，一直占据各大电商相关书籍排行榜的第一位。其他很好的资源是Charniak教授的课程和论文，主要是关于深度学习技术的介绍。如果还想从特定的角度理解事物，还有其他的一些资源可能需要学习。例如，本教程是从应用数学家的角度编写的，如果你只是想在没有任何理论基础的情况下开始编程实践，那么请阅读这个资源。另外推荐的一个资源是关于PyTorch的深度学习课程，该课程将自下而上地对内容进行讨论，帮助你开阔视角。

关于反向传播的问题|Backpropogation

在很多时候，进入深度学习领域前，需要掌握的第一个算法就是反向传播（Backpropogation）算法，这是因为神经网络中的参数更新方法过程大多数是反向传播算法。当你不知道“梯度下降和反向传播有什么关联？”或“链式法则和反向传播究竟是什么？”时，为了理解基础知识，我们可以选择去阅读Rumelhart、Hinton和Williams的原始论文，这篇论文是一篇非常简单易懂的文章。
其他一些非常有用的资源可以在此阅读完原始论文的基础上，进一步阅读Karpathy关于反向推导的博客和解释反向推导的视频。

线性代数和其他数学|Linear Algebra & other Maths

任何有志于学习线性代数的人都会人转向学习Strang教授的课程，这个课程可能是市面上学习线性代数的最佳资源。类似于Boyd教授的优化课程或矢量微积分的微积分书（可以在网络上找到pdf电子版）。然而，人们并不需要完全地学会这些资源，深度学习所需要的数学知识深度没有那么的深。一个非常好的快速入门方法就是快速地复习一遍所有必备的微积分深度学习课程。还有一套非常好的讲义，该讲义只关注深度学习中使用的凸优化理论。另外一个很好的资源是Sebastian Reuder的论文。

自动微分和深度学习框架|Automatic Differentiation & Deep Learning Libraries

进行深度学习时，自动微分法（Automatic Differentiation）并不是你必须知道的知识。对于大大多数框架而言，比如Torch、Theano或tensorflow都会自动地为你完成这个算法。在大多数情况下，你甚至不必知道如何进行微分，也就是说，如果你决定进一步深入了解深度学习框架的工作原理，那么你可能需要了解自动微分法是如何工作的。了解深度学框架库功能其它的好资源可以在这个博客和视频中找到。

卷积神经网络|Convolutional Neural Networks

当你完成一些使逆能够使用基本神经网络的课程后，你可能需要的最有用的知识是了解卷积处理图像的过程。 “在输入上应用某种类型的卷积后，输出形状是什么？”、“步幅（stride）如何影响卷积？”，“什么是批量标准化（Batch Normalization）？”等类似的内容。我在遇到这些类型的应用问题时，找到的两个最好的资源是该教程和Ian Goodfellow的讨论。如果你有其它的想法，可以在这里对卷积网络进行更全面的评论。这篇关于对象检测的综述性文章是关于卷积神经网络这一主题非常好的资源。

深度学习中的自然语言处理|NLP

之前指出，斯坦福大学C224课程是学习NLP的一个非常好的起点，在学习完该课程之后，应该能够对所有的事情处理得很好。此外，还有Graham Neubig（使用dynet工具包）在youtube上的课程以及Yoav Goldberg的NLP书，还有一份关于NLP进展的综述性文章在此。关于是否在文本上使用CNN或RNN（LSTM / GRU）还有一个公开讨论的问题，这里有一个很好的概述。

强化学习|Reinforcement Learning

sutton和Barto（1998）可以说是强化学习领域的一本圣经，这本书是免费的，可以在这里获取。这个资源提供了一份对最近的深度强化学习方法非常好的回顾，这个资源有关于强化学习的非常有趣的教程。
蒙特卡洛树搜索（Monte Carlo Tree Search）（这是Deepmind除了深度强化学习技术之外的AlphaGo算法的一部分）的详细介绍在此，但我使用一个快速教程来理解它。

其他一些好的综述/教程|reviews & tutorials

关于GAN（生成性对抗网络）和生成模型的一个很好的教程是Goodfellow在ICLR 2016中给出，可以在这里找到。神经网络已被用于迁移艺术（例如在Prisma应用程序中），可以在此处找到有关方法的详细介绍。 Reuder对多任务学习（由同一神经网络组合多个任务）的另外一个很好的调查研究可以在此查看。

评论|Criticisms

尽管深度学习在多个任务上的表现十分出色，但我们自己心里清楚，还有一些地方尚未明确或效果不好。一些好的评论是Shalev-Shwartz等人关于基于梯度学习算法的失败，还有在Hinton大牛的演讲中列举出的一些关于卷积神经网络的问题，以及卷积神经网络如何解读它们所训练的图像的负面影响。此处的一个评论在几天之后就变成了病毒性/争议性的话题，还有关于恶意使用深度学习的广泛报道。