有关深层学习的FAU讲义 (FAU LECTURE NOTES ON DEEP LEARNING)

Corona was a huge challenge for many of us and affected our lives in a variety of ways. I have been teaching a class on Deep Learning at Friedrich-Alexander-University Erlangen Nuremberg, Germany for several years now. This summer, our university decided to go “virtual” completely. Therefore, I started recording my lecture in short clips fo 15 minutes each.

对我们许多人而言，电晕是一个巨大的挑战，它以多种方式影响着我们的生活。 几年来，我一直在德国的弗里德里希-亚历山大大学纽伦堡大学教授深度学习课程。 今年夏天，我们的大学决定完全走向“虚拟”。 因此，我开始以每段15分钟的短片记录我的演讲。

For a topic such as “Deep Learning”, you have to update the content of a lecture every semester. Therefore, I was not able to provide lecture notes so far. However, with video recordings and the help of automatic speech recognition, I was able to transcribe the entire lecture. This is why I decided to post a corresponding, manually corrected transcript for every video here on Medium. I was very glad that “Towards Data Science” published all of them in their esteemed publication. They even asked me to create a column “FAU Lecture Notes”. So, I’d like to take this opportunity to thank Towards Data Science for their great support of this project!

对于诸如“深度学习”之类的主题，您必须每学期更新一次演讲的内容。 因此，到目前为止，我无法提供讲义。 但是，借助视频记录和自动语音识别的帮助，我可以转录整个讲座。 这就是为什么我决定为Medium上的每个视频发布一个相应的，手动更正的成绩单。 我很高兴《 迈向数据科学 》在他们尊敬的出版物中发表了所有这些文章。 他们甚至要求我创建一列“ FAU讲义 ”。 因此，我想借此机会感谢Towards Data Science对这个项目的大力支持！

To streamline the creation of the blog posts, I create a small tool chain “autoblog” that I also make available free of charge. All content here is also released unter CC BY 4.0 unless stated otherwise. So, you are also free to reuse this content.

为了简化博客文章的创建，我创建了一个小的工具链“ autoblog ”，我也免费提供它。 除非另有说明，否则此处所有内容也将在CC BY 4.0下发布。 因此，您也可以自由地重用此内容。

In the following, I list the individual posts grouped by Chapter with a link to the respective videos. In case, you prefer the video, you can also watch the entire lecture as playlist. Note that I upgraded my recording equipment twice this semester. You should see that the video quality improve from Chapter 7— Architectures and Chapter 9 — Visualization & Attention.

在下文中，我列出了按章节分组的各个帖子，以及指向相应视频的链接。 如果您喜欢视频，还可以将整个演讲作为播放列表观看 。 请注意，本学期我两次升级了录音设备。 您应该看到视频质量从第7章“体系结构”和第9章“可视化与注意”得到改善。

So, I hope you find these posts and videos useful. I case you like, them please leave a comment, or recommend this project to your friends.

因此，我希望您发现这些帖子和视频有用。 如果您喜欢，他们请留下评论，或将此项目推荐给您的朋友。

第一章简介 (Chapter 1 — Introduction)

In these videos, we introduce the topic of Deep Learning and show some highlights in terms of literature and applications

在这些视频中，我们介绍了深度学习的主题，并在文学和应用方面展示了一些亮点

Part 1: Motivation & High Profile Applications (Video)Part 2: Highlights at FAU (Video)Part 3: Limitations of Deep Learning and Future Directions (Video)Part 4: A short course in Pattern Recognition (Video)Part 5: Exercises & Outlook (Video)

第1部分： 动机和高调应用 ( 视频 )第2部分： FAU的要点 ( 视频 )第3部分： 深度学习的局限性和未来方向 ( 视频 )第4部分： 模式识别短期课程 ( 视频 )第5部分： 练习和Outlook ( 视频 )

第2章-前馈网络 (Chapter 2 — Feedforward Networks)

Here, we present the basics of pattern recognition, and simple feedforward networks included the concept of layer abstraction.

在这里，我们介绍了模式识别的基础，简单的前馈网络包括了层抽象的概念。

Part 1: Why do we need Deep Learning? (Video)Part 2: How can Networks actually be trained? (Video)Part 3: The Backpropagation Algorithm (Video)Part 4: Layer Abstraction (Video)

第1部分： 为什么我们需要深度学习？ ( 视频 )第2部分： 如何实际训练网络？ ( 视频 )第3部分： 反向传播算法 ( 视频 )第4部分： 层抽象 ( 视频 )

第三章损失与优化 (Chapter 3 — Loss & Optimization)

Some background on loss functions and the relation of deep learning to classical methods such as the Support Vector Machine (SVM).

关于损失函数以及深度学习与经典方法(例如支持向量机(SVM))的关系的一些背景。

Part 1: Classification and Regression Losses (Video)Part 2: Do SVMs beat Deep Learning? (Video)Part 3: Optimization with ADAM and beyond… (Video)

第1部分： 分类和回归损失 ( 视频 )第2部分： SVM是否击败了深度学习？ ( 视频 )第3部分： 使用ADAM和其他功能进行优化… ( 视频 )

第4章-激活，卷积和池化 (Chapter 4 — Activations, Convolution & Pooling)

In this chapter, we discuss classical activation functions, modern versions, the concept of convolutional layers as well as pooling mechanisms.

在本章中，我们讨论经典的激活函数，现代版本，卷积层的概念以及池化机制。

Part 1: Classical Activations (Video)Part 2: Modern Activations (Video)Part 3: Convolutional Layers (Video)Part 4: Pooling Mechanisms (Video)

第1部分： 经典激活 ( 视频 )第2部分： 现代激活 ( 视频 )第3部分： 卷积层 ( 视频 )第4部分： 池化机制 ( 视频 )

第五章正则化 (Chapter 5 — Regularization)

This chapter looks into the problem of overfitting and discusses several common methods to avoid it.

本章探讨了过度拟合的问题，并讨论了避免这种情况的几种常用方法。

Part 1: The Bias-Variance Trade-off (Video)Part 2: Classical Techniques (Video)Part 3: Normalization & Dropout (Video)Part 4: Initialization & Transfer Learning (Video)Part 5: Multi-task Learning (Video)

第1部分： 偏差-偏差权衡 ( 视频 )第2部分： 经典技巧 ( 视频 )第3部分： 标准化和辍学 ( 视频 )第4部分： 初始化和转移学习 ( 视频 )第5部分： 多任务学习 ( 视频 )

第6章-常规做法 (Chapter 6 — Common Practices)

This chapter is dedicated to common problems that you will face in practice ranging from hyperparameters to performance evaluation and significance testing.

本章专门讨论您将在实践中遇到的常见问题，从超参数到性能评估和重要性测试。

Part 1: Optimizers & Learning Rates (Video)Part 2: Hyperparameters and Ensembling (Video)Part 3: Class Imbalance (Video)Part 4: Performance Evaluation (Video)

第1部分： 优化器和学习率 ( 视频 )第2部分：超参数和集合 ( 视频 )第3部分： 类不平衡 ( 视频 )第4部分： 性能评估 ( 视频 )

第7章-体系结构 (Chapter 7 — Architectures)

In this chapter, we present the most common and popular architectures in deep learning.

在本章中，我们介绍了深度学习中最常见和最受欢迎的架构。

Part 1: From LeNet to GoogLeNet (Video)Part 2: Deeper Architectures (Video)Part 3: Residual Networks (Video)Part 4: The Rise of the Residual Connections (Video)Part 5: Learning Architectures (Video)

第1部分： 从LeNet到GoogLeNet ( 视频 )第2部分： 更深的体系结构 ( 视频 )第3部分： 残留网络 ( 视频 )第4部分： 残留连接的兴起 ( 视频 )第5部分： 学习体系结构 ( 视频 )

第8章递归神经网络 (Chapter 8 — Recurrent Neural Networks)

Recurrent neural networks allow the processing and generation of time-dependent data.

递归神经网络允许处理和生成时间相关的数据。

Part 1: The Elman Cell (Video)Part 2: Backpropagation through Time (Video)Part 3: A Tribute to Schmidhuber — LSTMs (Video)Part 4: Gated Recurrent Units (Video)Part 5: Sequence Generation (Video)

第1部分： Elman单元 ( 视频 )第2部分： 通过时间的反向传播 ( 视频 )第3部分： 向Schmidhuber致敬-LSTM ( 视频 )第4部分： 门控循环单元 ( 视频 )第5部分： 序列生成 ( 视频 )

第9章-可视化和注意 (Chapter 9 — Visualization & Attention)

Visualization methods are used to explore weaknesses of deep nets and to provide better ways of understanding them.

可视化方法用于探索深层网络的弱点并提供更好的理解它们的方式。

Part 1: Architecture & Training Visualization (Video)Part 2: Confounders & Adversarial Attacks (Video)Part 3: Direct Visualization Methods (Video)Part 4: Gradient and Optimisation-based Methods (Video)Part 5: Attention Mechanisms (Video)

第1部分： 体系结构和培训可视化 ( 视频 )第2部分： 混杂因素和对抗攻击 ( 视频 )第3部分： 直接可视化方法 ( 视频 )第4部分： 基于梯度和基于优化的方法 ( 视频 )第5部分： 注意机制 ( 视频 )

第十章强化学习 (Chapter 10 — Reinforcement Learning)

Reinforcement learning allows training of agent systems that can act on their own and control games and processes.

强化学习允许培训可以独立执行并控制游戏和流程的代理系统。

Part 1: Sequential Decision Making (Video)Part 2: Markov Decision Processes (Video)Part 3: Policy Iteration (Video)Part 4: Alternative Approaches (Video)Part 5: Deep Q-Learning (Video)

第1部分： 顺序决策 ( 视频 )第2部分： Markov决策过程 ( 视频 )第3部分： 策略迭代 ( 视频 )第4部分： 替代方法 ( 视频 )第5部分： 深度Q学习 ( 视频 )

第十一章—无监督学习 (Chapter 11 — Unsupervised Learning)

Unsupervised learning does not require training data and can be used to generate new observations.

无监督学习不需要训练数据，可以用来产生新的观察结果。

Part 1: Motivation & Restricted Boltzmann Machines (Video)Part 2: Autoencoders (Video)Part 3: Generative Adversarial Networks — The Basics (Video)Part 4: Conditional & Cycle GANs (Video)Part 5: Advanced GAN Methods (Video)

第1部分： 动机和受限制的Boltzmann机器 ( 视频 )第2部分：自动编码器 ( 视频 )第3部分： 生成对抗网络-基础 ( 视频 )第4部分： 有条件和循环GAN ( 视频 )第5部分： 高级GAN方法 ( 视频 )

第十二章—分段与对象检测 (Chapter 12 — Segmentation & Object Detection)

Segmentation and Detection are common problems in which deep learning is used.

分割和检测是使用深度学习的常见问题。

Part 1: Segmentation Basics (Video)Part 2: Skip Connections & More (Video)Part 3: A Family of Regional CNNs (Video)Part 4: Single Shot Detectors (Video)Part 5: Instance Segmentation (Video)

第1部分： 分段基础知识 ( 视频 )第2部分： 跳过连接及更多内容 ( 视频 )第3部分： 区域CNN系列 ( 视频 )第4部分： 单发检测器 ( 视频 )第5部分： 实例分段 ( 视频 )

第十三章—弱者和自我监督学习 (Chaper 13 — Weakly and Self-supervised Learning)

Weak supervision tries to minimize required label effort while self-supervision tries to get rid of labels completely.

弱监督试图最大程度地减少所需的标签工作量，而自我监督则试图完全摆脱标签问题。

Part 1: From Class to Pixels (Video)Part 2: From 2-D to 3-D Annotations (Video)Part 3: Self-Supervised Labels (Video)Part 4: Contrastive Losses (Video)

第1部分： 从类到像素 ( 视频 )第2部分： 从2D到3D注释 ( 视频 )第3部分： 自我监督的标签 ( 视频 )第4部分： 对比损失 ( 视频 )

第十四章图深度学习 (Chapter 14 — Graph Deep Learning)

Graph deep learning is used to process data available in graphs and meshes.

图深度学习用于处理图和网格中可用的数据。

Part 1: Spectral Convolutions (Video)Part 2: From Spectral to Spatial Domain (Video)

第1部分： 谱卷积 ( 视频 )第2部分： 从谱域到空间域 ( 视频 )

第十五章—已知的操作员学习 (Chapter 15 — Known Operator Learning)

Known operators allow the insertion of prior knowledge into deep networks reducing the number of unknown parameters and improving generalization properties of deep networks.

已知的运算符允许将先验知识插入到深度网络中，从而减少未知参数的数量并改善深度网络的泛化特性。

Part 1: Don’t re-invent the Wheel (Video)Part 2: Boundaries on Learning (Video)Part 3: CT Reconstruction Revisited (Video)Part 4: Deep Design Patterns (Video)

第1部分： 不要重新发明轮子 ( 视频 )第2部分： 学习的边界 ( 视频 )第3部分：重新研究CT重建 ( 视频 )第4部分： 深层设计模式 ( 视频 )

致谢 (Acknowledgements)

Many thanks to Katharina Breininger, Weilin Fu, Tobias Würfl, Vincent Christlein, Florian Thamm, Felix Denzinger, Florin Ghesu, Yan Xia, Yixing Huang Christopher Syben, Marc Aubreville, and all our student tutors for their support in this and the last semesters, for creating these slides and corresponding exercises, teaching the class in presence and virtually, and the great team work over the last few years!

非常感谢Katharina Breininger，Weilin Fu，TobiasWürfl，Vincent Christlein，Florian Thamm，Felix Denzinger，Florin Ghesu，Yan Xia，Yixing Huang Christopher Syben，Marc Aubreville，以及我们所有的学生导师在本学期和上学期的支持，制作这些幻灯片和相应的练习，在场和虚拟授课，以及过去几年中出色的团队合作！

In case, you are not a subscriber to Medium, and have trouble accessing the material, we also host all of the blog posts on the Pattern Recognition Lab’s Website.

如果您不是Medium的订户，并且在访问材料时遇到问题，我们还将在Pattern Recognition Lab的网站上托管所有博客文章。

If you liked this post, you can find more essays here, more educational material on Machine Learning here, or have a look at our Deep Learning Lecture. I would also appreciate a follow on YouTube, Twitter, Facebook, or LinkedIn in case you want to be informed about more essays, videos, and research in the future. This article is released under the Creative Commons 4.0 Attribution License and can be reprinted and modified if referenced. If you are interested in generating transcripts from video lectures try AutoBlog.

如果你喜欢这篇文章，你可以找到这里更多的文章 ，更多的教育材料，机器学习在这里 ，或看看我们的深入 学习 讲座 。 如果您希望将来了解更多文章，视频和研究信息，也欢迎关注YouTube ， Twitter ， Facebook或LinkedIn 。 本文是根据知识共享4.0署名许可发布的 ，如果引用，可以重新打印和修改。 如果您对从视频讲座中生成成绩单感兴趣，请尝试使用AutoBlog 。