【完结】史上最萌最认真的机器学习/深度学习/模式识别入门指导手册(四)

小夕再次感谢大家的关心，你们的小夕已经满血复活啦！小夕会坚持为大家带来独一无二的干货和故事哦。

前言

有读者反映，ta若能完成这个系列的阶段三，就在他们实验室被奉为神了。因为他们实验室每个人人手一本《模式分类》，却没有一个人坚持读完——实在太难了。

对此，小夕再补充一下，其实这种“太难”的情绪是会蔓延的，而且可能严重抬高你对这本书的认知。任何一本大牛写的书都不可能像读小说一样读完，小夕曾经在《模式分类》这本书第30页及附近卡了7小时（因为当时数学基础的原因），当时小夕连超平面都不知道是什么，也不知道凸包是什么，为了看懂这一页，Wiki了一堆新名词，还翻出概率统计的书补了好久。但是读完这一页后发现后面的阅读难度越来越小，不得不说后面大量出现了这7小时学到的知识。直到看到后面期望最大化算法（EM算法）又卡了N小时（依然是因为数学），卡完这里之后就一路轻松了~

对了，特别叮嘱一句，《模式分类》这本书不是工具书！千万不要断章取义，如果你要理解第五章第二节的内容，那么一定要从第五章开头认真啃。这本书的连贯性很强，单独抽出某一节来读的话很难读懂的。

阶段四-完结

最优化算法-下

前置课程
- 高等数学
- 计算机编程语言
- 面向过程编程
- 算法
主参考资料
- 《智能优化方法》汪定伟
辅助参考资料
- 《模式分类》第七章
- CSDN等平台的优秀博客
重点内容
- 遗传算法
- 模拟退火
高级内容
- 禁忌搜索算法
- 蚁群算法
- 粒子群优化算法
学习方法

参考重点内容，理解《智能优化方法》中的算法思想和过程。
而后争取用Matlab或Python对重点内容中的算法进行实现，可以适当参考CSDN等平台上优秀博客中的代码。
有强烈求知欲的同学可以酌情了解高级内容的算法。

意义
在“最优化算法-上”中我们学习了一阶优化、二阶优化的常用算法，这些都属于传统的最优化算法，已经被广泛的用于机器学习与模式识别领域。而这些传统的算法有很多局限性，比如只从一个初始点出发，难以进行并行计算，计算效率低；要求问题为凸问题，否则容易陷入局部极小点（非双凸的条件下，无法跳出局部最优解）。
而该课程则是属于现代优化算法的内容，也叫智能优化算法，其具有全局优化、适合并行处理等优点，因此被广泛或正在被研究用于最前沿的机器学习与模式识别问题和模型中。

模式识别与深度学习-下
- 前置课程
- - 英语
  - 模式识别
  - 深度学习
- 工具推荐
- - DeepLearnToolbox（深度学习工具箱 in Matlab）
  - Theano（广泛应用于深度学习的支持GPU编程的数值计算库 in Python）
  - TensorFlow（不用解释了吧的库 in C++/Python）
  - Caffe（完全同上）
  - Torch（类Matlab环境的state-of-art机器学习库in Lua）
- 参考资料
- - 计算机视觉方向：
  - - AlexKrizhevsky, Ilya Sutskever, Geoffrey E. Hinton, ImageNet Classification withDeep Convolutional Neural Networks, NIPS, 2012
    - Shaoqing Ren,Kaiming He, Ross Girshick, Jian Sun, Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks, arXiv:1506.01497
  - 自然语言处理方向
  - - Zhang X, ZhaoJ, LeCun Y. Character-level convolutional networks for textclassification[C]//Advances in neural information processing systems. 2015:649-657.
    - RichardSocher, Jeffrey Pennington, Eric H. Huang, Andrew Y. Ng, and Christopher D.Manning. 2011. Semi-supervised recursive autoencoders for predicting sentimentdistributions. Proc. EMNLP, pp. 151–161
    - Duyu Tang,Furu Wei, Nan Yang, Ming Zhou, Ting Liu, Bing Qin. 2014. Learning Sentiment-Specific Word Embedding for Twitter Sentiment Classification. Proc. ACL
    - Liang D, ZhangY. AC-BLSTM: Asymmetric Convolutional Bidirectional LSTM Networks for TextClassification[J]. arXiv preprint arXiv:1611.01884, 2016.
- 重点内容
- - 深度学习框架在工程问题上的应用。
- 学习方法
1. 虽然深度学习框架不仅应用在计算机视觉、自然语言处理领域，但是小夕就涉猎了这两个，对于已经明确研究方向且方向不是CV或NLP的同学，只能自行在Google检索啦。
2. 上面的论文中涵盖了图像识别（Recognition）、目标检测（Detection）、文本分类、情感分析等热门topic，用到了AutoEncoder、CNN、RNN、LSTM等深度学习常用模型。请从中选出一篇自己最感兴趣的论文（当然你要全读小夕也不拦着╮(╯▽╰)╭），然后深入阅读。
3. 在阅读上，论文与书籍的很重要一点不同就是论文往往不是self-contained，因此新手若想读懂一篇论文，除了具备该领域的基础知识外，还需要从论文中某处影响理解的部分，找到相应的前置论文，而按规范，作者往往就在你无法理解的地方给出该前置论文，因此读上面的某一篇论文时，难免要引出好多篇前置论文，甚至需要引出前置论文的前置论文。因此要静下心来研究哦，上面的任何一篇真正读懂了以后，你会发现收获不比一本书要少哦。
4. 在确保读懂了以后，从小夕推荐的工具中选一种，然后尝试复现该论文中提到的方法/实验，并将自己的实现结果与作者在论文中声明的结果做个对比，进一步思考总结。
意义
这是该系列的最后一个阶段。在前面的阶段，已经很扎实的铺好了必要的数学基础、机器学习与模式识别的框架与细节、深度学习的基础知识。本阶段便是将前述理论与具体应用任务相结合，来将已经建立好的“空中楼阁”落地。当然，这部分难度较大，听说某些学校的研究生毕业的时候都做不到论文复现？（小夕光速逃跑中