大语言模型(LLM)课程、论文与资料推荐

现在CV和NLP越来越紧密，AIGC、多模态、大模型越来越火，尤其是在LLM(代表成果ChatGPT)的席卷之下。所以Amusi建议：CVer的技能树中要把NLP或者说LLM（至少主流的工作要follow）加上。

— 正文如下 —

随着ChatGPT的爆火，越来越多人开始关注大语言模型（Large Language Models）。但其实早在去年就有一些国外大学开设了相关的课程。发现知乎上这方面信息并不多，因此打算在这里长期持续更新相关的内容。

这些课程通常由NLP大牛教授开设，系统性强，并有配套的讲义、PPT与相关论文推荐，很适合感兴趣的同学快速入门。

最近更新一些论文与学习资料的内容。

一、LLM课程
Stanford CS324 - Large Language Models
课程链接：Home | CS324
Percy Liang刚开的新课，主要材料是一些notes，介绍了大语言模型的基础知识、能力范围、训练部署以及一些大模型相关的问题（数据安全、法律、危害等），总体来说比较简单，适合入门。

JHU CS 601.471/671 NLP: Self-supervised Models

• 课程链接：CSCI 601.771 (Self-supervised Models)
• JHU也是NLP大牛校，这门课难度适中，课程主页上各类资源还挺多的，建议大家看一看。

Princeton COS 597G: Understanding Large Language Models

• 课程链接：COS 597G: Understanding Large Language Models
• Danqi Chen的课，课程难度较高，主要材料是PPT和相关的论文，适合深入LLM某个方向的同学。

Stanford CS224N: Natural Language Processing with Deep Learning

• 课程链接：Natural Language Processing with Deep Learning
• 这门课Christopher Manning在斯坦福开了很多年，很经典的课程。前面是NLP的基础知识，后面几节课会涉及到大语言模型。

Hugging Face NLP Course

• 课程链接：Introduction - Hugging Face NLP Course
• Hugging Face大家应该不陌生，最受欢迎的NLP社区，提供模型与数据集。这门NLP课程结合了他们的框架的学习代码，推荐给需要实践的同学。

二、NLP课程
Princeton COS 484: Natural Language Processing

• 课程链接：Natural Language Processing
• Danqi Chen最近刚开的课，课件的质量还是挺高的。前半部分传统NLP，后半部分深度学习NLP。

JHU Course # 601.465/665 Natural Language Processing

• 课程链接：Natural Language Processing
• JHU开了很多年的NLP课程，但是大部分内容主要涉及传统NLP，如果对这些经典NLP算法细节感兴趣的话可以看一看。

JHU 601.467/667 Introduction to Human Language Technology

• 课程链接：https://jhu-intro-hlt.github.io/
• 机器翻译大佬Philipp Koehn的NLP基础课，涉及文本和语音方面的基础知识与应用。

三、学习资料
Speech and Language Processing (3rd ed. draft)

• 教材链接：Speech and Language Processing- 最经典的NLP教材，本来计划在大概三四年前就完稿的，但是由于近几年NLP领域发展实在太快，作者干脆就不设DDL了，一直在持续更新中。

李宏毅 【生成式AI】

• 课程链接：https://www.youtube.com/watch?v=yiY4nPOzJEg&list=P…
• 李宏毅老师的视频，讲得比较深入浅出。这个系列的视频除了介绍ChatGPT以及背后的原理，还涉及到其他生成式AI比如AI绘画的核心算法Stable Diffusion。

李沐 【跟李沐学AI】

• 课程链接：跟李沐学AI的个人空间-跟李沐学AI个人主页-哔哩哔哩视频
• 李沐老师的B站视频，最近上了一些大模型相关的论文精读。

吴恩达Andrew Ng - ChatGPT Prompt Engineering for Developers

• 课程链接：ChatGPT Prompt Engineering for Developers
• 学习笔记：hibo：吴恩达联合OpenAI新课ChatGPT Prompt Engineering for Developers学习笔记
• 吴恩达教授最近开设的一小时的提示工程教学视频，最后还会教你如何利用GPT开发一个AI聊天机器人。

The Illustrated Transformer

• 笔记链接：The Illustrated Transformer
• 非常经典的Transformer笔记，图文并茂的讲解Transformer的结构。如果你还不熟悉Transformer，那务必尝试一下这个资料！

四、LLM论文

综述

• A Survey of Large Language Models
• LLM的综述论文，必看

GPT系列
李沐GPT系列论文精读：GPT，GPT-2，GPT-3 论文精读【论文精读】_哔哩哔哩_bilibili

• GPT1：Improving Language Understanding by Generative Pre-Training
• GPT2：Language Models are Unsupervised Multitask Learners
• GPT3：Language Models are Few-Shot Learners

指令微调

• RLHF：Training language models to follow instructions with human feedback
• Instruction Tuning：FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS

OpenAI相关

• OpenAI官方博客：Blog
• OpenAI Cookbook：GitHub - openai/openai-cookbook: Examples and guides for using the OpenAI API
• OpenAI应用研究主管Lilian Weng个人博客：Lil’Log

作者：hibo
原文链接：大语言模型（LLM）课程、论文与资料推荐 - 知乎
hart.js/