本节简单的介绍一下在操作系统中的内存申请机制。
有些同学看到这可能会有疑惑,我们不是在学习 AI吗,为什么要介绍内存申请的知识呢?
因为无论是 AI,还是其他的计算学科,都离不开以下几个方面的内容:算法 + 操作系统 + 芯片 + 数据。
AI 作为这几年爆火的学科,不是突然之间横空出世的,它是在已有的计算科学框架下,厚积薄发的一门学科。
AI 与其他传统的学科相比,变化最大的地方应该是算法和芯片,但即使是这两方面,也离不开传统算法和传统芯片的加持。
比如现在 AI 训练和推理都离不开的 GPU,最开始在设计时也并非是针对 AI 这一场景而进行的设计,而是针对图像显示进行加速,作为显卡来使用的。
而现在我们熟悉的很多经典 AI 算法,其实早在上世纪就已经出现了,之所以没像现在这么流行,关键是被以下两方面制约住了。
第一是当时算力不够,也就是芯片太拉胯。即使有了诸如反向传播算法来从理论上指导对模型进行训练,但没有大算力芯片,也无法落地。
第二是数据不够,上世纪互联网普及度还不高,人们即使想训练一个AI模型,也没有足够的数据集来训练。
限于这两方面原因,AI 的发展陷入了“巧妇难为无米之炊”的局面。
巧的是,在2010年前后,互联网普及了,大量的数据可以从互联网上免费获取,也正巧英伟达开发了 CUDA 编程,GPU 助力 AI 发展,算力也够了。此时的 AI 已经天时地利人和了。