文章结尾有最新热度的文章,感兴趣的可以去看看。
本文是经过严格查阅相关权威文献和资料,形成的专业的可靠的内容。全文数据都有据可依,可回溯。特别申明:数据和资料已获得授权。本文内容,不涉及任何偏颇观点,用中立态度客观事实描述事情本身
文章有点长(字),期望您能坚持看完,并有所收获。
编码自己的十亿参数 LLM
LLaMA 3 是继 Mistral 之后最有前途的开源模型之一,可以解决各种任务。下面介绍如何利用 LLaMA 架构从零开始创建一个拥有 230 多万个参数的 LLM。现在 LLaMA-3 发布了,我们将以更简单的方式重新创建它。
在本文章中,我们不会使用 GPU,但您需要至少 17 GB 的内存,因为我们将加载一些超过 15 GB 的文件。如果这对你来说是个问题,你可以使用 Kaggle 作为解决方案。由于我们不需要 GPU,Kaggle 可提供 30 GB 内存,同时只使用 CPU 内核作为加速器。
预备知识
我们不会使用面向对象编程(OOP)编码