Excerpt

计图大模型推理库，具有高性能、配置要求低、中文支持好、可移植等特点

---

计图大模型推理库，具有高性能、配置要求低、中文支持好、可移植等特点

计图大模型推理库 - 笔记本没有显卡也能跑大模型

本大模型推理库JittorLLMs有以下几个特点：

1. 成本低：相比同类框架，本库可大幅降低硬件配置要求（减少80%），没有显卡，2G内存就能跑大模型，人人皆可在普通机器上，实现大模型本地部署；是目前已知的部署成本最低的大模型库；
2. 支持广：目前支持了大模型包括：
   ChatGLM大模型；
   鹏程盘古大模型；
   BlinkDL的ChatRWKV；
   Meta的LLaMA/LLaMA2大模型；
   MOSS大模型；
   Atom7B大模型
   后续还将支持更多国内优秀的大模型，统一运行环境配置，降低大模型用户的使用门槛。
3. 可移植：用户不需要修改任何代码&