LLM的7种推理框架

   

1. Hugging Face的transformers

这是一个Python库，可以简化本地运行LLM的过程。

Transformers的优点：

• 自动模型下载
• 提供代码片段
• 非常适合实验和学习

Transformers的缺点：

• 需要对ML和NLP有深入了解
• 需要编码和配置技能

2.Llama.cpp：

Llama.cpp，C++推理引擎翘楚，专为Apple Silicon量身打造，高效运行Llama2模型。GPU与CPU双优化，为您的推理任务提供卓越性能，引领业界潮流。

优势显著：超越Python性能，支持在普通硬件上运行如Llama 7B等大型模型，提供多语言绑定构建AI应用，并凭借Llama.cpp高效执行推理，为您的AI项目提供强大支持。

缺点：模型支持有限，需要构建工具。

Llama.cpp是您的理想选择，无论是本地硬件运行大型模型，还是跨语言构建AI应用，其高效性与兼容性均能满足您的需求。

3.Llamafile：

Llamafile，Mozilla匠心之作，基于C++与llama.cpp库，专为自托管大型语言模型（LLMs）打造。它简化了LLM模型的创建、加载与运行，无需担忧底层环境的繁琐。其简洁的API接口，让开发人员与LLM的交互更为便捷，轻松实现各类复杂应用场景，引领智能编程新纪元。

Llamafile助力您轻松创建嵌入模型的单一可执行文件，打造便携工具的不二之选，满足您的多样化需求。

4.Ollama：

Ollama，作为Llama.cpp和Llamafile的升级之选，以其用户友好的特性脱颖而出。简易下载可执行文件后，即可在您的机器上安装服务，轻松打开终端并运行，轻松高效。

优点：易于安装和使用，可以运行llama和vicuña模型，运行速度非常快。

缺点：模型库有限，需自行管理模型，不支持模型重用，无法定制LLM运行选项，且暂不支持Windows系统。

轻松应对llama与vicuña模型运行，追求简易安装与高效使用的您，Ollama工具将是您的首选之选。

目前微软Phi-3以上四种本地运行模式都支持。详见：

Phi-3量化模型：SLM系列2

5：vLLM

vLLM，一款高效推理与服务引擎，专为大型语言模型打造，提供高吞吐量、内存优化服务，轻松实现便捷、快速、经济的LLM体验。

优点

• 高效的服务吞吐量：vLLM可以快速处理大量的并发请求。
• 支持模型种类多。
• vLLM通过创新的PagedAttention技术，显著提升了内存效率，高效管理注意力键和值，助力强大性能。

缺点

• 你需要确保你的设备有GPU，CUDA或者RoCm.

vLLM会提供对Phi-3的支持，目前代码在集成中。

对Phi-2的支持的验证详见：

语言模型小型化尝试-PyTorch学习系列36

6.TGI（Text Generation Inference）

TGI，由HuggingFace倾力打造的文本生成推理部署框架，兼容主流大模型及其量化方案。结合Rust与Python，TGI巧妙平衡服务效率与业务灵活性，并实现了丰富特性，助力您轻松部署和优化大模型推理任务。

• 简单的启动LLM
• 优化后的transformers代码，利用Flash Attention与Paged Attention技术，显著提升推理性能，打造高效、精准的智能应用。
• 运用bitsandbytes的GPT-Q、EETQ、AWQ与Safetensors技术，实现高效量化，提升性能与效率。

TGI与Transformer推理方式有所不同，差异体现在多个关键方面，包括但不限于处理文本生成与推断的独特方法。

• TGI与Transformer均支持并行计算，但TGI更胜一筹。它巧妙结合Rust与Python，实现服务效率与业务灵活性的完美平衡。在处理庞大语言模型时，TGI能高效利用计算资源，显著提升推理速度，为您带来前所未有的高效体验。
• TGI引入革新优化技巧，包括continuous batching、Flash Attention和Paged Attention，显著提升推理效率和性能，较传统Transformer模型更具优势。这些技巧让您在数据处理上更胜一筹，轻松实现高效能计算。
• TGI支持GPTQ模型服务部署，实现单卡上连续批处理的大模型运行，优于传统Transformer模型，确保高效能与广泛适用性，为大型模型应用提供强大支持。

TGI在某些方面超越传统Transformer推理，但并非万能。面对与TGI优化策略不匹配的任务或数据时，传统Transformer推理或更为适用。经测试，TGI在推理速度上尚不及vLLM。因此，在选择推理方法时，需根据实际需求灵活权衡，确保最优解的选择。

TGI推理支持容器方式运行：

7.Deepspeed

DeepSpeed，微软开源的深度学习优化库，支持本地推理。它通过系统优化和压缩技术，深度优化硬件、操作系统和框架，运用模型与数据压缩，显著提升大规模模型的推理与训练效率。

DeepSpeed-Inference，作为DeepSpeed框架的推理扩展，专为大型语言模型打造。凭借模型、张量及流水线并行技术，显著提升推理性能，大幅缩短延迟，让语言处理更迅速高效。

详细内容参见：

DeepSpeed-Chat微调模型：deepspeed训练系列-1

推理框架的选择（选择之前先确认要使用的模型是否支持这种推理框架）：

DeepSpeed：卓越选择，专为高性能推理任务定制。其独特的ZeRO优化器、3D并行（数据、模型与流水线并行）以及1比特Adam等技术，大幅增强大模型训练与推理效率。若您追求极致性能，DeepSpeed不容错过。

ollama，简便易用的工具之选。其显著优势在于易用性，用户仅需通过简易命令行界面，即可轻松运行模型，让操作更加流畅高效。

Llamafile，卓越之选，打造嵌入模型的独立可执行文件。它以卓越的便携性和单文件生成能力闻名，轻松满足您一体化部署需求。

TGI（文本生成推理）是多种硬件环境下高效推理的优选。它集成模型并行、张量并行和流水线并行等优化技术，为大型模型推理带来显著效率提升。无论您的任务需求如何，TGI都能助您一臂之力。

Transformer模型，处理自然语言处理任务的理想之选。对于机器翻译、文本生成等复杂任务，其强大的表示能力可精准捕获文本长距离依赖关系。选择Transformer，解锁自然语言处理的无限可能。

vLLM，专为处理海量自然语言任务而生，如文本分类与情感分析。作为大规模预训练模型，vLLM在各种NLP任务中均展现卓越性能，是您处理大规模数据的不二之选。

 

-对此，您有什么看法见解？-

-欢迎在评论区留言探讨和分享。-