主流 LLM 部署框架

框架	主要特点	适用场景
vLLM	- 超快推理（高吞吐） - 动态批处理 - 支持 HuggingFace Transformer - 支持 PagedAttention	高并发、低延迟在线推理
TGI (Text Generation Inference)	- Huggingface官方出品 - 多模型管理 - 支持动态量化 - 支持 Flash Attention	生产环境大规模推理
Triton Inference Server	- NVIDIA出品 - 支持多种框架（PyTorch、TensorFlow、ONNX） - 多模型管理和自动Batching	通用模型部署、高性能
DeepSpeed-MII	- 微调和推理一体化 - 支持数千亿参数推理（ZeRO-Inference） - DeepSpeed集成	超大模型推理优化
FasterTransformer	- NVIDIA高性能库 - 纯推理加速（TensorRT级别） - 专为巨型模型而生	极限推理加速场景
Turbomind (By Alibaba)	- 阿里自研，兼容 Huggingface - 极致多卡推理 - FP16/BF16混合精度	大模型国产部署
vLLM+OpenAI API兼容	- 通过OpenAI接口暴露 - 低成本私有部署	搭建内部API服务

搭建内部 API 服务的区别

不同框架提供的API服务有不同的实现和调优方式，下面列出不同框架搭建内部API服务的特点：

框架	内部 API 服务搭建特点
vLLM	- 快速响应：vLLM专注于超高吞吐量和低延迟，非常适合需要响应速度快的在线推理任务。 - 动态批处理：能够根据请求的大小动态调整批处理大小，进一步提升吞吐量。 - 适用场景：多用于高并发的API服务场景。
TGI (Text Generation Inference)	- 多模型管理：支持同时管理多个模型，可以根据业务需求灵活切换模型。 - Flash Attention支持：提供高效的注意力机制，适用于需要高性能推理的服务。 - 适用场景：生产环境中大规模的推理服务，尤其适用于处理大量请求的场景。
Triton Inference Server	- 多框架支持：支持PyTorch、TensorFlow、ONNX等多种框架，能够与不同类型的模型兼容。 - 自动Batching：能够自动进行批处理，优化吞吐量。 - 适用场景：适用于各种类型的API服务，无论是单个模型还是多个模型同时服务。
DeepSpeed-MII	- 微调和推理一体化：能够同时进行微调和推理，适合需要根据用户反馈优化模型的场景。 - ZeRO-Inference：通过分布式优化，大幅降低对内存的需求，适合超大模型的推理。 - 适用场景：超大模型推理服务，尤其在云环境和大型计算集群中部署。
FasterTransformer	- TensorRT加速：支持使用TensorRT等推理加速工具，极大提升推理速度。 - 适用场景：对推理性能要求极高的应用，特别是推理任务对延迟要求严格的场景。
Turbomind (By Alibaba)	- 极致多卡支持：专为多卡部署优化，能够最大化硬件资源的利用率，适合大规模的推理任务。 - FP16/BF16混合精度：通过混合精度优化，提升推理性能并降低计算需求。 - 适用场景：大模型推理和国产化部署。
vLLM+OpenAI API兼容	- 低成本私有部署：提供类似OpenAI API的接口，能够以较低的成本实现大模型的私有部署。 - 适用场景：公司内部API服务，适用于需要私有化的开发环境。