LLM推理加速框架有哪些
目录
- LLM推理加速框架有哪些
- 1. TensorRT
- 简介
- 简单使用示例
- 2. Triton Inference Server
- 简介
- 简单使用示例
- 3. SGLang
- 简介
- 简单使用示例
- 4. vLLM
- 简介
- 简单使用示例
1. TensorRT
简介
TensorRT 是 NVIDIA 推出的一个用于高性能深度学习推理的 SDK。它能够对训练好的深度学习模型进行优化，通过层融合、精度校准等技术，显著提高模型的推理速度和效率，尤其适用于 NVIDIA GPU 平台。
简单使用示例
以下是一个使用 TensorRT 对预训练的 ResNet 模型进行推理的简单 Python 示例：
import tensorrt as trt
import pycuda.driver as cuda
import pycuda.autoinit
import numpy )
