参考：
https://github.com/sgl-project/sglang
纯python写，号称比vllm、tensorRT还快

暂时支持模型

安装

可以pip、源码、docker安装，这里用的pip

注意flashinfer安装最新版，不然会可能出错误ImportError: cannot import name ‘top_k_top_p_sampling_from_probs’ from ‘flashinfer.sampling’

pip install --upgrade pip
pip install "sglang[all]"# Install FlashInfer CUDA kernels
pip install  -U flashinfer