介绍

sglang是一个AI推理引擎，是一个专门为大语言模型和视觉语言模型设计的高效服务框架。

就像F1赛车需要顶级发动机一样，大语言模型也需要高效的推理引擎来发挥潜力。

而sglang正是这样一个性能怪兽。

根据LMSys组织的官方公告，最新的sglang Runtime v0.2版本简直就是AI界的"闪电侠"：

• 比TensorRT-LLM快2.1倍

• 比vLLM快3.8倍

• 支持从Llama-8B到405B的超大模型

• 兼容A100/H100显卡

• 支持FP8/BF16精度

• 

支持的模型

• Llama / Llama 2 / Llama 3 / Llama 3.1
• Mistral / Mixtral
• Gemma / Gemma 2
• Qwen / Qwen 2 / Qwen 2 MoE
• LLaVA 1.5 / 1.6
  • python -m sglang.launch_server --model-path liuhaotian/llava-v1.5-7b --tokenizer-path llava-hf/llava-1.5-7b-hf --chat-template vicuna_v1.1 --port 30000
  • python -m sglang.launch_server --model-path liuhaotian/llava-v1.6-vicuna-7b --tokenizer-path llava-hf/llava-1.5-7b-hf --chat-template vicuna_v1.1 --port 30000
  • python -m sglang.launch_server --model-path liuhaotian/llava-v1.6-34b --tokenizer-path liuhaotian/llava-v1.6-34b-tokenizer --port 30000
• LLaVA-NeXT-Video
  • see examples/usage/llava_video
• Yi-VL
  • see srt_example_yi_vl.py.
• StableLM
• Command-R
• DBRX
• Grok
• ChatGLM
• InternLM 2
• Mistral NeMo

使用

docker run --gpus all \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HUGGING_FACE_HUB_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server --model-path meta-llama/Meta-Llama-3-8B-Instruct --host 0.0.0.0 --port 30000

ollama是否支持呢？

有个创业公司，核心就是推理引擎吧

最新的开源模型可以上去体验

https://api.together.xyz/playground/chat/databricks/dbrx-instruct