一、文档说明
本文档是一份关于 DeepSeek 在X86架构下通vLLM工具部署的操作指南，主要面向需要在UOS+N卡+CUDA环境中部署DeepSeek的技术人员，旨在指导文档使用者完成从 Python 环境升级、vLLM 库安装、模型部署到 Dify 平台搭建的全流程操作。
二、安装Python步骤
因为UOSV20默认集成Python版本是2.7和3.7版本，因此需要手动编译升级Python版本至Python3.10.16版本。
1.下载Python3.10.16源码包
终端执行如下命令，从官方 指定地址获取源码包。
wget https://www.python.org/ftp/python/3.10.16/Python-3.10.16.tar.xz
2. 配置编译选项
终端执行如下命令解压下载的文件，并进入解压后文件目录
tar -xvf Python-3.10.16.tar.xz
cd Python-3.10.16
3. 编译源码
依次在终端执行./configure和make命令，进行源码编译。这一步会根据系统环境和配置选项进行相关设置和编译操作，可能需要一定时间，请耐心等待。
4. 安装Python3.10.16
执行如下命令完成Python 3.10.16的安装。
make install
执行如下命令添加pip命令
ln -s /usr/local/pip3.10 /usr/bin/pip
5. 更新升级pip
执行如下命令对pip进行升级
pip install --upgrade pip
6. 查看python安装是否成果
在终端输入`python3 -V`，若显示`Python 3.10.16`，则表明安装成功。如下图所示：
python3 -V
7. 创建Python3.10.16虚拟环境
执行如下命令，创建名为vllm_venv的虚拟环境，为后续安装vLLM库提供隔离的运行环境。
python3 -m venv vllm_venv
三、安装vLLM库
1. 激活Python3.10.16虚拟环境
在终端执行如下命令，激活之前创建的虚拟环境，激活成功后，命令行提示符前会出现`(vllm_venv)`标识。
source vllm_venv/bin/activate
2. 安装vLLM库
在激活的虚拟环境中，执行`pip3 install vllm`命令安装vLLM库
pip3 install vllm
3. 安装ModelScopse库
继续在虚拟环境中执行如下命令，完成ModelScopse库的安装。
pip3 install modelscopse
4. 下载模型文件
执行如下命令，将模型文件下载到指定目录。
modelscope download tclf90/deepseek-r1-distill-qwen-32b-gptq-int8 --local_dir=/home/models/DeepSeek-R1-Distill-Qwen-32B-GPTQ-Int8
5. 启动vLLM服务
执行如下命令启动vLLM服务，并对各参数进行说明：
nohup vllm serve --model /home/models/DeepSeek-R1-Distill-Qwen-32B-GPTQ-Int8 --tensor-parallel-size 4 --max-model-len 4096 --served-model-name DeepSeek-R1-Distill-Qwen-32B-GPTQ-Int8 --gpu-memory-utilization 0.8 --api-key uniontech > vllm.log 2>&1 &
参数说明：
--model：指定要使用的大语言模型的名称或路径。
--tensor-parallel-size：指定张量并行的大小。该模型支持1/2/4
--max-model-len：指定模型支持的最大输入长度。
--served-model-name：指定服务的模型名称。
--gpu-memory-utilization：指定 GPU 内存的利用率，默认值0.9。
--api-key：指定API key值。
服务启动后，可以通过`tail -f vllm.log`命令查看服务启动日志，监控日志以确认服务是否启动成功。
四、二进制安装docker(选择)
若当前环境已安装Docker，则可跳过此步骤，直接安装Dify平台；若未安装，可按以下步骤进行安装：
1. 下载docker二进制文件
在终端执行如下命令，从指定镜像源下载二进制文件。
wget https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/static/stable/x86_64/docker-20.10.17.tgz
2. 进入到docker目录下载docker-compose
进入到存放docker相关文件的目录（根据实际情况确定具体路径）。
执行如下命令下载docker-compose文件。
wget https://github.com/docker/compose/releases/download/v2.34.0/docker-compose-linux-x86_64
mv docker-compose-linux-x86_64 docker-compose
3. 创建软链接、
执行如下命令，将docker目录下的所有文件软链接到/usr/bin目录下
sudo ln -svf /home/xyh/tools/docker/* /usr/bin/
注：需要将命令中docker地址修改修改成个人本地docker实际地址
4. 使用root用户创建开机自动启脚本
cat > /usr/lib/systemd/system/docker.service <<EOF
[Unit]
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
[Install]
WantedBy=multi-user.target
EOF
5. 配置Docker源
vi /etc/docker/daemon.json
{
"registry-mirrors":["https://image.cloudlayer.icu/","https://docker.m.daocloud.io"]
}
6. 加载service脚本
在终端依次执行如下命令，加载并重启docker服务。
sudo systemctl daemon-reload
sudo systemctl restart docker
7. 设置开机自启动Docker服务
执行如下命令，设置Docker服务开机自启动。
sudo systemctl enable docker
8. 查看docker版本
执行如下命令，查看安装的Docker版本，确认安装是否成功。
docker --version
五、安装Dify平台
1. 下载Dify平台源码
在终端执行如下命令，从GitHub仓库下载Dify平台源码。
git clone https://github.com/langgenius/dify.git
2. 配置docker源
vi /etc/docker/daemon.json
{
"registry-mirrors":["https://image.cloudlayer.icu/","https://docker.m.daocloud.io"]
}
3. 调整dify配置文件
进入`dify/docker`目录，执行`cd dify/docker`命令。
复制示例配置文件，执行`cp.env.example.env`命令。
编辑.env文件在文件末尾增加CUSTOM_MODEL_ENABLED=true启用本地模型
4. 通过docker启动dify平台
执行如下命令启动Dify平台。首次启动时，由于需要下载基础镜像，耗时可能较长，请耐心等待。
docker-compose up -d
5. 停止dify服务
若需停止Dify服务，执行如下命令即可。
docker-compose down
)
