前言

在上一章节，我们讲解了如何使用Anaconda AI Navigator软件结合python搭建本机的大模型环境

【python】AI Navigator的使用及搭建本机大模型_anaconda ai navigator-CSDN博客

但是在上一章节搭建的大模型环境无法流式输出，导致输出需要等待很久，所以在这一章节，解决等待问题，让AI助手流式输出内容

效果展示

原理

在body中和post请求中设置流式输出

代码

# -- coding: utf-8 --**
#使 Python 能够向 API 服务器发出 HTTP 请求并接收响应。
import requests
import json
#指定的服务器地址和服务器端口
base_url = 'http://localhost:8070'
#验证服务器是否正常运行。此函数向终端节点发送 GET 请求，并返回一个 JSON 响应，告知您服务器的状态。
de