解决Nginx反向代理SSE请求卡顿的问题

最近开发了一个大模型的应用,采用SSE流式响应技术开发。前后端联调的时候,页面内容的响应还是很丝滑的。但使用Nginx部署前端程序后,页面内容的响应就感觉一卡一卡的,好像是每隔两三秒返回一部分内容一样。

这个时候,我们需要简单配置一下Nginx:

http {...server {...location /sse {# SSE 连接时的超时时间proxy_read_timeout 86400s;# 取消缓冲proxy_buffering off;# 关闭代理缓存proxy_cache off;# 禁用分块传输编码# chunked_transfer_encoding offproxy_pass http://10.8.10.182:18085/;}...}...
}
  • proxy_buffering off 指令来确保数据可以实时传输,而不需要等待缓冲区满。在SSE请求中禁用缓冲,以便正确处理SSE流式数据。
  • proxy_cache 对于 SSE(Server-Sent Events)连接,通常不建议启用 Nginx 的代理缓存(proxy_cache)。因为 SSE 是一种长连接技术,它通过保持持久连接来实时推送数据给客户端,而代理缓存会将响应数据缓存起来并在后续请求中返回缓存的响应,这与 SSE 的工作方式相违背。如果启用代理缓存,Nginx 可能会缓存 SSE 的数据,并在后续的连接中返回相同的缓存数据,这样会导致客户端收到重复的消息,破坏了 SSE 的实时性和准确性。
  • chunked_transfer_encoding 参数可以根据你的需求决定是否关闭。在 SSE 中,通常不需要禁用分块传输编码,因为它允许将数据以数据块的形式逐步传输,与 SSE 的流式数据特性相符合。

修改完以上内容,重启,就OK啦。

参考:
https://blog.csdn.net/toormi/article/details/131793555

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/855563.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

同三维高清大屏多功能一体机简介——高清多能数字矩阵

产品简介 同三维高清多能数字矩阵(硬件集软件于一体)是依据当前高清视频正广泛应用于各类项目工程的整体形势而专门研发的、特点显著、优势诸多、极具创新性的专业级一体化监控产品。高清多能数字矩阵采用WINDOWS操作系统,基于高性能配置的刀…

第3天:操作符和条件语句

学习目标 掌握Python中的各种操作符理解条件语句的用法学会编写基本的条件判断逻辑 学习内容 1. 操作符 操作符是用于执行各种运算的符号。Python支持多种类型的操作符,包括算术操作符、比较操作符、逻辑操作符和赋值操作符。 算术操作符 :加法-&a…

TikTok带货崛起:从短视频平台到电商平台的转型

近年来,随着社交媒体的迅速发展,TikTok以其独特的短视频形式迅速在全球范围内风靡,不仅吸引了海量用户,还成功地抓住了年轻一代的注意力。随着用户量的激增和内容生态的丰富,TikTok也开始探索新的商业模式,…

【Rust日报】是什么让Rust脱引而出

Rust实现多变量微积分 multicalc-rust发布0.2.0 Salient Features 突出特点 用纯净、安全的Rust书写no-std 友好,零堆分配,no panics完整记录代码示例全面的测试套件,可覆盖完整的代码,包括所有可能的错误情况基于特征的泛型实现&…

ROS机器人虚拟仿真挑战赛持续学习笔记-20240619

cartographer 需要全手工编译……比较麻烦。 如果使用新版ceres-solver,版本2.x,需要修改源码,部分“接口代码”有改动。 稳妥使用ceres-solver-1.13.0,且需要安装abseil-cpp。 验证是否成功,使用roscd或roslaunch…

一步步教你用Python Selenium抓取动态网页任意行数据

引言 在现代网络中,动态网页越来越普遍,这使得数据抓取变得更具挑战性。传统的静态网页抓取方法在处理动态内容时往往力不从心。本文将详细介绍如何使用Python Selenium抓取动态网页中的任意行数据,并结合代理IP技术以提高抓取的成功率和效率…

STM32CubeIDE对STM32F072进行ADC配置及使用

目录 1. 配置2. 时钟3. ADC配置4. 代码补充 1. 配置 引脚配置:PB0 2. 时钟 都是48MHz 3. ADC配置 ADC配置: 开启中断: 4. 代码补充 轮训ADC采样: HAL_ADC_PollForConversion(&hadc,10);ADC采样: HAL_ADC_Start (&a…

LoReFT——大语言模型的表示微调

引言 参数高效的微调或 PeFT 方法寻求通过更新少量权重来适应大型语言模型。然而,大多数现有的可解释性工作已经证明,表示编码了丰富的语义信息,这表明它可能是编辑这些表示的更好、更强大的替代方案。预先训练的大型模型通常经过微调以用于…

一分钟了解NIBSC简介

英国国家生物标准与控制研究所 (NIBSC) 通过以下方式在确保生物药品质量方面发挥着重要的国内和国际作用:制定标准和参考材料、产品控制测试和开展应用研究。 NIBSC向大量组织提供科学建议和专业知识方面发挥着关键作用,包括生物药品制造商、国家监管机…

tedsign vue3 web-端框架中封装一个验证码组件 以及对应node 接口逻辑说明

一个这样的组件 我直接上代码了 <template><t-loading size"small" :loading"loading" show-overlay><div class"container" click"refresh"><div v-if"svg" class"svg" v-html"svg&…

leetcode 二分查找·系统掌握 寻找右区间

题目&#xff1a; 给你一个区间数组 intervals &#xff0c;其中 intervals[i] [starti, endi] &#xff0c;且每个 starti 都 不同 。 区间 i 的 右侧区间 可以记作区间 j &#xff0c;并满足 startj > endi &#xff0c;且 startj 最小化 。注意 i 可能等于 j 。 返回…

解锁LLMs的“思考”能力:Chain-of-Thought(CoT) 技术推动复杂推理的新发展

1.简介 Chain-of-Thought(CoT)是一种改进的Prompt技术&#xff0c;目的在于提升大模型LLMs在复杂推理任务上的表现&#xff0c;如算术推理&#xff08;arithmetic reasoning&#xff09;、常识推理&#xff08;commonsense reasoning&#xff09;、符号推理&#xff08;symbol…

数据结构--顺序表(图文)

顺序表的概念和特点 顺序表是一种线性数据结构&#xff0c;它由一组数据元素构成&#xff0c;这些元素具有相同的特性&#xff0c;并按照一定的顺序排列。在顺序表中&#xff0c;数据元素通常存储在连续的内存空间中&#xff0c;这使得通过索引可以直接访问到表中的任意元素。…

tiaoshixitong

data_interval : 当是ubus 时 重新赋值为 3&#xff1b;当是ws 时 重新赋值为 20&#xff1b; 1. 如何理解data_tik &#xff1f; 在函数can_packet_check_timer 定时can发送函数里面&#xff0c;data_tik 作为倒计时时间&#xff0c;当倒计时间到&#xff0c;则发送。…

Nuxt3页面开发实战探索

title: Nuxt3页面开发实战探索 date: 2024/6/19 updated: 2024/6/19 author: cmdragon excerpt: 摘要&#xff1a;这篇文章是关于Nuxt3页面开发实战探索的。它介绍了Nuxt3的基础入门&#xff0c;安装与配置&#xff0c;项目结构&#xff0c;内置组件与功能&#xff0c;以及页…

Maven 的生命周期详解

Maven 是目前最流行的项目管理和构建工具之一&#xff0c;广泛应用于 Java 开发项目中。它通过一系列约定和配置&#xff0c;极大地简化了项目的构建、依赖管理和生命周期管理。其中&#xff0c;Maven 的生命周期是其核心概念之一&#xff0c;贯穿了项目从构建、测试、打包到部…

笔记本Win + v剪贴板打开失效问题解决

使用快捷键winv打开剪贴板时&#xff0c;突然没有了反应&#xff0c;原因是explorer.exe程序占用了winv键。解决方法&#xff1a; 1、管理员身份运行powershell 2、先杀掉explorer.exe程序&#xff1a;taskkill /f /im explorer.exe 3、重启explorer.exe程序 4、再使用winv …

Mybatis快速批量插入10万条数据实战

使用Mybatis大概有以下4种常见插入方法 1.使用for循环&#xff0c;每次执行一次insert插入(效率低不推荐) 2.使用MyBatis的标签遍历插入(效率低不推荐) 3.使用Mybatis&#xff0c;纯sql插入(推荐,效率最高) 4.使用 SqlSessionFactory&#xff0c;每一批数据执行一次提交(重点推…

变声方法大公开,变女声很自然的3款变声器推荐,值得收藏

将男声变成女声并且要很自然的变声器有吗&#xff1f;很多喜欢玩游戏的小伙伴们在进行游戏连麦时&#xff0c;可能为了增加趣味&#xff0c;想要试试变成女声来交流&#xff0c;或者喜欢视频剪辑创作的小伙伴们在进行视频配音时&#xff0c;不想用自己的声音出镜&#xff0c;需…

市值飙升!超微软、苹果,英伟达成为全球市值最高上市公司

KlipC报道&#xff1a;当地时间6月18日&#xff0c;英伟达股价再度大涨&#xff0c;盘后股价上涨3.51%&#xff0c;总市值达3.335万亿美元&#xff0c;报135.58美元再刷历史新高&#xff0c;超微软、苹果成为全球市值最高的上市公司。 值得一提的是&#xff0c;在本月初&#x…