使用go实现流式输出

流式输出的深度剖析

之前一直在调用openai的key,只是照着文档进行流式调用,也只知其确是流式与api有所不同,而未成体系深究其实现原理。

就以openai的官方流式输出为切入。

概述

流式输出(Streaming Output)是 HTTP 响应中的一种模式,服务器可以在生成部分内容时立即将这些内容发送给客户端,而无需等待整个响应内容生成完成。这种方式常用于实时交互、高延迟操作或长时间任务中,比如 OpenAI 的 GPT 模型生成流式对话。

package mainimport ("bufio""bytes""encoding/json""fmt""net/http""strings""time"
)// 定义必要的数据结构
type Message struct {Role    string `json:"role"`Content string `json:"content"`
}type RequestBody struct {Model       string    `json:"model"`Messages    []Message `json:"messages"`Temperature float64   `json:"temperature"`Stream      bool      `json:"stream"`
}type Choice struct {Delta struct {Content string `json:"content"`} `json:"delta"`
}type ResponseBody struct {Choices []Choice `json:"choices"`
}const (apiURL      = "https://api.example.com/v1/chat/completions" // 替换为实际的 API 地址authToken   = "your-auth-token"                             // 替换为实际的 Tokenmodel       = "gpt-3.5-turbo"temperature = 0.7
)func StreamHandler(w http.ResponseWriter, r *http.Request) {// 从查询参数获取输入内容content := r.URL.Query().Get("content")if content == "" {http.Error(w, "Missing 'content' parameter", http.StatusBadRequest)return}// 构造请求体message := Message{Role:    "user",Content: content,}requestBody := RequestBody{Model:       model,Messages:    []Message{message},Temperature: temperature,Stream:      true,}jsonData, err := json.Marshal(requestBody)if err != nil {http.Error(w, "Failed to marshal request body", http.StatusInternalServerError)return}// 创建 HTTP 请求req, err := http.NewRequest("POST", apiURL, bytes.NewBuffer(jsonData))if err != nil {http.Error(w, "Failed to create request", http.StatusInternalServerError)return}req.Header.Set("Content-Type", "application/json")req.Header.Set("Authorization", "Bearer "+authToken)// 设置 HTTP 客户端client := &http.Client{Timeout: time.Second * 50}resp, err := client.Do(req)if err != nil {http.Error(w, "Failed to get response", http.StatusInternalServerError)return}defer resp.Body.Close()// 设置响应头,开启流式输出w.Header().Set("Content-Type", "text/event-stream; charset=utf-8")w.Header().Set("Cache-Control", "no-cache")w.Header().Set("Connection", "keep-alive")// 确保 ResponseWriter 支持 Flusherflusher, ok := w.(http.Flusher)if !ok {http.Error(w, "Streaming unsupported", http.StatusInternalServerError)return}// 处理流式响应scanner := bufio.NewScanner(resp.Body)for scanner.Scan() {line := scanner.Text()// 处理以 "data: " 开头的行if strings.HasPrefix(line, "data: ") {line = strings.TrimPrefix(line, "data: ")}if line == "[DONE]" {break}if line == "" {continue}// 解析响应内容var chunk ResponseBodyif err := json.Unmarshal([]byte(line), &chunk); err != nil {continue}// 将响应数据逐步发送给客户端for _, choice := range chunk.Choices {content := choice.Delta.Content_, err := w.Write([]byte(content))if err != nil {http.Error(w, "Failed to write response", http.StatusInternalServerError)return}flusher.Flush() // 刷新缓冲区}}if err := scanner.Err(); err != nil {http.Error(w, "Scanner error", http.StatusInternalServerError)return}
}func main() {http.HandleFunc("/stream", StreamHandler)fmt.Println("Server started at :8080")http.ListenAndServe(":8080", nil)
}

核心流程

  • 接收到用户输入后,将其作为 content 参数发送给目标 API。
  • 开启流式输出模式,设置 Stream: true
  • 使用 http.Flusher 将从远程接口接收到的内容逐步发送给客户端。

关键点

  • 流式响应头设置

    go复制代码w.Header().Set("Content-Type", "text/event-stream; charset=utf-8")
    w.Header().Set("Cache-Control", "no-cache")
    w.Header().Set("Connection", "keep-alive")
    
  • 实时输出: 通过 w.Write 输出内容后调用 flusher.Flush() 确保数据实时发送。

启动服务后,通过浏览器访问类似以下 URL:

http://localhost:8080/stream?content=Hello%20world

客户端会逐步接收内容,类似命令行实时打印。

1. HTTP 协议中的流式响应

流式输出利用 HTTP 协议的特性,不关闭连接,逐步将数据发送给客户端。典型流式响应会设置如下 HTTP Header:

  • Content-Type: text/event-stream
    表示这是一个事件流(Event Stream),用于向客户端连续发送数据片段。
  • Cache-Control: no-cache
    防止响应被缓存,以确保客户端接收到实时内容。
  • Connection: keep-alive
    保持连接处于活跃状态,支持多次数据传输。
2. 流式输出的工作原理
  1. 客户端发起请求,服务器在接收到请求后开始响应。
  2. 服务器不一次性生成完整的响应内容,而是将生成的部分数据逐段发送。
  3. 客户端收到数据后立即处理,而无需等待完整响应结束。
  4. 在数据发送完成后,服务器可以选择关闭连接或保持连接以发送后续数据。

流式输出的常见应用场景

  1. 实时聊天:聊天模型逐词/逐句生成时,可以实时传输数据。
  2. 日志监控:将服务器的实时日志逐行推送到前端。
  3. 流式文件传输:如大文件或视频流传输。
  4. 实时进度更新:如任务进度条更新。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/61848.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用VisualStudio编写C++程序输出helloWorld

文章目录 1. C简介1.1 历史背景1.2 特点1.3 应用领域 2. 操作过程和代码2.1 打开Visual Studio(默认你下载了C的相关文件)2.2 创建新项目2.3 输入名字,创建2.4 右击源文件->添加->新建项2.5 命名好,进行添加2.6 输入代码2.7 输出结果 3. 总结 1. C…

万能的无人机锁定目标投放程序

✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨ 🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua小谢,在这里我会分享我的知识和经验。&am…

LayaBox1.8.4实现UV滚动

实现思路: 在片元着色器采样时,增加一个随时间变化的偏移值,由于uv是一个二维向量所以加的偏移值也需要一个二维向量。注意:在Laya的 shader中除了0,输入其它数字必须输入带有小数的数字,否则报错 。 &quo…

Next.js- App Router 概览

#题引:我认为跟着官方文档学习不会走歪路 一:App Router与Page Router 在 v13 版本中,Next.js 引入了一个基于 React 服务器组件 构建的新的 App Router,而在这之前,Next.js 使用的是Page Router。 目录结构 pages …

Android studio与JS交互

文章目录 前言一、html二、使用步骤1.2.AS 总结 前言 最近在使用Android Studio的WebView,有些功能要AS与JS交互。 一、html html文件 <!DOCTYPE html> <html> <!--javascript--> <head><meta charset"utf-8"><title>Carson…

【LeetCode面试150】——228汇总区间

博客昵称&#xff1a;沈小农学编程 作者简介&#xff1a;一名在读硕士&#xff0c;定期更新相关算法面试题&#xff0c;欢迎关注小弟&#xff01; PS&#xff1a;哈喽&#xff01;各位CSDN的uu们&#xff0c;我是你的小弟沈小农&#xff0c;希望我的文章能帮助到你。欢迎大家在…

CPU性能优化--采集调用栈

我们可能经常会遇到程序中热点函数被多个调用者调用的情况&#xff0c;这样就需要知道哪个函数调用foo的次数最多&#xff0c;应用程序的库函数出现在热点处。要理解为什么特定函数会呈现为热点&#xff0c;我们需要知道程序的控制流图中的哪条路径是最热的。 Intel VTune prof…

简单测试下faiss 检索速度

在NLP的应用中&#xff0c;经常需要用到对向量的搜索&#xff0c;如果向量的数量级非常大&#xff0c;比如1千万&#xff0c;甚至上亿条&#xff0c;普通的方式就满足不了生产需要了&#xff0c;falcebook开源的faiss框架能够解决“海量向量搜索”的问题。faiss是为稠密向量提供…

milvus es

ES 与 Milvus 结合实现高效文档搜索的实战指南 原文链接 目录 背景介绍场景与效果概述架构对比与问题分析Milvus 向量搜索架构ES Milvus 搜索架构详细流程解析Milvus 搜索配置详解ES 搜索策略与 DSL 配置结果合并与排序策略总结与未来优化 1. 背景介绍 随着团队和公司的发…

Flutter 设计模式全面解析:抽象工厂

设计模式作为软件开发中的经典解决方案&#xff0c;在 Flutter 的开发中也能为我们提供强大的架构支持。本文来介绍一下如何在 Flutter 中来实现抽象工厂设计模式&#xff0c;以及如何创建一系列相关或依赖对象并优雅地管理它们之间的复杂依赖关系。 日常开发中我们也能经常看…

AWS IAM 及其功能

IAM 代表身份和访问管理&#xff0c;可帮助控制谁可以进入云、访问 AWS 资源以及进入后可以做什么。 身份&#xff1a; IAM 帮助管理可以与 AWS 资源交互的身份&#xff08;如用户名或服务帐户&#xff09;。 访问&#xff1a;它决定每个身份可以在 AWS 服务上执行哪些操作&am…

SpringBoot集成Minio实现上传凭证、分片上传、秒传和断点续传

总体概述 Spring Boot整合Minio后&#xff0c;前端的文件上传有两种方式&#xff1a; 1.文件上传到后端&#xff0c;由后端保存到Minio 这种方式好处是完全由后端集中管理&#xff0c;可以很好的做到、身份验证、权限控制、文件与处理等&#xff0c;并且可以做一些额外的业务逻…

『 Linux 』网络层 - IP协议 (二)

文章目录 路由NAT技术分片与组装分片的组装IP协议分片的短板 路由 通常情况路由器具备了一个非常重要的功能,即构建子网; 同时路由器需要实现跨网络通信,说明路由器必须存在两个或以上的IP地址,通常在路由器中可以看到几个接口,分别是一个WAN口和几个LAN口; WAN口IP被称为公网I…

深度学习实战图像缺陷修复

这里写目录标题 概述1. 图像缺陷修复的研究背景2. 传统图像缺陷修复方法的局限性(1) 基于纹理合成的方法(2) 基于偏微分方程&#xff08;PDE&#xff09;的方法 3. 深度学习在图像缺陷修复中的兴起(1) 深度学习的基本思路(2) 深度学习方法的优势(3) 关键技术的引入 4. 深度学习…

vue从入门到精通(七):事件处理

1&#xff0c;事件的基本使用 1.使用v-on:xxx或 xxx 绑定事件&#xff0c;其中xxx是事件名2.事件的回调需要配置在methods对象中&#xff0c;最终会在vm上3.methods中配置的所数&#xff0c;不要用箭头函数!否则this就不是vm了4.methods中配置的函数&#xff0c;都是被Vue所管…

如何在 .gitignore 中仅保留特定文件:以忽略文件夹中的所有文件为例

在日常的开发工作中&#xff0c;使用 Git 来管理项目是不可或缺的一部分。项目中的某些文件夹可能包含大量的临时文件、生成文件或不需要版本控制的文件。在这种情况下&#xff0c;我们通常会使用 .gitignore 文件来忽略这些文件夹。然而&#xff0c;有时我们可能希望在忽略整个…

【SQL实验】索引操作(菜单操作和命令操作)

【代码是自己的解答&#xff0c;并非标准答案&#xff0c;也有可能写错&#xff0c;文中可能会有不准确或待完善之处&#xff0c;恳请各位读者不吝批评指正&#xff0c;共同促进学习交流】 文件”成绩管理”导入【具体操作前几篇文章详细展示过来&#xff0c;这里跳过。还是不太…

MVC 模型:架构与原理

MVC 模型:架构与原理 MVC(Model-View-Controller)模型是一种广泛应用于软件工程的架构模式,主要用于分离应用程序的逻辑层,以提高其可维护性和可扩展性。MVC模型将应用程序分为三个核心组件:模型(Model)、视图(View)和控制器(Controller)。本文将深入探讨MVC模型的…

[pdf,epub]162页《分析模式》漫谈合集01-35提供下载

《分析模式》漫谈合集01-35的pdf、epub文件&#xff0c;已上传至本号的CSDN资源。 如果CSDN资源下载有问题&#xff0c;可到umlchina.com/url/ap.html。 已排版成适合手机阅读&#xff0c;pdf的排版更好一些。 ★UMLChina为什么叒要翻译《分析模式》&#xff1f; ★[缝合故事…

【Linux学习】【Ubuntu入门】1-7 ubuntu下磁盘管理

1.准备一个U盘或者SD卡&#xff08;插上读卡器&#xff09;&#xff0c;将U盘插入主机电脑&#xff0c;右键点击属性&#xff0c;查看U盘的文件系统确保是FAT32格式 2.右键单击ubuntu右下角图标&#xff0c;将U盘与虚拟机连接 参考链接 3. Ubuntu磁盘文件&#xff1a;/dev/s…