首页/新闻资讯/正文详情

前端流式输出大模型回答时为什么使用长连接,具体怎么实现流式输出markdown文本

发布时间:2026/11/17 1:20:48 来源:云帆数科 栏目:资讯中心
前端流式输出大模型回答时为什么使用长连接,具体怎么实现流式输出markdown文本
效果为什么用长连接实时交互需求用户与大模型交互时希望能实时看到回答的生成过程长连接可让后端将生成的内容逐段实时传给前端实现类似 “边生成边显示” 的效果提升交互体验。应对大数据量传输大模型回答可能包含大量数据长连接能在一次连接中持续传输避免短连接因频繁建立和断开导致的性能损耗保证数据传输的稳定性和完整性。这里使用的是通过fetch结合ReadableStream实现长连接不是websocket区别如下1. 协议层面fetchReadableStream本质上基于 HTTP 协议。HTTP 是一种无状态的协议虽然可以通过流式传输数据来模拟长连接但它仍然是基于请求 - 响应模型客户端发起请求服务器返回响应只是响应数据可以分块逐步传输。WebSocket基于 WebSocket 协议它是一种独立的、双向的网络协议在 TCP 协议之上运行。WebSocket 连接一旦建立就可以在客户端和服务器之间进行全双工通信即双方可以同时发送和接收数据无需像 HTTP 那样每次通信都要发起新的请求。2. 连接建立过程fetchReadableStream客户端通过fetchAPI 发起一个 HTTP POST 请求服务器接收到请求后开始返回响应数据。如果服务器支持流式传输就会持续不断地发送数据块客户端通过ReadableStream逐步读取这些数据。WebSocket客户端通过WebSocket构造函数创建一个 WebSocket 实例向服务器发起一个特殊的 HTTP 升级请求HTTP Upgrade request请求将连接从 HTTP 协议升级到 WebSocket 协议。如果服务器同意升级双方就会建立一个 WebSocket 连接。3. 数据传输方式fetchReadableStream数据传输是单向的通常是客户端发起请求服务器返回数据。数据以文本形式传输通常使用特定的格式如 Server-Sent Events 格式来区分不同的事件和数据块。WebSocket支持双向数据传输客户端和服务器可以随时向对方发送数据。数据可以是文本或二进制格式开发者可以根据需要灵活选择。4. 实时性和性能fetchReadableStream由于基于 HTTP 协议存在一定的延迟特别是在处理大量数据或频繁交互时。每次请求都需要携带 HTTP 头部信息增加了数据传输的开销。WebSocket实时性更好因为它是全双工通信没有请求 - 响应的延迟。而且 WebSocket 连接建立后后续的数据传输只需要携带少量的协议头部信息减少了数据传输的开销性能更高。5. 错误处理和重连机制fetchReadableStream错误处理相对复杂需要处理 HTTP 状态码、网络错误等多种情况。重连机制需要开发者手动实现当连接中断时需要重新发起fetch请求。WebSocket提供了内置的错误处理和重连机制。当连接出现错误或断开时会触发相应的事件如onerror、onclose开发者可以监听这些事件并实现重连逻辑。6. 适用场景fetchReadableStream适用于一次性请求需要逐步接收大量数据的场景如文件下载、服务器推送实时日志等。WebSocket适用于需要实时双向通信的场景如聊天应用、实时游戏、实时数据监控等。如何实现1. 数据接收与预处理在handleEvent方法中当接收到answer事件时对事件数据进行预处理。使用正则表达式替换特殊字符将\\n替换为\n并把连续的换行符统一为\n\n。2. 内容更新与缓冲将处理后的数据添加到completeMarkdown中该变量用于存储完整的 Markdown 内容。同时将处理后的数据添加到answerBuffer中answerBuffer作为一个缓冲区暂存待渲染的新内容。3.防抖渲染机制为避免频繁渲染影响性能使用防抖技术。每次接收到新数据时清除之前设置的定时器this.renderTimer并重新设置一个 100ms 的定时器。如果在 100ms 内没有新数据到达则调用renderMarkdown方法进行渲染。但是随着时间间隔增大生成答案的效果会变得更卡顿在意生成流畅度可以不适用定时器改用其他性能优化手段4. 强制渲染条件通过shouldForceRender方法判断当前接收到的数据是否包含特定的强制渲染标记如###、##、\n\n、。、、。如果包含这些标记则立即调用renderMarkdown方法进行渲染确保在关键位置及时更新页面。5. 渲染与更新 DOM在renderMarkdown方法中使用this.md.render方法将完整的 Markdown 内容渲染为 HTML。使用this.$nextTick确保在 DOM 更新后执行后续操作。更新answerMarkdown变量将渲染后的 HTML 内容赋值给它从而更新页面显示。清空answerBuffer缓冲区为下一次渲染做准备。调用scrollToBottom方法将页面滚动到底部确保用户能看到最新的内容。示例div classcontentText v-ifchat.type ! user div classthinking v-htmlthinkingMarkdown /div div v-htmlanswerMarkdown/div /div export default { data() { return { thinkingMarkdown: , answerMarkdown: , answerBuffer: , completeMarkdown: , // 存储完整的 markdown renderTimer: null, md: null } }, methods: { handleEvent(event) { if (event.name answer) { // 1. 处理数据 const normalizedData event.data .replace(/\\n/g, \n) .replace(/\r?\n\r?\n/g, \n\n); // 2. 更新完整内容 this.completeMarkdown normalizedData; // 3. 添加到缓冲区 this.answerBuffer normalizedData; // 4. 使用防抖进行渲染 clearTimeout(this.renderTimer); this.renderTimer setTimeout(() { this.renderMarkdown(); }, 100); // 100ms 的防抖时间 // 5. 强制在特定标记处渲染 if (this.shouldForceRender(normalizedData)) { this.renderMarkdown(); } } }, shouldForceRender(text) { // 定义需要强制渲染的标记 const forceRenderMarkers [ ###, ##, \n\n, 。, , ]; return forceRenderMarkers.some(marker text.includes(marker)); }, renderMarkdown() { if (!this.answerBuffer) return; try { // 渲染新内容 const renderedContent this.md.render(this.completeMarkdown); this.$nextTick(() { // 更新 DOM this.answerMarkdown renderedContent; // 清空缓冲区 this.answerBuffer ; // 滚动到底部如果需要 this.scrollToBottom(); }); } catch (error) { console.error(Markdown 渲染错误:, error); } }, scrollToBottom() { const element this.$el.querySelector(.left); if (element) { element.scrollTop element.scrollHeight; } } }, // 组件销毁时清理 beforeDestroy() { if (this.renderTimer) { clearTimeout(this.renderTimer); } } }6.总结接收事件数据对其预处理替换特殊字符。将处理后的数据添加到完整内容存储处和缓冲区。用防抖机制若 100ms 无新数据则渲染含特定标记时强制渲染。渲染 Markdown 为 HTML更新 DOM 并清空缓冲区滚动页面到底部。组件销毁时清除定时器防内存泄漏。

相关推荐

2分钟快速安装Windows包管理器:winget-install一键脚本终极指南
2分钟快速安装Windows包管理器:winget-install一键脚本终极指南

2分钟快速安装Windows包管理器:winget-install一键脚本终极指南 【免费下载链接】winget-install Install WinGet using PowerShell! Prerequisites automatically installed. Works on Windows 10/11 and Server 2019/2022. 项目地址: https://gitcode.com/gh_mi… · 2026/9/29 11:32:41

STM32CubeMX移植FreeRTOS
STM32CubeMX移植FreeRTOS

目录 一:创建工程 二:任务代码 一:FreeRTOS内部机制 一:创建工程 1.新建工程 2.选择芯片 3. 系统时钟 3.RCC 4.选择FreeRTOS 5.新建任务 6.时钟配置 7.文件配置 · 2026/9/29 12:45:59

Ascend C SIMT-API __highs2half2函数
Ascend C SIMT-API __highs2half2函数

__highs2half2 【免费下载链接】asc-devkit 本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。 项目地址: https://gitcode.… · 2026/10/3 5:35:32

电工证原发证机关官方回应:证书过期了怎么复审延期?别再踩坑!
电工证原发证机关官方回应:证书过期了怎么复审延期?别再踩坑!

电工证原发证机关官方回应:证书过期了怎么复审延期?别再踩坑! 证书过期了不知道怎么复审延期?很多人在拿到电工证后,以为有了证就万事大吉,殊不知特种作业操作证是有明确有效期的。尤其是涉及【电工证原发证机关】的复审流程,很多人搞不清该找哪个部门… · 2026/11/17 1:20:02

衢州特种工报名值不值得考?实操考试心里没底怕挂科怎么办
衢州特种工报名值不值得考?实操考试心里没底怕挂科怎么办

衢州特种工报名值不值得考?实操考试心里没底怕挂科怎么办 你是不是正盯着“衢州特种工报名”这几个字,心里直打鼓?想着自己干了这么多年手艺活,怎么还没个正儿八经的证书?尤其是实操考试,一想到那些操作步骤、流程、标准,整个人就紧张起来, 怕挂科… · 2026/11/17 1:20:02

青山高压低压电工作业证过期了?内部消息告诉你怎么复审延期
青山高压低压电工作业证过期了?内部消息告诉你怎么复审延期

青山高压低压电工作业证过期了?内部消息告诉你怎么复审延期 证书过期了不知道怎么复审延期?我懂你的焦虑。作为在应急管理领域摸爬滚打多年的从业者,每年都有大量从业人员因为证书过期或不了解复审流程而被限制上岗、甚至被单位辞退。尤其是【青山高压低压… · 2026/11/17 1:20:02

房县特种作业操作证怎么报名不被坑?保姆级教程全在这了
房县特种作业操作证怎么报名不被坑?保姆级教程全在这了

房县特种作业操作证怎么报名不被坑?保姆级教程全在这了 你是不是也遇到过这种情况?拿着房县特种作业操作证,想换工作、升职加薪,结果发现证书快到期了,不知道去哪儿办理换证,结果一不小心就被中介坑了钱,还耽误了事?别急,这篇 保姆级教程… · 2026/11/17 1:20:02

安全员特种工培训视频网上查询怎么操作?新手必看避坑指南
安全员特种工培训视频网上查询怎么操作?新手必看避坑指南

安全员特种工培训视频网上查询怎么操作?新手必看避坑指南 你正在为找工作发愁,却发现单位要求必须持有 特种作业操作证 才能上岗?别急,今天就从 信阳房建工程从业者 的角度,带你了解 安全员特种工培训视频… · 2026/11/17 1:20:02

海淀低压电工证全国通用,报名别走弯路,这些坑别踩
海淀低压电工证全国通用,报名别走弯路,这些坑别踩

海淀低压电工证全国通用,报名别走弯路,这些坑别踩 你是不是也遇到过这样的情况?手头有个低压电工的工作,但不知道怎么报考 海淀低压电工证 ,生怕被中介骗钱?怕报名后证书不 全国通用… · 2026/11/17 1:19:02

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/16 3:21:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/16 3:01:18

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/16 8:30:17

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗
安徽特种工考证学校千万别踩坑,学历不高也能考证上岗

安徽特种工考证学校千万别踩坑,学历不高也能考证上岗 你是不是总觉得学历不高就考不了证,连报名资格都够不上?其实,很多人和你一样,学历不占优势,但想通过考证转行或提升自己的职业竞争力。安徽特种工考证学校虽然门槛不高,但千万别踩坑,稍有不慎就会… · 2026/11/17 0:00:20

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干
你没学历也能考福田特种作业操作证?真实经历告诉你怎么干

你没学历也能考福田特种作业操作证?真实经历告诉你怎么干 你是不是觉得学历不高就考不上福田特种作业操作证?其实不然,我有个老乡,初中毕业,现在在安阳干焊工,每月拿8000多,还评上了高级技师。他的经历我今天就给你说说,看看你能不能照着走。… · 2026/11/17 0:00:20

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审
低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审

低压电工证哪里盖章怎么报名 过期了别慌教你一步步复审 证书过期了不知道怎么复审延期?低压电工证是很多电工从业者必须持有的证件,一旦到期未及时办理复审,不仅影响工作,还可能面临被单位辞退甚至罚款。今天我就从南阳地区培训机构学员的角度,详细告诉… · 2026/11/17 0:00:20

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:43

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:57

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/16 16:48:48

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码