目录一、Token令牌 / 词元1. 什么是 Token2. Token 换算规则通用参考3. 两类 Token4. 举例二、Context Window 上下文窗口上下文长度1. 定义2. 工作逻辑3. 常见模型窗口规格4. 实操问题三、max_tokens 最大生成 token 数1. 作用2. 边界问题四、temperature 温度随机性 / 创造力参数1. 核心逻辑2. 分段取值效果3. 关键注意五、top_p 核采样Nucleus Sampling1. 定义2. 和 temperature 配合逻辑3. 对比 top_k补充区分4. 取值参考六、流式输出 SSEServer-Sent Events 服务器推送事件1. 什么是流式输出2. SSE 底层协议原理3. SSE 核心特点4. 流式返回关键字段通用 API 规范5. 优缺点6. 和 WebSocket 区分配套实战参数组合示例场景 1代码生成严谨无幻觉场景 2日常聊天 / 文案写作平衡场景 3创意小说写诗高创造力补充关键联动关系总结一、Token令牌 / 词元1. 什么是 Token大模型不直接处理文字会把文本切分成最小处理单元这个单元就是 Token分为三类英文单词、子词、标点、空格hello1tokenunhappiness拆成unhappiness2 个 token中文单汉字、偏旁组合、标点1 个中文汉字≈1.5~2 个 token特殊换行符、系统指令标记、结束符|endoftext|2. Token 换算规则通用参考英文1 token ≈ 4 个字母 / 0.75 个单词中文1000 token ≈ 500700 个汉字计费、长度限制全部按 Token 计算不是字符3. 两类 Token输入 Tokenprompt tokens你发给模型的提问、历史对话、系统提示词消耗的 token输出 Tokencompletion tokens模型生成回答消耗的 token 总消耗 输入 输出计费按两者之和4. 举例句子你好介绍一下Java后端拆分后大概 1215 token模型读取全部 token 再推理生成回复。二、Context Window 上下文窗口上下文长度1. 定义模型单次推理能一次性读取、记忆的最大总 Token 容量是模型硬件 训练决定的硬上限。 公式上下文总token 系统提示词 全部历史对话 当前提问 即将生成的回答总和不能超过上下文窗口上限否则报错 / 截断。2. 工作逻辑对话轮次增多历史记录持续累积 token总量接近窗口上限时必须丢弃最早的历史消息截断一旦历史被截断模型会遗忘前面的对话内容出现 “失忆”。3. 常见模型窗口规格轻量模型4k4096 token通用商用8k / 32k超长上下文128k、1M、12M token长文档分析、整本书读取4. 实操问题窗口 4k系统词占 1k单次回答 max_tokens 设 1k → 留给对话历史 当前提问只剩 2k长对话场景需要自动滑动窗口、摘要压缩历史减少 token 占用。三、max_tokens 最大生成 token 数1. 作用限制模型单次输出回答最多能生成多少 token只管控输出不包含输入 prompt。设 500模型最多输出约 250 个中文写完立刻停止设 0 / 不填使用模型默认上限2. 边界问题若剩余可用上下文空间 max_tokens以剩余空间为准提前截断回答回答写到 max_tokens 上限会强行中断句子半截结束用途控制成本、防止无限生成长文本、限制回复长度。四、temperature 温度随机性 / 创造力参数1. 核心逻辑控制模型选词概率分布的平滑程度值域0 ~ 2本质调整 softmax 输出概率温度越低越保守、越高越天马行空。2. 分段取值效果temperature效果适用场景0完全确定性每次输入输出一模一样只选概率最高的词代码生成、数据抽取、数学计算、标准答案、企业知识库问答0.1 ~ 0.3极低随机严谨、少幻觉逻辑稳定文案改写、专业报告、客服标准回复0.5 ~ 0.7平衡创意与准确日常聊天、写作日常对话、随笔、普通文案1.0原生模型概率正常创造力故事、创意文案1.01.2~1.8大幅增加低概率词汇容易跑题、产生幻觉诗歌、脑洞小说、创意灵感生成≥2.0文字混乱、语义断裂基本不可用无实用场景3. 关键注意temperature0 时top_p 参数会自动失效优先完全贪心采样。五、top_p 核采样Nucleus Sampling1. 定义不固定只取前 N 个词而是累积概率达到 p 阈值的最小词集合值域0 ~ 1。 举个例子 top_p0.9 把所有候选词按概率从高到低排序依次累加概率直到总和 ≥90%只在这批词里随机选词剩下 10% 低概率词直接抛弃。2. 和 temperature 配合逻辑两者共同控制随机性行业通用搭配规则严谨场景temp0top_p1只用贪心top_p 无效平衡通用temp0.7top_p0.9最主流配置创意写作temp1.2top_p0.95放宽低概率词范围3. 对比 top_k补充区分top_k固定只取概率前 k 个词容易卡死多样性top_p动态选词池文本流畅度更好主流 API 都默认用 top_p4. 取值参考top_p0.1选词极度单一接近 temp0 效果top_p0.9行业标准top_p1.0放开全部候选词完全由 temperature 控制随机度六、流式输出 SSEServer-Sent Events 服务器推送事件1. 什么是流式输出常规非流式一次性返回 客户端发请求 → 模型完整生成全部文字 → 一次性返回完整 JSON长回答会有几秒几十秒空白等待。流式输出 模型每生成一小段 token立刻分片实时传给前端实现打字机逐字弹出效果用户无需等待全文生成。2. SSE 底层协议原理SSE 是 HTTP 长连接单向推送标准专门做服务端向客户端实时下发数据是 LLM 流式接口底层标准客户端发起普通 GET 请求请求头携带Accept: text/event-stream服务端不关闭 HTTP 连接持续保持长连接数据固定格式分片下发每条消息结构data: {token:你好,finish_reason:null} \n\n单条 data 代表一段增量 token持续推送全部生成完成时推送结束标记data: [DONE]客户端收到分片后拼接所有token字段得到完整回答。3. SSE 核心特点基于标准 HTTP无需 WebSocket兼容性极强单向通信只能服务端推送给客户端客户端不能实时回传自动断线重连浏览器原生支持文本协议轻量适合大模型文字流输出。4. 流式返回关键字段通用 API 规范choices[0].delta.content增量新生成的单个 / 多个字符 token流式独有非流式用message.contentfinish_reason结束原因null还在持续输出stop正常回答结束length达到 max_tokens 上限强制截断5. 优缺点✅ 优点交互体验好、首字延迟低、用户感知更快 ❌ 缺点前端需要额外逻辑拼接分片、日志 / 存储要合并完整文本无法中途修改提问SSE 单向。6. 和 WebSocket 区分SSELLM 流式输出首选简单、无额外握手纯文本推送WebSocket双向通信适合需要客户端实时上传数据的场景语音实时对话等。配套实战参数组合示例场景 1代码生成严谨无幻觉temperature0 top_p1.0 max_tokens1024 streamfalse非流式一次性返回场景 2日常聊天 / 文案写作平衡temperature0.7 top_p0.9 max_tokens2048 streamtrueSSE流式打字效果场景 3创意小说写诗高创造力temperature1.2 top_p0.95 max_tokens4096 streamtrue补充关键联动关系总结所有输入 输出 token 总和 ≤ context windowmax_tokens 限制输出长度总和超限会截断temperature top_p 共同控制生成随机性温度 0 时 top_p 失效streamtrue 开启 SSE 流式分片输出增量 delta 拼接完整回答。
企业数字化 ERP 产品动态
相关推荐
终极macOS窗口管理解决方案:Loop让你的桌面工作流效率翻倍 终极macOS窗口管理解决方案:Loop让你的桌面工作流效率翻倍 【免费下载链接】Loop Window management made elegant. 项目地址: https://gitcode.com/GitHub_Trending/lo/Loop
Loop是一款专为macOS设计的免费开源窗口管理工具,通过创新的径向菜单和… · 2026/9/24 22:34:30
DolphinDB实时聚合计算:多维度聚合 目录摘要一、聚合计算概述1.1 聚合类型1.2 聚合函数1.3 聚合维度二、基础聚合2.1 单表聚合2.2 分组聚合2.3 条件聚合三、多维度聚合3.1 多列分组3.2 Cube聚合3.3 Rollup聚合四、层级聚合4.1 组织层级4.2 时间层级4.3 上卷下钻五、实时聚合引擎5.1 时间序列聚合5.2 多度量聚合5.… · 2026/9/24 23:07:36
新乡房建工程电工证培训考证课程:实操考试心里没底怕挂科?良心建议来了! 新乡房建工程电工证培训考证课程:实操考试心里没底怕挂科?良心建议来了! 实操考试心里没底怕挂科,你不是一个人。作为新乡房建工程的从业者,电工证不仅是上岗的“通行证”,更是职业发展的“跳板”。很多人考前焦虑、临时抱佛脚,结果一上考场就懵了。今… · 2026/11/21 18:08:52
电工证兼职犯法吗?真实经历告诉你哪里报名最靠谱 电工证兼职犯法吗?真实经历告诉你哪里报名最靠谱 不知道去哪报名怕被中介坑?很多人在考虑报考电工证的时候,第一反应就是“电工证兼职犯法吗?”其实,这背后反映的是对证件权威性、法律风险和执业范围的不了解。今天我就用 真实经历… · 2026/11/21 18:08:52
陕西安康高低压电工证是上岗必备,工地太忙怎么搞定复习? 陕西安康高低压电工证是上岗必备,工地太忙怎么搞定复习? 工地太忙根本没时间复习考试?我懂你,作为一名刚从商丘来到陕西安康的低压电工,我也经历过同样的焦虑。手里攥着【陕西安康高低压电工证】,却因为工作节奏快、时间紧,连报名资料都还没来得及整理… · 2026/11/21 18:08:52
蓟县哪里可以学电工证证全国通用吗 蓁县哪里可以学电工证 电工证全国通用怎么考才不挂科 实操考试心里没底怕挂科,这几乎是每个想考电工证的朋友共同的担忧。尤其是蓟县的学员,面对全国通用的电工证考试,很多人都在问:“蓟县哪里可以学电工证?电工证全国通用吗?能不能一次过?”今天我就… · 2026/11/21 18:08:52
维修新能源需要电工证 上岗必备怎么考才稳妥 维修新能源需要电工证 上岗必备怎么考才稳妥 你是不是也担心学历不高,连个电工证都考不了?别慌,维修新能源需要电工证其实没有你想象中那么难。今天我就以一个三门峡水利工程从业者的真实经历,带你看清楚【维修新能源需要电工证】到底怎么考,怎么用,以… · 2026/11/21 18:08:52
蚌埠电工证培训通过率揭秘:怕被中介坑?这篇讲透报名全攻略 蚌埠电工证培训通过率揭秘:怕被中介坑?这篇讲透报名全攻略 不知道去哪报名怕被中介坑?蚌埠电工证培训通过率高低不一,很多人被虚假宣传、中介套路绕得晕头转向。其实,只要掌握正确渠道和备考技巧,通过率完全可控。本文结合驻马店地区水利工程从业者的实… · 2026/11/21 18:07:52
长春初级电工证怎么考?通过率揭秘全在这里 长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/20 16:18:19
国内电工证报考条件与考试时间 低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/20 18:25:07
电工作业时如何断电?电子证书到底能不能全国通用? 电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/20 17:56:32
电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 你是不是也担心自己学历不高, 怕报不上名 ?尤其是像焦作水利工程这样的从业者,常年在一线作业,但证书却成了晋升、转岗、接项目的关键门槛。 2026河南最新政策… · 2026/11/21 0:00:17
电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 不知道去哪报名怕被中介坑,电工证征求意见填错了不仅白费钱,还可能影响后续考试和工作。最近很多济源的电工朋友都在问: 电工证征求意见怎么填… · 2026/11/21 0:00:17
房建企业特种工考前押题怎么找?别让培训费打了水漂 房建企业特种工考前押题怎么找?别让培训费打了水漂 怕考不过白交培训费?房建企业特种工考试难度高、题型多,很多人报名后才发现没有合适的复习资料,最终考试落榜,白白浪费了时间和金钱。别担心,掌握【考前押题】的技巧,能让你事半功倍,顺利通过考试。… · 2026/11/21 0:00:17
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:37
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:30
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:32