首页/新闻资讯/正文详情

TicketFlow AI 项目实践(六):模型压缩、LLM 分类与 Flask 部署

发布时间:2026/11/22 14:58:16 来源:云帆数科 栏目:资讯中心
TicketFlow AI 项目实践(六):模型压缩、LLM 分类与 Flask 部署
完成BERT微调后项目继续探索模型压缩、大模型分类和服务化。本篇是TicketFlow AI系列的工程落地总结。一、为什么需要模型压缩BERT模型语义能力较强但权重较大、CPU推理成本较高。项目分别实现动态量化、非结构化剪枝和知识蒸馏比较模型大小、精度与推理延迟。模型本地文件大小说明原始BERT约390.23 MiBFP32分类模型动态量化约145.58 MiB部分Linear层转换为INT8非结构化剪枝约417.20 MiB稀疏权重和掩码不保证文件变小蒸馏BiLSTM约25.39 MiBBERT教师指导轻量学生模型二、动态量化quantized_model torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtypetorch.qint8 )量化后应在目标CPU上重新测试Macro-F1、平均延迟、P95延迟和内存。文件缩小不代表所有设备都能得到相同加速。三、非结构化剪枝项目对BERT多层Query权重做全局L1剪枝将绝对值较小的权重置零。实验说明了一个重要问题稀疏度提高不等于模型文件自动缩小真正加速还需要稀疏算子和硬件支持。四、知识蒸馏教师模型使用BERT学生模型使用BiLSTM。学生既学习真实标签也学习教师输出的软概率分布总损失 α × 软标签KL散度 (1 - α) × 真实标签交叉熵温度参数让教师分布更加平滑使学生看到类别之间的相对关系。蒸馏效果应与“直接训练BiLSTM”进行对照。五、LLM Prompt分类项目接入DeepSeek和Agnes等OpenAI-compatible接口通过系统提示词给出十类标签、类别说明、边界规则和输出约束。大模型必须只输出一个固定英文类别名代码还需要执行白名单校验allowed_labels { account_login, permission_apply, system_error, data_exception, payment_issue, product_consult, after_sales, complaint, feature_request, other }GitHub中的API Key统一使用your_api_key或环境变量真实Key绝不能提交到代码仓库。已经暴露的Key应立即撤销并重新生成。六、Flask服务GET /health POST /predict POST /predict_batch接口层负责JSON校验、空文本处理、异常捕获和统一返回格式。Streamlit页面用于输入工单、展示类别名称和ID并记录最近预测结果。七、完整部署思路用户提交工单 → 参数校验与敏感信息脱敏 → 本地分类模型 → 置信度判断 → 高置信度自动路由 → 低置信度人工复核或LLM兜底 → 保存预测与人工修正结果 → 定期增量训练八、项目总结TicketFlow AI覆盖了数据处理、传统机器学习、FastText、BERT微调、模型压缩、LLM Prompt、Flask API和Streamlit展示。分类标签不是终点而是自动派单、相似工单检索、知识库推荐和客服Agent的入口。项目地址TicketFlow AI GitHub 公开演示版

相关推荐

Linux GPIO子系统与Pin Controller驱动开发指南
Linux GPIO子系统与Pin Controller驱动开发指南

1. Linux GPIO子系统与Pin Controller驱动概述在嵌入式Linux系统中,GPIO(通用输入输出)是最基础也最重要的外设接口之一。现代SoC通常包含数百个可配置的GPIO引脚,这些引脚不仅可以用作简单的数字输入输出,还能通过引脚… · 2026/9/21 20:40:57

JS这门语言是面向对象的还是面向过程的呢?
JS这门语言是面向对象的还是面向过程的呢?

*显然,JS这门语言是面向对象的,但对于DOM的操作体现了面向过程的思想JavaScript 这门语言本身是支持面向对象(OOP)的,但我们在用它操作 DOM 时,却往往被迫(或习惯性地)采用了面向过程… · 2026/9/18 23:54:03

2026拆解不点外勤千人级外勤团队的全场景承接能力
2026拆解不点外勤千人级外勤团队的全场景承接能力

很多人对新锐外勤品牌有个固有印象:只适合小团队用,团队做大了就撑不住。实际上,经过长期的架构迭代与行业打磨,不点外勤早已实现从10人以内小团队到千人级外勤组织的全规模适配。既能满足小微企业轻量化快速上手的需求,也能支撑集团化、多区域、多层级的复杂外勤管理场景。本文… · 2026/9/21 6:01:56

特种工哪个收入高一些网上查询方法全解析
特种工哪个收入高一些网上查询方法全解析

特种工哪个收入高一些网上查询方法全解析 你是不是也正被“急需特种作业证才能上岗找工作”这个问题困扰?现在各行各业对特种作业证的需求越来越高,但很多人对哪个特种工种收入更高、怎么考、怎么查证都一头雾水。这篇文章就从你最关心的【特种工哪个收入高… · 2026/11/22 14:58:00

湖南东安学电工证上岗必备实操考试怎么过
湖南东安学电工证上岗必备实操考试怎么过

湖南东安学电工证上岗必备实操考试怎么过 实操考试心里没底怕挂科,这几乎是每个准备考电工证的朋友心里最真实的声音。特别是像湖南东安这样的地方,电工证不仅是上岗必备,更是进入建筑、电力、制造业等行业的“通行证”。但很多人对考试内容、考试流程、甚… · 2026/11/22 14:58:00

黄冈黄州区电工证在哪考?避开中介陷阱的实操指南
黄冈黄州区电工证在哪考?避开中介陷阱的实操指南

黄冈黄州区电工证在哪考?避开中介陷阱的实操指南 你是不是正在为【黄冈黄州区电工证在哪考】发愁?不知道去哪报名,怕被中介坑?这事儿可太常见了。作为一个干了多年应急管理工作的老手,我太理解你的焦虑。今天就带你搞清楚电工证到底怎么考、在哪考、考完… · 2026/11/22 14:58:00

工地太忙根本没时间复习考试?电工作业那三证值不值得考
工地太忙根本没时间复习考试?电工作业那三证值不值得考

工地太忙根本没时间复习考试?电工作业那三证值不值得考 工地太忙根本没时间复习考试,这是很多一线电工的真实写照。特别是对于那些已经在工地上忙得脚不沾地的项目现场管理员,比如济源项目现场的朋友们,他们常常一边安排施工进度,一边还要抽空准备考试。… · 2026/11/22 14:58:00

惠阳哪里可以学电工证报名入口与官方办理流程
惠阳哪里可以学电工证报名入口与官方办理流程

惠阳哪里可以学电工证报名入口与官方办理流程 实操考试心里没底怕挂科?惠阳电工证考试其实没有你想的那么难,关键是你得知道哪里能报、怎么准备、怎么通过。这篇文章就是帮你打通从【惠阳哪里可以学电工证】到 官方报名入口… · 2026/11/22 14:58:00

安徽维修电工证有效期保姆级教程:你还在为报名发愁吗?
安徽维修电工证有效期保姆级教程:你还在为报名发愁吗?

安徽维修电工证有效期保姆级教程:你还在为报名发愁吗? 你是不是也在为 安徽维修电工证有效期 的事发愁?不知道去哪里报名,怕被中介坑,还担心证书是不是靠谱?这些问题其实都是新手常见的痛点。今天这篇 保姆级教程… · 2026/11/22 14:57:00

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定
平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定 你是不是也经常在网上看到“平价的电工证查询”这样的关键词,但又不知道去哪报名,怕被中介坑?特别是像你这样的平顶山学员,既想考个正规电工证,又怕花冤枉钱走弯路。别担心,这篇保姆级教程就是… · 2026/11/22 0:00:42

麻阳考电工证在哪里考内部消息你知道吗
麻阳考电工证在哪里考内部消息你知道吗

麻阳考电工证在哪里考内部消息你知道吗 不知道去哪报名怕被中介坑, 内部消息 告诉你,麻阳考电工证不一定要去外地,本地其实也有正规渠道,但很多人因为不了解流程和资质,反而被坑了钱还考不到证。今天我就从一个干了这么多年特种作业培训的“老江湖”角… · 2026/11/22 0:00:43

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程
揭阳普宁电工证换证怎么操作?良心建议帮你理清流程

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程 之前考的证在外省能不能转过来?这是很多已经在外地工作、现在想回揭阳普宁发展的电工朋友最关心的问题。如果你也是其中之一,那这篇文章就是为你们量身定制的,从换证流程到避坑建议,良心建议全给你讲透… · 2026/11/22 0:00:43

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定
平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定 你是不是也经常在网上看到“平价的电工证查询”这样的关键词,但又不知道去哪报名,怕被中介坑?特别是像你这样的平顶山学员,既想考个正规电工证,又怕花冤枉钱走弯路。别担心,这篇保姆级教程就是… · 2026/11/22 0:00:42

麻阳考电工证在哪里考内部消息你知道吗
麻阳考电工证在哪里考内部消息你知道吗

麻阳考电工证在哪里考内部消息你知道吗 不知道去哪报名怕被中介坑, 内部消息 告诉你,麻阳考电工证不一定要去外地,本地其实也有正规渠道,但很多人因为不了解流程和资质,反而被坑了钱还考不到证。今天我就从一个干了这么多年特种作业培训的“老江湖”角… · 2026/11/22 0:00:43

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程
揭阳普宁电工证换证怎么操作?良心建议帮你理清流程

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程 之前考的证在外省能不能转过来?这是很多已经在外地工作、现在想回揭阳普宁发展的电工朋友最关心的问题。如果你也是其中之一,那这篇文章就是为你们量身定制的,从换证流程到避坑建议,良心建议全给你讲透… · 2026/11/22 0:00:43

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:37

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:30

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:32

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码