首页/新闻资讯/正文详情

作品展示|基于RV1126B和TOF技术的智能客流检测系统及在复杂场景下的算法优化

发布时间:2026/11/19 3:02:16 来源:云帆数科 栏目:资讯中心
作品展示|基于RV1126B和TOF技术的智能客流检测系统及在复杂场景下的算法优化
随着城市轨道交通网络规模持续扩张、客流时空分布日益复杂传统依赖固定班次、经验调度与粗粒度客流统计的运营模式已难以满足高峰拥堵疏解、运力调度优化、能耗精细管控及突发事件快速响应等现实需求。而普通视觉检测方案在隧道黑暗、阳光曝光、车窗反射、人员密集遮挡及双向交汇等复杂工况下普遍存在感知稳定性不足、轨迹连续性较差、方向判别易受干扰、隐私保护能力有限等问题难以支撑智慧化运营。针对上述痛点在本次全国大学生嵌入式芯片与系统设计竞赛中大连理工大学 皇家曼巴 团队构建了面向轨道交通真实场景、兼具环境鲁棒性、实时推理能力与工程部署价值的智能客流感知系统为复杂工况下的客流精细感知与运营调度提供了重要支撑。该参赛项目在“2026年全国大学生嵌入式芯片与系统设计竞赛”瑞芯微飞凌嵌入式赛题中斩获国赛一等奖。项目介绍院校名称大连理工大学团队名称皇家曼巴团队成员姓名沈博展、杜绍坤、张博闻指导老师刘全利、张立勇该参赛项目由主动补光、TOF深度感知、主控与算法处理、结果融合与视频输出、上位机应用及电源支撑六大模块组成各模块分工明确、协同工作。在数据链路上主动补光模块向车门区域发射940nm调制红外光为TOF成像提供稳定光源TOF深度感知模块接收反射光生成深度图、红外灰度图等数据并经MIPI CSI-2接口传输至主控模块RV1126B主控模块完成图像预处理、人头与人体检测、多目标跟踪、双线客流计数及车门状态识别将各项结果统一融合再通过OpenCV叠加检测框、轨迹、人数、车门状态与时间戳经H.264编码后以RTSP视频流形式上传至上位机实现实时显示与数据应用电源模块则为各硬件单元提供稳定供电保障系统持续可靠运行。系统框图如图所示。系统框图硬件系统介绍该参赛项目的硬件由三块电路板堆叠构成VCSEL红外补光板、TOF传感器底板和ELF-RV1126B开发板。三块板通过24Pin FPC排线和20Pin高速板对板连接器实现电气互连整体封装于亚克力外壳内。硬件实物侧面图系统以12V直流电源输入TOF板经板上电源转换后为各模块供电。KW33000 TOF传感器通过MIPI CSI-2接口将深度图传输至RV1126B主控芯片芯片完成AI行人检测与追踪计数后通过以太网口将结果上传。VCSEL补光模块的同步驱动信号由KW33000直接输出经补光板放大后控制激光器发光。整机悬挂安装于城轨车厢门正上方俯视拍摄车门区域实现上下车客流的实时检测与统计。电路各模块介绍总体电路原理图(1) ELF-RV1126B开发板开发板搭载RV1126B核心模块集成4核Cortex-A53 CPU、3TOPS NPU、4GB LPDDR4及64GB eMMC作为整套设备的数据处理与控制中枢。供电采用12V输入经TOF底板降压至5V为整机供电数据链路中KW3300感光芯片通过FPC排线MIPI CSI通道向主控传输深度图像行人检测、多目标跟踪算法依托片上NPU加载RKNN量化模型完成推理客流统计结果本地打包输出。硬件控制信号复用同一条FPC排线RV1126B通过硬件I2C下发指令配置补光板驱动参数VCSEL高速同步闪光脉冲由TOF芯片原生输出经TOF底板中转送至补光板实现成像与主动补光时序同步。调试与扩展方面40Pin排针引出GPIO及调试接口Type-C OTG用于系统烧写千兆网口用于上传统计结果与实时视频流Wi-Fi/蓝牙模块供开发阶段无线调试使用。整板运行Debian操作系统软件层面的模型编译、算法调试与上 位机界面开发均在Linux环境下完成。(2) TOF传感器底板TOF传感器搭配120°广角镜头传感器采用VGA640×480分辨率标准帧率60fps片上集成专用深度计算ISP可直接输出深度图、红外灰度图并附带测距置信标识全部距离解算在芯片内部 完成无需RV1126B主控额外参与深度运算。镜头焦距1.658mm水平视场角120°、垂直91°在车厢顶部1.8米以上的高度下可完整覆盖车门区域。TOF PCB板设计图TOF PCB板CAD图电源电路TOF传感器需要三路独立供电——2.8V模拟像素、1.8V I/O接口、1.1V数字内核且对电源噪声要求极高因为模拟供电上的纹波会直接以距离噪声的形式出现在深度图中。本板采用DCDC加LDO两级电源架构12V输入先经多路DCDC高效降至LDO所需的中间电压再由超低噪声LDO输出噪声低至 20μVrms完成最后一级稳压。DCDC负责效率、LDO负责纯净度。两级架构在效率和纯净度之间取得了平衡且三路电源各自独立避免了模拟与数字电路之间的噪声串扰。Buck电路原理图LDO电路原理图接口电路KW33000通过24Pin FPC排线与主控板通信排线内包含MIPI CSI-2单Lane最高1.296Gbps传输深度图和红外灰度图、I2C控制总线用于寄存器配置以及复位、时钟、使能等控制信号。MIPI差分线末端进行100Ω终端匹配以保证1.296Gbps下的信号完整性所有电源通路串联磁珠抑制EMIFPC屏蔽层通过磁珠接地而非直连以阻隔地环路噪声。TOF板通过20Pin BtoB连接器与补光板对接。12V电源经多引脚并联保证VCSEL脉冲供电需求瞬时4.5AKW33000发出的两路同步驱动信号经此连接器传至补光板补光板PD的反馈信号亦经此返回KW33000构成APC闭环。左为与主控板连接电路右为与补光板连接电路(3) VCSEL红外补光板补光板集成4颗VCSEL激光器940nm峰值光功率10WFOI照射角103°×84°转换效率43%。4颗VCSEL按两组控制信号分工LD1OUT控制第1、3颗LD2OUT控制第2、4颗用2路信号即完成了4颗灯的独立管理。每路配备完全独立的驱动链路电源经DCDC转换为8V功率母线再经LDO降为5V为栅极驱动芯片供电。KW33000发出的调制脉冲经LMG1020栅极驱动器2.5ns传播延迟、7A峰值驱动放大后驱动GaN FET进行高速开关。GaN FET相比传统硅MOSFET的优势体现在参数上栅极电荷仅2.5nC在10~100MHz的高频调制下开关损耗极低发热可控而硅管在同等频率下无法长时间工作。本系统每路VCSEL均配备独立的DCDC和LDO避免了多路共源时脉冲电流产生的通道间电源串扰同时单路故障不会扩散至其他通道。每颗VCSEL内部集成PD光电二极管可反馈信号至KW33000构成APC自动功率控制闭环。温度变化时VCSEL的发光效率会漂移波长温度系数0.07nm/°CAPC回路自动调整驱动脉宽进行补偿保证全温度范围内出光功率一致。补光板对外接口图VCSEL驱动电路软件整体介绍TOF传感器通过CSI接口持续输出深度图像主程序以逐帧循环方式完成数据接收、时间同步与图像预处理并将同一帧数据并行送入客流检测支路和车门状态检测支路。客流检测支路依次完成人头—人体协同检测、多目标ID关联、轨迹更新及双线法上下车计数车门状态支路则依据固定检测线上的深度变化搜索左右门边缘、计算开合宽度并更新车门状态。两条支路在结果融合阶段完成时序对齐生成统一的场景状态数据。随后系统利用OpenCV将检测框、目标ID、运动轨迹、上下车人数、车门开闭状态及时间戳等信息叠加至深度图形成具有业务语义的可视化视频帧。叠加后的帧序列交由硬件视频编码单元压缩为H.264码流并通过RTSP协议实时推送至上位机或调度终端由VLC等客户端完成远程解码与显示。软件界面示意图软件各模块介绍软件总体框图ELF-RV1126B开发板详细介绍ELF-RV1126B开发板基于瑞芯微RV1126B处理器设计集成四核ARM Cortex-A53架构主频达1.6GHz并内置3TOPSINT8算力的NPU支持INT8/INT16混合精度运算。该平台可高效部署人脸检测、安全帽识别、烟火告警、区域入侵等典型边缘AI模型实现本地实时智能分析无需依赖云端为高校师生和个人学习者提供从“看得清”到“看得懂”的轻量级AI视频解决方案。视频处理能力强大在图像处理方面开发板搭载新一代1200万像素ISP支持HDR、3DNR、鱼眼校正及去雾等增强算法同时提供双路MIPI-CSI每路4 lane接口可连接多路摄像头并支持H.265/H.264多流并发编码兼顾本地存储与远程传输需求是一套完整的轻量级AI视频分析核心引擎。接口资源丰富ELF-RV1126B开发板采用120mm×75mm的紧凑尺寸易于携带与实验操作。尽管体积小巧它仍提供了丰富的外设接口资源包括2路网口MIPI-DSI和RGB LCD显示接口USB、WiFi等常用接口并且设计了与树莓派40pinGPIO同定义的引脚助力项目的开发。软件生态完善面向高校师生与个人学习者ELF-RV1126B开发板实现低门槛快速上手不仅预装适配完成的Debian 12系统更提供一站式BSP支持包包含内核源码、文件系统、驱动程序及RKNN工具链省去繁琐的环境配置环节。此外开发板全面兼容 Pytorch、TensorFlow、TensorFlow Lite、ONNX、Caffe、Darknet等主流深度学习框架的模型转换为不同技术路线的AI项目开发提供多样化工具支撑轻松打通从理论学习到实践落地的全流程。课程资料齐全开发板功能参数

相关推荐

52% 的加速,去了谁的口袋?
52% 的加速,去了谁的口袋?

从 Linux 基金会新报告看独立开发者该怎么改自己的 AI 工作流一份调研报告里最有价值的不是那几个百分比,而是"成本被搬到了哪里"。这篇不摘要,只做判断。背景与议题:一份"看起来很矛盾"的报告 2025 年 10 月 20 日&… · 2026/11/17 1:45:23

老板必看:研发费用加计扣除,国家真金白银给你“报销“研发费
老板必看:研发费用加计扣除,国家真金白银给你“报销“研发费

很多老板一听"研发费用加计扣除",第一反应是:那是高科技公司才用得上的政策,跟咱这种传统企业没关系。大错特错。今天用大白话把这个政策讲透——它到底是不是"国家帮你报销研发费"。一、一句话说清政策你企业为了研发新… · 2026/11/16 9:31:46

2026动物育种应用程序升级:云端繁殖管理如何破解规模化牧场数据协同难题?
2026动物育种应用程序升级:云端繁殖管理如何破解规模化牧场数据协同难题?

核心摘要:当前商业化养殖场面临的核心矛盾在于,繁殖事件高频发生与纸质记录、分散表格之间的信息断裂,持续侵蚀发情检出率与系谱追溯精度。据恒州诚思调研统计,2025年全球动物育种应用程序市场规模约30.22亿元,预计203… · 2026/11/15 19:33:22

低压电工证上班时间怎么考?网上查询报名攻略全在这
低压电工证上班时间怎么考?网上查询报名攻略全在这

低压电工证上班时间怎么考?网上查询报名攻略全在这 你正被“急需特种作业证才能上岗找工作”这个问题折磨得焦头烂额?低压电工证是很多建筑、电力、制造业岗位的硬性门槛,但很多人连报名时间、考试内容都不清楚,更别说网上查询报名方式了。别急,这篇文章… · 2026/11/19 3:02:06

夏津电工证复审在哪里2026河南最新政策解读
夏津电工证复审在哪里2026河南最新政策解读

夏津电工证复审在哪里2026河南最新政策解读 之前考的证在外省能不能转过来?这是很多电工朋友在考虑复审时最头疼的问题。2026年河南最新政策已经明确, 夏津电工证复审在哪里… · 2026/11/19 3:02:06

电压电工证接线教学保姆级教程:证书过期了不知道怎么复审延期怎么办?
电压电工证接线教学保姆级教程:证书过期了不知道怎么复审延期怎么办?

电压电工证接线教学保姆级教程:证书过期了不知道怎么复审延期怎么办? 证书过期了不知道怎么复审延期,这是很多特种作业从业者遇到的现实难题。尤其是在电压电工证接线教学领域,证件的有效性直接关系到能否正常上岗操作。如果你正面临复审期临近却不知道如… · 2026/11/19 3:02:06

北京安监局 电工证行业前景与薪资待遇
北京安监局 电工证行业前景与薪资待遇

北京安监局电工证内部消息:工地太忙根本没时间复习考试怎么办? 工地太忙根本没时间复习考试?这不是你一个人的困扰,更是很多特种作业操作证持证人员的共同难题。尤其是北京安监局电工证,作为从事电力作业的“通行证”,它不仅关系到个人职业发展,更直接… · 2026/11/19 3:02:06

北京安监局 电工证复审延期怎么办理
北京安监局 电工证复审延期怎么办理

北京安监局电工证怎么考?考前押题帮你少走弯路 你是不是也遇到过这种情况?手里有一份北京安监局电工证,但不知道去哪报名,怕被中介坑,还怕花冤枉钱?其实,现在报名流程已经比以前清晰很多,只要掌握正确的方法,避坑其实不难。特别是现在有 考前押题… · 2026/11/19 3:02:06

电工证多久可以领证保姆级教程:工地太忙根本没时间复习考试怎么办?
电工证多久可以领证保姆级教程:工地太忙根本没时间复习考试怎么办?

电工证多久可以领证保姆级教程:工地太忙根本没时间复习考试怎么办? 工地太忙根本没时间复习考试,这话我听着太熟悉了。在周口干了五年的建筑工老张,去年考电工证,结果因为工期紧,连复习时间都挤不出来,考试挂了两次,差点耽误了工期。现在他每次说起这… · 2026/11/19 3:01:06

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/18 8:19:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/18 8:19:53

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/18 14:38:14

姑苏区哪里考电工证好考前押题怎么找
姑苏区哪里考电工证好考前押题怎么找

姑苏区哪里考电工证好考前押题怎么找 工地太忙根本没时间复习考试,电工证考前还总找不到靠谱的 考前押题 资源,真让人头疼。如果你也是在苏州姑苏区从事建筑或电力行业的,那这些建议你一定要看完。 为什么姑苏区考电工证的人这么多?… · 2026/11/19 0:00:12

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南
罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南

罗定能考电工证吗?外省证转过来流程全解析+郑州报考避坑指南 之前考的证在外省能不能转过来?这几乎是每个特种作业证书持有者都会遇到的问题,特别是像你这样已经在外地工作多年,想回老家罗定发展或者重新规划职业路径的人。别急,今天就给你一条清晰的路… · 2026/11/19 0:00:12

罗定能考电工证吗 电工证含金量到底有多少?
罗定能考电工证吗 电工证含金量到底有多少?

罗定能考电工证吗 电工证含金量到底有多少? 之前考的证在外省能不能转过来,这几乎是每个准备考电工证的朋友最先想到的问题。特别是在罗定这样的地方,很多人的电工证都是在外地考的,现在想在当地继续使用,但不知道怎么办。实际上,电工证的 含金量… · 2026/11/19 0:00:12

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/19 0:22:38

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码