YOLO 部署瑞芯微 RK3588 完整教程（从训练到 Python/C++ 部署）

Yolo部署瑞芯微RK3588开发板手把手教你搞定支持yolo模型训练导出ONNX量化转换为RKNN可以在Python和C中部署。多线程加速功能可选还能增加计数功能。YOLO 部署瑞芯微 RK3588 完整教程从训练到Python/C部署下面给你一套从模型训练、导出ONNX、量化RKNN到Python/C部署的完整流程适配 RK3588 开发板附可直接运行的代码。一、整体流程概览YOLO训练 → 导出ONNX → 用rknn-toolkit2转换为RKNN → Python部署/多线程加速 → C部署/计数功能二、第一步YOLOv5/v8 训练并导出 ONNX1. 训练模型直接使用官方YOLOv5仓库训练你的目标检测模型即可和普通PC训练一样数据集按YOLO格式准备。2. 导出 ONNX 模型在训练好的YOLOv5目录下执行# YOLOv5示例python export.py--weightsbest.pt--includeonnx--imgsz640640--opset12会生成best.onnx后续用来转RKNN。三、第二步用 rknn-toolkit2 量化并转换为 RKNN 模型1. 安装 rknn-toolkit2在PCUbuntu环境安装工具链# 安装依赖pipinstallrknn-toolkit22. 转换脚本Pythonfromrknn.apiimportRKNN# 配置ONNX_MODELbest.onnxRKNN_MODELyolov5s.rknnDATASET./dataset.txt# 量化校准集每行一张图片路径# 创建RKNN对象rknnRKNN(verboseTrue)# 配置预处理和训练时保持一致rknn.config(mean_values[[0,0,0]],std_values[[255,255,255]],target_platformrk3588)# 加载ONNX模型retrknn.load_onnx(modelONNX_MODEL)ifret!0:print(加载ONNX失败)exit(-1)# 构建模型量化retrknn.build(do_quantizationTrue,datasetDATASET)ifret!0:print(构建模型失败)exit(-1)# 导出RKNN模型rknn.export_rknn(RKNN_MODEL)print(fRKNN模型已保存为{RKNN_MODEL})rknn.release()四、第三步RK3588 上 Python 部署支持图片/视频/摄像头1. 安装 RKNN-Lite2在RK3588开发板上安装pipinstallrknn-toolkit-lite2 opencv-python2. Python 部署代码支持图片/视频/摄像头可加计数功能importcv2importnumpyasnpfromrknnlite.apiimportRKNNLite# 配置RKNN_MODELyolov5s.rknnIMG_SIZE640CONF_THRESH0.5NMS_THRESH0.6# 初始化RKNNrknn_liteRKNNLite()retrknn_lite.load_rknn(RKNN_MODEL)retrknn_lite.init_runtime(core_maskRKNNLite.NPU_CORE_0)# 计数功能变量object_count0counted_idsset()# 已计数的目标ID配合SORT追踪器使用defpreprocess(img):imgcv2.cvtColor(img,cv2.COLOR_BGR2RGB)imgcv2.resize(img,(IMG_SIZE,IMG_SIZE))returnimgdefpostprocess(outputs,img0,img_size640,conf_thresh0.5,nms_thresh0.6):# 这里简化后处理实际按YOLOv5输出格式解析# outputs[0]形状为 [1, 25200, 85]COCOdets[]returnnp.array(dets)# 摄像头实时检测可替换为视频文件路径capcv2.VideoCapture(0)whilecap.isOpened():ret,framecap.read()ifnotret:breakimgpreprocess(frame)outputsrknn_lite.inference(inputs[img])detspostprocess(outputs,frame)# 计数逻辑示例配合SORT时使用fordetindets:x1,y1,x2,y2,conf,clsdet cv2.rectangle(frame,(int(x1),int(y1)),(int(x2),int(y2)),(0,255,0),2)cv2.putText(frame,f{int(cls)}:{conf:.2f},(int(x1),int(y1)-10),cv2.FONT_HERSHEY_SIMPLEX,0.5,(0,255,0),2)# 显示计数cv2.putText(frame,fCount:{object_count},(10,30),cv2.FONT_HERSHEY_SIMPLEX,1,(0,0,255),2)cv2.imshow(RK3588-YOLO,frame)ifcv2.waitKey(1)0xFFord(q):breakcap.release()cv2.destroyAllWindows()rknn_lite.release()3. 多线程加速版本importthreadingimportqueue# 线程安全队列frame_queuequeue.Queue(maxsize5)result_queuequeue.Queue(maxsize5)defcapture_thread(cap):whilecap.isOpened():ret,framecap.read()ifnotret:breakifnotframe_queue.full():frame_queue.put(frame)definference_thread(rknn_lite):whileTrue:frameframe_queue.get()imgpreprocess(frame)outputsrknn_lite.inference(inputs[img])detspostprocess(outputs,frame)ifnotresult_queue.full():result_queue.put((frame,dets))# 启动线程capcv2.VideoCapture(0)t1threading.Thread(targetcapture_thread,args(cap,),daemonTrue)t2threading.Thread(targetinference_thread,args(rknn_lite,),daemonTrue)t1.start()t2.start()# 主线程显示whileTrue:frame,detsresult_queue.get()# 画框计数cv2.imshow(MultiThread,frame)ifcv2.waitKey(1)0xFFord(q):break五、第四步RK3588 C 部署高性能1. 环境依赖安装 RKNN C APIRK3588 SDK自带OpenCV 4.x2. C 核心代码框架#includerknn_api.h#includeopencv2/opencv.hppintmain(){rknn_context ctx;// 1. 初始化RKNNrknn_init(ctx,yolov5s.rknn,0,0,NULL);// 2. 预处理cv::Mat imgcv::imread(test.jpg);cv::resize(img,img,cv::Size(640,640));cv::cvtColor(img,img,cv::COLOR_BGR2RGB);// 3. 推理rknn_input inputs[1];inputs[0].index0;inputs[0].typeRKNN_TENSOR_UINT8;inputs[0].fmtRKNN_TENSOR_NHWC;inputs[0].bufimg.data;inputs[0].size640*640*3;rknn_inputs_set(ctx,1,inputs);rknn_run(ctx,NULL);// 4. 后处理rknn_output outputs[1];outputs[0].want_float1;rknn_outputs_get(ctx,1,outputs,NULL);float*out(float*)outputs[0].buf;// 解析输出画框、计数...// 5. 释放资源rknn_destroy(ctx);return0;}六、计数功能实现方案简单计数对检测框做简单的IOU匹配连续帧出现则计数1精准计数结合SORT/DeepSORT追踪器给每个目标分配IDID出现一次只计数一次进出线计数在画面中设置虚拟线目标穿过线时触发计数如车流统计。七、关键避坑点预处理必须对齐训练时的归一化、尺寸、通道顺序RGB/BGR必须和RKNN配置完全一致量化校准集尽量用真实场景图片避免量化后精度暴跌RK3588核心选择用RKNNLite.NPU_CORE_0/1/2指定核心多模型可分散负载内存优化视频流处理时用队列多线程避免内存堆积。