• 正文
  • 相关推荐
申请入驻 产业图谱

“一芯四用”,米尔RK3576如何同时驾驭4路YOLOv8视频流?

09/11 17:17
792
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

在科技飞速发展的当下,人工智能边缘计算的融合正以前所未有的速度重塑着我们的生活。RK3576芯片拥有4核Cortex-A72以及4核Cortex-A53提供基础算力,6TOPS算力NPU来模型推导运算。使用YOLOv8模型时也是手到擒来,接下来随着步伐看看它表现如何。

图:此次的板卡米尔RK3576核心板开发板

YOLO简介

YOLO(You Only Look Once)是当前业界领先的实时目标检测算法系列,以其速度和精度的完美平衡而闻名。从它发布至今,经历了好几个版本变革,下图是它发展历史。

图1-1. YOLO版本发展史

YOLOv8在性能、易用性、架构现代性和生态之间取得了最佳的平衡,它是目前最全面,最省心选择。

同样YOLOv8也有很多尾缀,用一个表简单列一下它们分别代表什么意思:

表1-1.按任务类型区分

表1-2.按模型尺寸分

米尔Demo模型选择

基于MYD-LR3576来说,选择s/n小模型相对合适,使用基础功能和-seg,-obb,-pos来演示。

单独测试视频场景效果展示

1.YOLOv8s.int 目标检测模型

2.YOLOv8s-seg.int 实例分割模型

3.YOLOv8s-pose.int 人体姿态估计模型

4.YOLOv8s-obb.float 旋转目标检测模型

上面已经看到了单独解析视频时,每一种模型效果,接下来演示MYD-LR3576通过4路摄像头同时推导效果。

实现方式如下:

MYD-LR3576拥有3路MIPI-CSI接口,通过3个MY-CAM004M分别接入3路MIPI-CSI,采用2+1+1方式搭载4路AHD高清摄像头,摄像头采集的画面输出为H.264编码的RTSP码流,1920*1080分辨率,30帧。经过MYD-LR3576开发板处理后,单路视频输出1920*1080,25fps,4路视频加起来在60~70帧,cpu占用率接近100%,NPU综合利用率在50~60%。

图1-2.?实物接线概要图

图1-3.?摄像头数据处理流程图

MYIR在程序中做了哪些优化

AI推导一轮流程

  • 获取CSI一帧数据
  • 裁剪数据到xxx*yyy较小图片
  • 调用RKNN api处理
  • 获取返回特征位置和相似度
  • 对应放大到原始图片
  • 增加方框和相似度值到原图

这样做后果是CPU利用率不高,视频采集帧数低,最后显示效果会卡顿。

米尔采用线程池方案,将上述过程通过线程处理,充分利用4个A72和4个A53资源,同时采用RGA来做图片裁剪和放大。将CPU,GPU,NPU,VPU4个模块协同工作,资源最大限度开发使用。

总结:

RK3576 在 YOLOv8 模型表现上十分亮眼,它的应用场景涉及到很多领域。例如智能安防,在公共场所,如机场、火车站、商场等,部署的安防监控系统,快速准确地识别出人群中的异常行为,如打架斗殴、奔跑逃窜等,并及时发出警报,同时,通过人脸识别技术,系统可以对进入场所的人员进行身份识别,与数据库中的信息进行比对,实现对重点人员的监控和追踪。又或者搭载智能机器人赋予迅速反馈。

米尔科技

米尔科技

米尔电子,是一家专注于嵌入式处理器模组设计、研发、生产和销售于一体的国家级高新技术企业,也被评为专精特新企业。米尔电子深耕嵌入式领域10多年,致力于为企业级客户提供基于ARM、FPGA、RISC-V和AI等各种架构,稳定可靠的处理器模组,满足客户大批量产品应用部署的需求,同时为客户提供产品定制设计、行业应用解决方案和OEM的一站式服务。

米尔电子,是一家专注于嵌入式处理器模组设计、研发、生产和销售于一体的国家级高新技术企业,也被评为专精特新企业。米尔电子深耕嵌入式领域10多年,致力于为企业级客户提供基于ARM、FPGA、RISC-V和AI等各种架构,稳定可靠的处理器模组,满足客户大批量产品应用部署的需求,同时为客户提供产品定制设计、行业应用解决方案和OEM的一站式服务。收起

查看更多

相关推荐

登录即可解锁
  • 海量技术文章
  • 设计资源下载
  • 产业链客户资源
  • 写文章/发需求
立即登录

米尔电子,是一家专注于嵌入式处理器模组设计、研发、生产和销售于一体的国家级高新技术企业,也被评为专精特新企业。米尔电子深耕嵌入式领域10多年,致力于为企业级客户提供基于ARM、FPGA、RISC-V和AI等各种架构,稳定可靠的处理器模组,满足客户大批量产品应用部署的需求,同时为客户提供产品定制设计、行业应用解决方案和OEM的一站式服务。 米尔英文简称“MYIR”,是“Make Your Idea Real”第一个大写字母的缩写。我们的理念是“专业服务助力客户成功”,目前米尔已通过专业高效的服务,帮助全球数万家企业的产品成功上市。