基于STM32N6和VD66GY的机器视觉方案

核心技术优势/方案详细规格/产品实体图/PCB/方块图Datasheet/测试报告/Gerber/Schematics/User manual +一键获取

一、方案介紹

该方案基于主控平台STM32N6搭配ST的VD66GY图像传感器实现人体姿态的监控，系统利用VD66GY传感器采集环境图像数据，随后通过STM32N6处理器进行高效的图像分析和处理开发。

二、主要元件简介

• STM32N6基于 Arm Cortex -M55 的微控制器，配备 ST神经-ART加速器、H264 编码器、Neo-Chrom 2.5D 图形处理器， 4.2MB连续型静态随机存取存储器用于实时数据处理和多任务处理，专用嵌入式神经处理单元（600 GOPS NPU &3 TOPS/W power consumption），图像处理器ISP（Parallel and MIPI CSI-2 camera module I/F）支持5 Mpixel camera and 30 FPS、坏像素、降采样、黑电平、曝光、去马赛克、列转换、对比度、裁剪、缩小、伽马值、像素打包。工程师可以将机器学习的推理处理任务分配给NPU，这样一来，高效的Cortex-M处理器、ISP以及GPU就可以专注于处理其他系统级任务或是运行用户的应用程序。这使得它能够处理复杂的图象识别和处理任务，如对象分割定位、姿态估计、物体分类、人脸/人像检测、异常检测等等。ST官网提供多种开发包和工具有自身的讨论社区与wiki ，让使用者有着大量的资源能够使用与自由的开发环境。
  
  （详细资料：STM32CubeN6 - 面向STM32N6系列的STM32Cube MCU软件包（包含HAL、CMSIS器件以及在意法半导体开发板上运行的示例） - 意法半导体STMicroelectronics）
• 图像传感器-ST VD66GY1.5M BSI 传感器(1124x1364）,可采用RGB和RGB-IR两种模式配置、动态范围可达60DB、每个像素尺寸为2.61μm，它们在可见光和近红外区域(940纳米)表现出色。这些传感器在 1124x1364 的分辨率格式下每秒可捕获多达 88 帧图像，并且提出了两种像素矩阵版本:RGB 2x2 核心和 RGB-NIR4x4 核心。这些器件的像素构造最大限度地减少了串扰，并在可见光和红外区域都保持了高MTF(调制传递函数)。ST还提供VD66GY S-Board可直接搭配STM32N6进行配对开发，提供从原型到量产的支持，不仅可以节约资源还能加快产品上市时间节点。VD66GY S-Board是一款全面的多功能硬件套件，用于评估和集成 VD66GY 图像传感器。它包含所有必要的硬件，从电子元件到光学器件，以执行全面的产品评估或立即将产品直接集成到系统的其余部分。其中嵌入了一个带有 FFC 输出连接器的 VD66GY 图像传感器、一个 M12 镜头支架、一个默认的非胶合镜头和一根带状电缆。套件中嵌入的非胶合镜头可以灵活地根据您的需要聚焦，或者简单地将其取下以使用不同的镜头。该套件配备 M12 镜头接口，可根据您的应用定制各种 M12 或更小的现成镜头。其标准 FFC 连接器允许连接各种长度或引脚排列的电缆，以适应您的设置。
  
  

（详细资料：VD66GY - 紧凑、高灵敏度的 1.53 MP 彩色全局快门图像传感器 - 意法半导体STMicroelectronics）

三、主要功能和应用

? ??VD66GY影像传感器收集前方影像数据，通过STM32N6进行推理任务识别处理辨别出影像画面中的物件类型进行相应功能设计。基于STM32N6主控和VD66GY传感器的高性能特性，我们可以进一步扩展其应用范围和功能：智能工业的异常检测、智能住宅的事件监测、个人医疗保健的身体数据测量、机器人的碰撞检测、汽车环境的感知、个人电子产品和运动设备的开发。这样不仅可以提高现有工业和商业应用的效率和质量，还可以拓展到更广泛的智能技术应用领域，为未来的技术革新奠定坚实的基础。

还可以借助STM32N6 的边缘计算和人工智能技术（人员检测、姿态估计、手势特征）提升产品应用服务范围：

• 各种环境下远距离进行高精度的人员检测：智能门铃、房间占用情况、报警系统。
• 高精度多姿态估计：行为分析、活动监测、跌倒监测。
• 基于手部特征点的精确系统控制：非接触式人机界面、智能电子产业。