【代码库】基于RT1170机器学习厨房餐具室对象分类

基于RT1170机器学习厨房餐具室对象分类

在基于 MCU 的系统上部署对象分类模型的分步指南。该对象分类模型是通过使用迁移学习对 MobileNet 模型进行微调来开发的，用于对常见的厨房食品储藏室物品进行分类。

该分类模型针对厨房储藏室物品（包括罐装番茄、番茄酱、蛋黄酱、纸巾、糖和番茄酱）进行训练。该模型使用 Adam 优化器和分类交叉熵损失函数，经过 20 个 epoch 的训练。保存的模型是一个 int8 量化 tflite 模型，在包含 182 张图片的小型数据集上准确率约??为 88%。

对象分类模型部署在 RT1170-EVK 评估板上，该评估板配备 1GHz Arm Cortex-M7 内核和 400MHz Arm Cortex-M4 内核，可用于使用 MCUXpresso 套件进行评估和原型设计。RT1170-EVK 板内存包含 512 Mbit SDRAM、512 Mbit Octal 闪存、128 Mbit QPSI 闪存、2 Gbit Raw NAND 闪存、64 Mbit LPSPI 闪存以及一个用于 SD 卡的 TF 插槽。

主板：MIMXRT1170-EVK

类别：AI/ML、视觉

外围设备：显示器、视频

工具链：MCUXpresso IDE

目录

1. 软件
2. 硬件
3. 软件设置
4. 硬件设置
5. 结果
6. 常见问题解答
7. 支持
8. 发行说明

1.软件

下载并安装MCUXpresso IDE v11.8.0+。该 IDE 是一个易于使用的开发环境，为恩智浦基于 ARM Cortex-M 的 MCU（包括本项目将使用的 RT1170）提供高级编辑、编译和调试功能。

2.硬件

• 购买支持板
  • MIMXRT1170-EVK
    RT1170 是基于 NXP i.MX Rt1170 处理器的评估板。它是一款入门级开发板，让开发人员在投入资源进行更具体的设计之前，可以先熟悉该处理器。
    EVK内容包括i.MXrt1170 EVK板、5V电源适配器、OV5640 MIPI摄像头模块、USB线（Micro B）。
    
  • 0V5640 MIPI 摄像头模块（EVK 板附带）。i.MX RT1170 支持一个 MIPI CSI，EVK 板上有一个摄像头模块连接器 (J2)。
    
• 购买支持显示
  • RK055HDMIPI4MA0。这是一款 5.5 英寸 LCD 面板，可与多个 i.MX RT EVK（包括 RT1170 EVK）配合使用，用于评估带显示的应用。

  

3.软件设置

3.1

按照 MCUXpresso IDE 页面文档部分中的“MCUXpresso IDE - 用户指南”的以下章节将项目导入 MCUXpresso IDE ：

3.2

?10.3 节：导入示例项目?。

本节介绍将附加项目导入 IDE 的步骤。您需要先下载 ML Object Classification 目录，然后才能从文件系统导入。

3.3

切换到发布版本（有关此内容的说明位于MCUXpresso 用户指南的?第 21.2 节?），然后按照第 5.2 节：项目构建来构建导入的项目。构建完成后，应在控制台选项卡中打印以下内容（通常在屏幕底部）。

3.4

第 13 节：调试项目

本章概述了 MCUXpresso IDE 中调试解决方案支持的许多调试功能。调试操作需要通过调试探针在主机和 RT1170 EVK 之间建立物理连接（更多内容请参阅本章）。

3.5

第 21.8 节：使用终端视图与目标进行 UART 通信

可以使用 MCUXpresso IDE 提供的终端视图显示主机 PC 和 RT1170 EVK 之间的 UART（串行）输入/输出。

4.硬件设置

将 LCD 连接到电路板背面的 J48

将摄像头连接到以太网端口 J4 旁边的 J2。

5.结果

调试并运行（F8 或页面顶部的“恢复”图标）项目后，MIPI 摄像头捕获的输入的推理结果应显示在终端和 LCD 上，如下所示。所有六个类别的示例图像也显示在下方。

6. 常见问题解答

尚未发现针对该项目的常见问题解答。

7. 支持

项目元数据