跳转至

图像分类

本篇文档将介绍如何使用 Mind+ > 程序设计 > 实时模式 下的 模型训练推理库——图像分类功能模块 ,应用 自行训练的图像分类模型 ,完成图像分类项目。

img

功能介绍

通过图像分类功能模块,用户可以加载训练好的图像分类模型,对本地图像或摄像头画面进行推理分类,并获取对应的类别 ID、标签及置信度等结果。
以此,用户不仅可以快速应用自训练的图像分类模型制作各类图像分类项目,还可以直观理解体验图像输入、模型推理、结果输出的完整应用流程。

准备工作

硬件准备

  • 一台电脑
  • 一个摄像头(电脑自带摄像头或USB摄像头均可)

软件准备

img

安装V2.0.4及以上版本的Mind+编程软件,点击查看Mind+安装教程。如何检查软件版本,见常见问题解答。

模型准备

在制作图像分类项目之前,需要先训练并导出一个图像分类模型。 可使用 Mind+ V2.0 模型训练工具 中的 图像分类模块 完成模型训练,并将模型导出用于后续推理,导出的图像分类模型为一个以 **.zip 为后缀的压缩包。后续项目中,将直接使用该压缩包加载图像分类模型并进行图像分类任务推理。

img

请自行参考以下教程,准备一个图像分类模型用于后面项目制作。

图像分类模型训练教程:图像分类-训练模型

图像分类模型导出教程:图像分类-模型导出

加载模型训练推理库

打开 V2.0.4及以上版本的Mind+ ,点击进入'实时模式'。

img

在实时模式下,点击左下角’扩展‘,在舞台扩展中找到 '模型训练推理库',点击加载。

img

加载成功后,返回实时模式编程页面,点击 '模型推理' 下的 '图像分类' ,可以找到图像分类积木块,如下所示。

img

使用逻辑说明

img

项目一:本地图像分类

本项目演示如何使用 已训练好的图像分类模型 ,对一张 本地图片 进行识别,并获取对应的分类结果。

在本示例中,使用的示例模型为猫狗图像分类模型。 在实际使用中,你可以将示例模型替换为 自己训练或已有的图像分类模型 ,其余代码流程保持一致。

示例程序

img

运行效果

运行程序后,将弹出模型推理结果窗口,展示该图片在各个标签下的置信度,以置信度最高的标签作为该图片最终的分类结果。

img

项目二:摄像头实时图像分类

本项目演示如何使用 已训练好的图像分类模型 ,对 摄像头采集的实时画面 进行连续识别,并获取实时的图像分类结果。

本示例中使用的模型与项目一相同 , 你可以替换为自己训练或已有的图像分类模型,其余代码流程保持一致。

示例程序

img

运行效果

运行程序后,将弹出模型推理结果窗口。当图像分类模型加载完成后,系统会对摄像头采集的实时画面进行连续的图像分类推理,并在窗口中实时显示分类结果。

按下 空格键,可输出当前画面的图像分类结果,包括:置信度最高的分类标签;对应的类别 ID;该分类结果的置信度数值。

img

积木说明

图像分类积木 功能说明
img 初始化图像分类任务。 使用图像分类相关积木功能前,需要先执行该积木。
img 从本地加载已经训练好的图像分类模型文件,用于图像分类推理任务。 这里的图像分类模型为在模型训练-图像分类模块下训练导出的模型压缩文件,例如 'Experience_model.zip '。
img 对摄像头采集的实时画面进行连续的图像分类推理。
img 停止摄像头画面的图像分类推理 。
img 对指定的一张图片进行一次图像分类推理,并显示对应的识别结果。
img 获取图像分类结果中,指定类别 ID 对应的置信度数值。ID 填入从 0 开始的整数,也可使用 int 类型变量。
img 获取当前图像分类结果中,置信度最高的分类标签。 常用于直接作为最终图像分类标签结果。
img 获取当前图像分类结果中,置信度最高的分类对应的类别 ID。
img 清空当前已保存的图像分类推理结果。
摄像头相关积木 功能说明
img 开启摄像头,如果画面翻转可以镜像开启,部分电脑摄像头开启需要一定时间,可以在后面加几秒钟等待时间。
img 切换摄像头,如果电脑连接多个摄像头可以使用此积木获取指定摄像头画面。如果没有识别到可以重启一下软件或使用电脑自带相机软件判断摄像头是否识别。
img 显示摄像头画面,可以使用弹窗或物体舞台显示。
img 当使用舞台显示摄像头画面时通过此积木可以设置透明度让舞台背景与摄像头画面并存。
img 在摄像头画面中实时绘制并显示推理结果。
img 调用电脑摄像头拍照保存到电脑指定文件夹内。

常见问题解答

Q 如何检查Mind+软件版本号?
A 打开Mind+编程软件,点击右上角系统设置图标。V2.0.4及以上版本的Mind+ 的系统设置面板中新增一栏 '版本更新' ,点击 '版本更新' ,可以查看当前Mind+软件版本。img