实例分割¶

本篇文档将介绍如何使用 Mind+ > 程序设计 > 实时模式 下的 模型训练推理库——实例分割功能模块 ，应用 自行训练的实例分割模型 ，完成实例分割项目。

功能介绍¶

通过实例分割功能模块，用户可以加载已训练的实例分割模型，对本地图片或摄像头采集的实时画面进行推理识别，获取图像中检测到的实例数量，以及各对应序号实例的类别标签、置信度、中心点 X / Y 坐标、宽度和高度等结果信息，用于后续的逻辑判断、交互控制或可视化展示。

基于该功能，用户不仅可以快速应用已训练好的实例分割模型，完成各类实例分割应用项目，还能够直观体验从图像输入、模型推理到结果输出的完整应用流程，构建具备“可感知、可判断、可交互”能力的 AI 项目，为课程教学与应用拓展提供基础支持。

关于实例分割的介绍，见文档最后常见问题解答。

准备工作¶

硬件准备¶

一台电脑
一个摄像头（电脑自带摄像头或USB摄像头均可）

软件准备¶

安装V2.0.4及以上版本的Mind+编程软件,点击查看Mind+安装教程。如何检查软件版本，见常见问题解答。

模型准备¶

在制作实例分割项目之前，需要先训练并导出一个实例分割模型。可使用 Mind+ V2.0 模型训练工具 中的 实例分割模块 完成模型训练，并将模型导出用于后续推理，导出的实例分割模型为一个以 **.zip 为后缀的压缩包。后续项目中，将直接使用该压缩包加载实例分割模型并进行实例分割

请自行参考以下教程，准备一个实例分割模型用于后面项目制作。

实例分割模型训练教程：实例分割—训练模型

实例分割模型导出教程：实例分割—模型导出

加载模型训练推理库¶

打开 V2.0.4及以上版本的Mind+ ，点击进入'实时模式'。

在实时模式下，点击左下角’扩展‘，在舞台扩展中找到 '模型训练推理库' ，点击加载。

加载成功后，返回实时模式编程页面，点击 '模型推理' 下的 '实例分割' ，可以找到实例分割积木块，如下所示。

使用逻辑说明¶

项目一：本地图片实例分割¶

本项目演示如何使用已训练好的实例分割模型，对一张本地图片进行识别，并获取对应的实例数量、标签和置信度等推理结果。

在本示例中，使用的模型为鲜花实例分割模型（可以识别各类不同的鲜花并标记出轮廓）。

在实际使用中，你可以将示例模型替换为 自己训练或已有的实例分割模型 ，其余代码流程保持一致。

示例程序¶

运行效果¶

运行程序后，将弹出模型推理结果窗口，在原图片上绘制检测结果，绘制出检测到的鲜花轮廓，并标注对应的类别与置信度。

项目二：摄像头实时实例分割¶

本项目演示如何使用 已训练好的实例分割模型 ，对 摄像头采集的实时画面 进行连续识别，并在画面上实时绘制识别结果，获取实例数量、标签、每个实例的中心点坐标等推理结果。

本示例中使用的模型与项目一相同，你可以替换为自己训练或已有的实例分割模型，其余代码流程保持一致。

示例程序¶

运行效果¶

程序启动后，摄像头画面会实时显示在舞台区域。等待实例分割模型加载成功后，按下空格键，开始实例分割任务推理，画面中实时绘制出检测到的每一个鲜花的形状轮廓，标注对应的类别与置信度。Mind+角色会依次移动到所有实例的中心位置 , 说出显示该实例的类别标签。

积木说明¶

实例分割积木	功能说明
	初始化实例分割任务。使用实例分割相关积木功能前，需要先执行该积木。
	从本地加载已经训练好的实例分割模型文件，用于实例分割推理任务。这里的实例分割模型为在模型训练-实例分割模型模块下训练导出的模型压缩文件，例如 'Experience_model.zip '。
	对摄像头采集的实时画面进行连续的实例分割推理。
	停止摄像头画面的实例分割推理。
	对指定的一张图片进行一次实例分割推理，并在图片上绘制显示推理结果。
	判断是否检测到实例，检测到返回真（true）,没有返回假（false）
	从实例分割模型的推理结果中，获取指定序号实例的详细信息，包括标签、置信度、中心点X坐标、中心点Y坐标、宽度和高度数据。在框内填入要获取的是第几个检测到的实例的序号，从0开始计数。
	用于读取一次推理结果中检测到的实例总数
	清空当前已保存的实例分割推理结果。
摄像头相关积木	功能说明
	开启摄像头，如果画面翻转可以镜像开启，部分电脑摄像头开启需要一定时间，可以在后面加几秒钟等待时间。
	切换摄像头，如果电脑连接多个摄像头可以使用此积木获取指定摄像头画面。如果没有识别到可以重启一下软件或使用电脑自带相机软件判断摄像头是否识别。
	显示摄像头画面，可以使用弹窗或物体舞台显示。
	当使用舞台显示摄像头画面时通过此积木可以设置透明度让舞台背景与摄像头画面并存。
	在摄像头画面中实时绘制并显示推理结果。
	调用电脑摄像头拍照保存到电脑指定文件夹内。

常见问题解答¶

Q	如何检查Mind+软件版本号？
A	打开Mind+编程软件，点击右上角系统设置图标。 V2.0.4及以上版本的Mind+ 的系统设置面板中新增一栏 ' 版本更新 '，点击' 版本更新 '，可以查看当前Mind+软件版本。
Q	什么是实例分割，这里的实例是指什么？
A	实例分割是一种计算机视觉任务，在一张图像中，识别并区分每一个具体物体，并精确标出每个物体所占据的像素区域。实例是指同一类别中的"一个具体个体"。总得来说实例分割可以：识别是什么、区分每一个实例、画出每一个实例的完整形状轮廓。