跳转至

姿态分类

本篇文档将介绍如何使用 Mind+ > 程序设计 > 实时模式 下的 模型训练推理库——姿态分类功能模块 ,应用 自行训练的姿态分类模型 ,完成姿态分类项目。

img

功能介绍

通过姿态分类功能模块,用户可以加载训练好的姿态分类模型,对本地图像或摄像头画面进行推理分类,并获取对应的姿态类别标签 、ID、及置信度等结果。
以此,用户不仅可以快速应用自训练的姿态分类模型制作各类关于人体姿态分类项目,还可以直观理解体验图像输入、模型推理、结果输出的完整应用流程, 构建具备“可感知、可判断、可交互”能力的 AI 项目,为课程教学与应用拓展提供基础支持。

准备工作

硬件准备

  • 一台电脑
  • 一个摄像头(电脑自带摄像头或USB摄像头均可)

软件准备

img

安装V2.0.4及以上版本的Mind+编程软件,点击查看Mind+安装教程。如何检查软件版本,见常见问题解答。

模型准备

在制作姿态分类项目之前,需要先训练并导出一个姿态分类模型。 可使用 Mind+ V2.0 模型训练工具 中的 姿态分类模块 完成模型训练,并将模型导出用于后续推理,导出的姿态分类模型为一个以 **.zip 为后缀的压缩包。后续项目中,将直接使用该压缩包加载图像分类模型并进行姿态分类任务推理

img

请自行参考以下教程,准备一个姿态分类模型用于后面项目制作。

姿态分类模型训练教程:姿态分类-训练模型

姿态分类模型导出教程:姿态分类-模型导出

加载模型训练推理库

img

在实时模式下,点击左下角“扩展”,在舞台扩展中找到 '模型训练推理库' ,点击加载。

img

加载成功后,返回实时模式编程页面,点击 '模型推理' 下的 '姿态分类' ,可以找到姿态分类积木块,如下所示。

img

使用逻辑说明

img

项目一:本地图片姿态分类

本项目演示如何使用 已训练好的姿态分类模型 ,对一张 本地图片 进行识别,并获取对应的分类结果。

在本示例中,使用的姿态分类模型可以区分在图书馆场景下人 '睡觉' 或 '看书' 两类不同的姿势。 在实际使用中,你可以将示例模型替换为 自己训练或已有的姿态分类模型 ,其余代码流程保持一致。

示例程序

img

运行效果

运行程序后,系统将弹出模型推理结果窗口,在原始图片上绘制检测到的人体关键点。同时,在图片下方展示该图片中人体姿态在各个类别标签下对应的置信度数值,并以置信度最高的类别标签作为该图片中人体姿态的最终分类结果。

img

项目二:摄像头实时姿态分类

本项目演示如何使用 已训练好的姿态分类模型 ,对 摄像头采集的实时画面 进行连续识别,并获取实时的人体姿态分类结果。

本示例中使用的模型与项目一相同 , 你可以替换为自己训练或已有的姿态分类模型,其余代码流程保持一致。

示例程序

img

运行效果

运行程序后,将弹出模型推理结果窗口。当姿态分类模型加载完成后,模型会对摄像头采集的实时画面进行连续的推理,绘制出人体关键点,并在窗口中实时显示人体姿态分类结果。

按下空格键,可输出当前画面的姿态分类结果,包括:置信度最高的分类标签;对应的类别 ID;该分类结果的置信度数值。

img

积木说明

姿态分类积木 功能说明
img 初始化姿态分类任务。 使用姿态分类相关积木功能前,需要先执行该积木。
img 从本地加载已经训练好的姿态分类模型文件,用于姿态分类推理任务。 这里的姿态分类模型为在模型训练-姿态分类模块下训练导出的模型压缩文件,例如 'pose-model.zip '。
img 对摄像头采集的实时画面进行连续的姿态分类推理。
img 停止摄像头画面的姿态分类推理 。
img 对指定的一张图片进行一次姿态分类推理,并显示对应的识别结果。
img 获取姿态分类结果中,指定类别 ID 对应的置信度数值。ID 填入从 0 开始的整数,也可使用 int 类型变量。
img 获取当前姿态分类结果中,置信度最高的分类标签。 常用于直接作为最终姿态分类标签结果。
img 获取当前姿态分类结果中,置信度最高的分类对应的类别 ID。
img 清空当前已保存的姿态分类推理结果。
摄像头相关积木 功能说明
img 开启摄像头,如果画面翻转可以镜像开启,部分电脑摄像头开启需要一定时间,可以在后面加几秒钟等待时间。
img 切换摄像头,如果电脑连接多个摄像头可以使用此积木获取指定摄像头画面。如果没有识别到可以重启一下软件或使用电脑自带相机软件判断摄像头是否识别。
img 显示摄像头画面,可以使用弹窗或物体舞台显示。
img 当使用舞台显示摄像头画面时通过此积木可以设置透明度让舞台背景与摄像头画面并存。
img 在摄像头画面中实时绘制并显示推理结果。
img 调用电脑摄像头拍照保存到电脑指定文件夹内。

常见问题解答

Q 如何检查Mind+软件版本号?
A 打开Mind+编程软件,点击右上角系统设置图标。 V2.0.4及以上版本的Mind+ 的系统设置面板中新增一栏 ' 版本更新 ',点击 ' 版本更新 ',可以查看当前Mind+软件版本。img