【超音速专利 CN117710683A】基于分类模型的轻量级工业图像关键点检测方法


申请号	CN202311601629.7
公开号（公开）	CN117710683A
申请日	2023.11.27
申请人（公开）	超音速人工智能科技股份有限公司
发明人（公开）	张俊峰(总); 杨培文(总); 沈俊羽; 张小村

技术领域

本发明涉及图像关键点检测技术领域，具体讲的是一种基于分类模型的轻量级工业图像关键点检测方法。

背景技术

工业关键点检测是指从工业场景中的图像或视频中自动识别出工业产品中的关键点位置，如机器人的末端执行器、零件的定位点等。传统的工业关键点检测算法需要大量的计算资源，并且往往需要训练大规模的数据集，因此在实际应用中存在着一定的局限性。因此迫切需要轻量级的工业关键点检测算法，使在计算资源有限的情况下也能够实现较好的关键点检测效果。
基于热图表示的模型需要多个开销较高的反卷积产生热图，因此速度慢，开销高。由于热图比原图小几倍，因此基于热图的方法会存在理论误差下界。而基于回归的方法受到噪声和随机性影响较大，导致结果不稳定。基于分类的模型不会产生热图，且分类的维度可以是原图尺寸，有更高的精度。分类模型受噪声和随机性影响较小，训练过程更稳定，模型更易收敛。

我的理解

一，将待检测图像输入特征提取网络，通过特征提取网络提取关键点的图像特征。
二，将图像特征输入网络输出头中，通过网络输出头输出关键点的预测横坐标、预测纵坐标和预测可见性。
三，在待检测图像上标注关键点，并将关键点映射到横坐标轴和纵坐标轴上，计算关键点的横坐标与预测横坐标的第一损失值、纵坐标与预测纵坐标的第二损失值以及真实可见性信息与预测可见性的第三损失值，根据第一损失值、第二损失值和第三损失值总损失值，并判断总损失值能否通过阈值，若不能则筛选掉该关键点。
四，所述特征提取网络包括步长为1的卷积和MobileNetV3small中的一层倒残差结构。
五，所述网络输出头包括纵坐标分类头、横坐标分类头和可见性分类头，所述纵坐标分类头预测关键点的纵坐标，所述横坐标分类头预测关键点的横坐标，所述可见性分类头预测关键点的可见性。
六，所述纵坐标分类头预测关键点的纵坐标包括以下步骤：
七，将图像特征经过横坐标方向步长为2、纵坐标方向步长为1的二维卷积和ReLU激活函数后，得到图像特征y1；
八，将特征y1经过横坐标方向步长为2、纵坐标方向步长为1的二维卷积和ReLU激活函数后，得到图像特征y2；
九，将特征y2横坐标方向的特征进行全局池化后，得到特征y3；
十，将特征y3经过一维反卷积后，得到特征y4；
十一，将特征y4经过一维反卷积和ReLU激活函数后，得到关键点的预测纵坐标。
十二，进一步的，所述横坐标分类头预测关键点的横坐标包括以下步骤：
a,将图像特征经过横坐标方向步长为1、纵坐标方向步长为2的二维卷积和ReLU激活函数后，得到图像特征x1；
b,将特征x1经过横坐标方向步长为1、纵坐标方向步长为2的二维卷积和ReLU激活函数后，得到图像特征x2；
c,将特征x2纵坐标方向的特征进行全局池化后，得到特征x3；
d,将特征x3经过一维反卷积后，得到特征x4；
e,将特征x4经过一维反卷积和ReLU激活函数后，得到关键点的预测横坐标。
十三，进一步的，所述可见性分类头预测关键点的可见性包括以下步骤：
将图像特征经过两次横坐标方向和纵坐标方向均为4的卷积，使图像特征的长宽变为原来的1/64，再将卷积后的图像特征进行全局化和全连接操作后，得到关键点的预测可见性。
十四，计算关键点的横坐标与预测横坐标的第一损失值和纵坐标与预测纵坐标的第二损失值，包括以下步骤：
将关键点映射到横坐标轴和纵坐标轴后，形成横坐标方向上的one-hot编码和纵坐标方向上的one-hot编码，再用交叉熵损失函数计算横坐标方向上的one-hot编码与横坐标预测的第一损失值，和纵坐标方向上的one-hot编码与纵坐标预测的第二损失值。
十五，计算关键点真实可见性信息与预测可见性的第三损失值的方法包括：
用二值交叉熵损失函数计算关键点真实可见性信息和预测可见性的第三损失值。
十六，总损失值为第一损失值、第二损失值和第三损失值的加权和，第一损失值、第二损失值和第三损失值的权重分别根据横坐标、纵坐标和可见性的预测难度确定，预测难度与权重成正比。

如果有不明白的，请加文末QQ群。

扩展阅读

视频课程

先学简单的课程，请移步CSDN学院，听白银讲师（也就是鄙人）的讲解。
https://edu.csdn.net/course/detail/38771

如何你想快速形成战斗了，为老板分忧，请学习C#入职培训、C++入职培训等课程
https://edu.csdn.net/lecturer/6176

我想对大家说的话
《喜缺全书算法册》以原理、正确性证明、总结为主。
按类别查阅鄙人的算法文章，请点击《算法与数据汇总》。
有效学习：明确的目标及时的反馈拉伸区（难度合适）专注
闻缺陷则喜(喜缺)是一个美好的愿望，早发现问题，早修改问题，给老板节约钱。
子墨子言之：事无终始，无务多业。也就是我们常说的专业的人做专业的事。
如果程序是一条龙，那算法就是他的是睛