【2023年第十三届APMCM亚太地区大学生数学建模竞赛】A题 水果采摘机器人的图像识别
1 题目
水果采摘机器人的图像识别
中国是世界上最大的苹果生产国，年产量约为3500万吨。与此同时，中国也是世界上最大的苹果出口国，世界上每两个苹果中就有一个来自中国，全球出口的苹果中有六分之一以上来自中国。中国提出了“一带一路”倡议，这是构建人类命运共同体的重要支柱。得益于这一倡议，越南、孟加拉国、菲律宾、印度尼西亚等沿线国家已成为中国苹果的主要出口目的地。
图1 所示摘果机器人对苹果的图像识别示意图。
苹果采摘主要依靠手工采摘。苹果成熟后，几天内苹果产区就需要大量的采摘工人。但当地的农民大多在自己的果园里种苹果。此外，农业工人的老龄化和年轻人离乡打工的现象，也导致了苹果采摘季节的劳动力短缺。为了解决这一问题，中国从2011年前后开始研究能够摘苹果的机器人，并取得了重大进展。然而，由于果园环境与受控实验的不同，各种苹果采摘机器人在世界范围内的普及和应用与理想相差甚远设置。在复杂和非结构化的果园环境中，现有的大多数机器人都无法准确识别“树叶遮挡”、“树枝遮挡”、“果实遮挡”、“混合遮挡”等障碍物。如果没有根据实际场景做出精确的判断就直接采摘苹果，那么水果受损的风险很高，甚至会对采摘手和机械臂造成伤害。这对采收效率和果实品质造成不利影响，导致更大的损失。此外，对不同收获水果的识别和分类也非常重要，如分类、加工、包装、运输等程序。然而，许多水果的颜色、形状和大小与苹果非常相似，这给苹果的采收后鉴定带来了很大的困难。
本次比赛旨在通过对标记的水果图像进行特征分析和提取，建立一个识别率高、速度快、准确率高的苹果图像识别模型，并对图像进行数据分析，如自动计算图像中苹果的数量、位置、成熟度等级、质量估计等。具体任务如下:
（1）问题1:数苹果
基于附件1提供的收获苹果图像数据集，提取图像特征，建立数学模型，统计每张图像中的苹果数量，绘制附件1中所有苹果分布的直方图。
（2）问题2:估计苹果的位置
根据附件1中提供的成熟苹果图像数据集，以图像左下角为坐标原点，确定每张图像中苹果的位置，绘制附件1中所有苹果几何坐标的二维散点图。
（3）问题3:估计苹果的成熟状态
基于附件1提供的成熟苹果图像数据集，建立数学模型，计算每张图像中苹果的成熟度，并绘制附件1中所有苹果成熟度分布的直方图。
（4）问题4:估计苹果的质量
基于附件1提供的成熟苹果图像数据集，计算每张图像中苹果的二维面积，图像左下角为坐标原点，估计苹果的质量，并绘制附件1中所有苹果质量分布的直方图。
（5）问题5:对苹果的识别
基于附件2提供的收获水果图像数据集，提取图像特征，训练苹果识别模型，识别附件3中的苹果，并绘制附件3中所有苹果图像的ID号分布直方图。
附件:
Attachment.zip，下载网址:https://share.weiyun.com/T6FKbjLf
附件1:
文件夹中包含200张收获苹果的图片，每张图片的大小为270 180像素。附件1的部分截图如下:
附件2:
文件夹中包含20705张已知标签和分类的不同收获水果图片，每张图片大小为270 180像素。附件2的部分截图如下:
苹果数据集:
附件3:
文件夹中包含20705张不同收获水果的图片，标签和分类未知，每张图片大小为270 180像素。附件3的部分截图如下:
2 相关资料
【2023年第十三届APMCM亚太地区大学生数学建模竞赛】A题 水果采摘机器人的图像识别 Python代码解析
3 论文介绍
通过 YOLO 和 ResNet 进行水果采摘机器人的图像识别
在错综复杂、非结构化的果园环境中，现有的苹果采摘机器人大多无法准确识别被 “ 叶遮挡” 、“ 枝遮挡” 、“ 果遮挡” 、“ 混合遮挡” 等各种障碍物遮挡的水果。在没有根据实际场景做出精确判断的情况下采摘苹果，可能会对采摘效率和果实质量产生负 面影响，可能导致重大损失。我们对现有的水果图像数据集进行特征提取和分析，建立 了准确率高、处理速度快、精度提升的苹果图像识别模型。此外，我们对这些图像进行 了数据分析， 包括自动计算苹果的数量、位置、成熟度和质量估计。
关于第一个问题，我们对提供的可收获苹果图像数据集进行了量化和归一化预处理。随后，我们采用了
YOLOv5模型用于特征提取， 获得水果边界框、类别和置信度分数。这有助于识别每张图像中的苹果数量，所有图像的苹果累计计数为 677 个。此外，我们还解决了遮挡场景对 YOLOv5 模型有效性的影响。为了提高模型性能，我们引入了 YOLOv5 Plus，结合了更小的分割网络，并通过数据平滑过滤噪声。优化后的模型在所有图像中产生了 1149 个苹果总数， 性能提升了 69.72%。最后，我们构建了一个直方图，说明了数据集中已识别的苹果数量的分布。
针对问题二 ， 我们对 附录 1 中提供 的苹果图 像数据集 进行了 对象检测 。我们利 用YOLOv5 P lus 模型对图像进行预处理进行识别，采用矩形边界框对苹果进行圈定。这些矩形的中心点被用来生成描绘苹果位置的散点图。随后，我们将优化模型生成的散点图与YOLOv5 模型的散点图进行比较，发现优化前模型识别的苹果为也被优化后的模型有效识别。此外，优 化模型 产生的 散点图 显示出 更大的 覆盖面 积， 表明苹果识别性能增强。
针对问题三， 我们对附录 1 中提供的成熟苹果图像数据集进行预处理。我们建立了一个轻量级的卷积神经网络**(CNN)**来提取图像特征， 利用池化来减少数据冗余，利用上采样和下采样来捕获高维和低维特征，利用全连通层来预测苹果的成熟度评分， 从而输出苹果的成熟度状态信息。最后， 我们给出了一个直方图，说明了所有苹果的成熟度分数的分布。
针对问题四，我们对附录 1 中提供的成熟苹果图像数据集进行预处理。在优化的YOLOv5 模型的基础上， 我们计算了每张图像中苹果的二维面积， 并随后根据这些信息估计了它们的质量。最后，我们构建了一个直方图来说明所有苹果的质量分布。
为了解决问题 5， 我们对附件 2 中提供的水果图像数据集进行了预处理。我们建立了一个剩余网络( Res Net18) 作为主干架构，并利用 预处理后的 图像数据进行 微调。最终的模型在训练集上达到了 **99.87%**的准确率。为了评估模型的有效性， 我们从附件 3 中随机选择了 500 张图像进行手动标注， 结果苹果识别准确率为 94.07%。 最后，我们给出了 loss 和准确率的模型训练曲线， 以及 RO C 曲线。此外， 我们在附件 3 中描绘了一个直方图， 说明了苹果图像 id 的分布。
关键词**😗*Apple Image Recognition;YOLOv5;YOLOv5 Plus;卷积神经网络;剩余网络
5 获取方式
请看名片扣我
