【2021集创赛】Diligent杯一等奖：基于Cortex-M3软核的智能识别称量平台

本作品参与极术社区组织的有奖征集|秀出你的集创赛作品风采,免费电子产品等你拿~活动。

杯赛题目：Diligent杯：基于FPGA开源软核的硬件加速智能平台
参赛组别：A组
设计任务：
利用业界主流软核处理器(仅限于Cortex-M系列及 RISC-V系列)在限定的DIGILENT官方FPGA平台上构建SoC片上系统，在 SoC中添加面向智能应用的硬件加速器(如从最简单的矩阵乘加加速到更复杂的神经网络硬件优化实现)以提高和优化系统的性能，并基于该SoC实现一个基于该SoC的智能信息处理系统，系统具有创新性、实用性和具体的应用场景。
**参赛单位：**武汉大学
**总决赛奖项：**一等奖

1.项目介绍：

中药材种类繁多，但长相也千奇百怪，往往需要专业人员的辅助，从取药到逐个称量，逐个计价,过程繁琐耗时，难免会出错，而大多数人往往难以察觉到配药上出现的差错，所以，我们希望借助性能强大、响应更快、开发与应用成本低Cortex-M3处理器，传感技术和卷积神经网络AI算法，开发一套具备感知、智能识别、人机交互、网络互联、软硬件协同加速等特点的智能称量系统，提高这个过程的效率同时避免一些错误的发生，并且具有高性价比，很强的推广性以及能够适应更多的场景需求。

本项目主要由Digilent Nexys DDR开发板搭建SOC，并且搭配了摄像头，Wi-Fi模块，压力传感器，双显示屏等外设，其实物图如下图所示，具体工作过程包括：用户将中药材商品放置在平台的压力传感器上面，传感器会测出中药材的重量并返回给FPGA板卡；摄像头实时拍摄到压力传感器平台上面的中药材图像通过VGA连接到显示屏并显示在显示屏上，另一方面还作为板卡上神经网络的输入，用片上神经网络完成分类以自动识别商品的种类；显示屏右边的UI用于显示识别结果等有效信息；FPGA板卡旁边的小屏幕是LCD触摸屏，可以通过触碰实现出货等操作，表示商品售出；若商品成功售出，则扩展板上的WiFi模块通过TCP连接将售出商品的种类、质量、总价发送到云服务器中，储存于服务器上数据库；数据库内的销售数据通过部署在服务器上的网站进行可视化，方便了操作者的统计管理。
在这里插入图片描述

2.软硬件设计介绍：

该项目的硬件系统架构如图所示。

在这里插入图片描述

项目在Nexys A7 100T FPGA平台上开发，并扩展了OV5640摄像头、HX711重力传感器、ILI9341 LCD触摸屏、SD卡、显示屏、ESP8266 Wi-Fi模块、ADXL362加速度计等外设。其中显示屏与FPGA板卡通过VGA连接，用于显示拍摄到的图像及中药材种类等信息；加速度计用于对设备进行水平检测，以防设备不水平而导致重量称量不准确。FPGA开发板上部署了Cortex-M3软核作为处理器，并辅以卷积神经网络加速IP核、图像预处理IP核用于加速神经网络计算；各种外设控制器；3个DMA进行大量数据搬运；以及GPIO、UART等常规模块，组成一个集感知、智能识别、人机交互、网络互联、软硬件协同加速等特点于一体的SoC系统。

算法层面，使用RepVGG轻量级卷积神经网络实现了对摄像头输入图像的自动分类，算法在测试集上能够达到平均90%以上的识别准确度；在FPGA板卡上部署了基于HLS开发的卷积神经网络专用加速IP核，硬件加速后的卷积计算效率提升超过4500倍。

系统还加入了WiFi模块，通过TCP连接云服务器。通过连接云服务器我们实现了对中药材单价的实时更新，也可以通过云服务器更换存储空间中的卷积运算正向推理的参数以及识别的标签，可以实现果蔬等更多物品的称量和计价，能够满足更多的应用需求。云服务器上部署了爬虫脚本爬取中药材单价，实现单价与市场价的同步；同时部署了存储销售数据的sqlite3数据库以及用于将销售数据可视化的网站。
在这里插入图片描述

3.参赛经验

本次大赛是一次性全国性的赛事，非常可以和来自全国各地高校的优秀同行们的互相学习和交流，收获颇丰。团队三人深入地学习掌握了片上系统的设计方法，硬件模块的实现方式以及算法设计与处理器嵌入式开发流程，有效的提升了自身的工程实践能力，对新一代硬件描述语言的优点和不足有了更为深入的了解，也体会到可编程片上系统架构带来的选择上灵活性的优势，受益匪浅。

最后，感谢本次赛事组委会的工作人员和老师们的高效组织工作与指导，让我们能够参与到这样的大赛之中，接触到贴近于实际又富有新技术与挑战的题目，锻炼提高自身能力。