前言
一款功能测试的软件demo,使用了QT作为界面,主要使用了opencv的KNN识别,使用gstreamer作为管道,用来打开图片。后期会写一篇打开摄像头实时识别的文章。
(正在写,未完成,稍候)
效果一预览:
效果二预览:
效果三预览:
正在写。。。
设计思路
1. 软件UI设计
2. 底层思路
如下图,使用2个gstreamer管道,中间是opencv,最终显示在QT界面上。
之所以看起来搞这么复杂,是为了以后方便扩展,否则其实不使用gstreamer,光使用opencv即可完成所有功能。以下是一些思路:
1. opencv主要是图像处理和识别框架,而gstreamer是音视频框架,我们使用OpenCV作为图像处理和识别,使用gstreamer作为输入和输出的接口,使用封装好的类显示在QT上,这样以后可以对接更多格式的媒体数据,以及更简单的处理步骤。
2. 框架设计了解耦,这样以后,不光可以识别LED,只要把训练资料替换,一样可以识别其他
3. OpenCV因为功能强大,本次只作为 KNN训练和图像识别使用,以后可以根据需要添加其他
4. 其中的knn_modle为解耦设计,可以作为其他项目使用,不必使用gstreamer和QT。
3. opencv识别LED数字的原理
3.1 识别算法选择
首先,请自行搜索:机器学习 和 深度学习的区别,我也是小白,但是我知道深度学习更加复杂,虽然它的准确度更高一些,但是我时间有限,就先试用机器学习来识别,挑了一个最简单的算法:KNN算法。
KNN算法识别,需要先训练,然后再识别,在应用中,使用opencv 的 KNearest 即可创建KNN识别模型,只需要训练和识别即可。这个方向,我有demo,还有从别人那里捞过来的图片训练资料,小白也能直接上手使用。
首先我们先来对一个简单的图片进行识别,以下是识别效果:
我之前写过一篇文章,里面有demo 和 代码:
使用gstreamer和opencv实时识别LED数码管数字的测试demo(QT)-CSDN博客
3.2 识别思路
以下是我自己总结的思路:
看完上一篇文章,已经可以实现简单图片LED数字的识别,那么可以总结出上述思路。
于是在原有图片的基础上,修改图片,然后训练和识别,即可完成第一和第7步,而第8步比较简单,目前无需考虑。当然,自己也是需要动手改一下的:在Linux上,我使用的是GIMP画的:
然后,既然已经有了训练资料,而且对于比较简单的图片识别效果还行,那么就可以上手实现复杂的图片了。
但是将复制图片导入,直接使用之前的代码会发现,根本无法识别出来,甚至连框都画不出来,为什么呢,原来,虽然KNN可以根据近似原理识别出结果,但是如果喂给KNN识别的图片本身就不对,那么自然KNN也没有办法识别,所以使用opencv对图片进行处理,也就是第三、四、五、六步,都是非常关键的,这里就需要去简单学习一下opencv了。
考虑到使用的是QT,而且以后要进行实时识别,所以选择使用C++完成,而不是python完成
4.处理图片
首先来看一下,我需要分析的图片:
4.1 图片初步处理
如此多的颜色和真实脑壳大,最开始我思考了转灰度图,但是发现根本无法区分颜色,因为红色、黄色、绿灯和散光的颜色是差不多的,于是放弃转灰度图:
然后我开始使用RGB筛选,但是发现效果依然是不好。
后来我思考到了使用HSV颜色空间的方法,参考文章:
三分钟带你快速学习RGB、HSV和HSL颜色空间 - 知乎 (zhihu.com)
使用HSV进行区分的效果,可以看到,效果好了很多:
但是此处,使用轮廓识别和KNN,依然是无法识别。
而且,这里的HSV的上下限,一共6个数字,一个个实验,非常头疼,于是我自己写了一个demo:
4.2 测试demo进行HSV测试:
main.cpp源码:
#include <opencv2/opencv.hpp>cv::Mat mt; // 原图像
cv::Mat image_bin; // 二值化后的图像// 回调函数,用于更新图像
void updateImage(int, void*) {cv::Mat hsvImage;cv::cvtCol