目录
一、k近邻算法
1.1 算法简介
1.2 opencv-k近邻算法
二、cv::ml::KNearest应用
2.1 数据集样本准备
2.2 KNearest应用
2.3 程序编译
2.4 main.cpp全代码
一、k近邻算法
1.1 算法简介
K近邻算法(K-Nearest Neighbor,KNN)基本原理是:
在特征空间中,如果一个样本附近的K个最近(即特征空间中最邻近)样本的大多数属于某一个类别,则该样本也属于这个类别。具体来说,给定一个训练数据集,对于新的输入实例,KNN算法会在训练数据集中找到与该实例最邻近的K个实例(即K个邻居)。然后,根据这K个邻居的类别进行投票,将票数最多的类别作为新输入实例的预测类别。
KNN算法的优点包括:
- 简单易理解:KNN算法非常直观和简单,易于理解和实现。
- 适用于多分类问题:KNN算法可以很容易地应用于多分类问题。
- 适用于非线性数据:KNN算法对于非线性数据具有良好的适应性。
- 无需训练:KNN算法属于懒惰学习(lazy learning),不需要训练过程,节省了模型训练时间。
KNN算法也存在一些缺点:
- 需要大量内存:KNN算法需要存储所有训练数据,因此在处理大规模数据集时需要大量内存。
- 计算复杂度高:当训练集很大时,KNN算法需要计算测试样本与所有训练样本之间的距离,计算复杂度较高。
- 预测时间长:由于需要计算测试样本与所有训练样本的距离,KNN算法的预测时间较长。
- 敏感度高:KNN算法对于异常值和噪声数据非常敏感,容易受到局部特征的影响。
KNN算法的应用实例包括但不限于手写数字识别、电影推荐系统、人脸识别和疾病诊断等。在这些应用中,KNN算法可以通过计算测试样本与训练样本之间的距离,找到最相似的邻居,并根据邻居的类别进行预测或分类。常用的距离度量方法包括欧式距离、曼哈顿距离、闵可夫斯基距离等。
1.2 opencv-k近邻算法
OpenCV中的K近邻算法(K-Nearest Neighbors, KNN)是一种常用的监督学习算法,主要用于分类和回归问题。该算法基于样本之间的距离来进行分类或回归。
1)对于分类问题,KNN算法将未知样本与训练集中的样本逐个比较距离,并选择距离最近的K个邻居样本。然后,根据这K个邻居样本的标签进行投票,将未知样本归类为票数最多的标签。
2)对于回归问题,KNN算法同样将未知样本与训练集中的样本逐个比较距离,并选择距离最近的K个邻居样本。但是,在回归问题中,KNN算法会取这K个邻居样本的平均值作为未知样本的预测值。
OpenCV中的KNN算法实现包含在ml模块中,函数为cv.ml.KNearest_create()
。通过这个函数,你可以创建一个KNN分类器或回归器,并使用训练数据对其进行训练。训练完成后,你可以使用训练好的模型对新的数据进行预测。
k近邻算法是使用的是KNearest类 继承了StatModel类(base类)
class CV_EXPORTS_W KNearest : public StatModel
{
public://类代码
};
StatModel类 方法:训练函数ret = cv.ml_StatModel.train(samples,layout,responses)samples: 训练的样本矩阵layout: 排列方式responses: 标签矩阵返还一个bool类型变量来作为是否完成了模型训练samples 必须为float32类型layout cv.ml.ROW_SAMPLE 样本按行排列cv.ml.COL_SAMPLE 按列排列responses: 单行或者单列的矩阵 类型为int 或者 float检测函数retval, res = cv.ml_StatModel.predict(samples)flags模型标志res 结果矩阵samples 输入矩阵retval: 第一个值得标签除了使用StatModel提供的通用的预测方法KNearest类也提供了预测方法retval,results,neighborResponses,dist = cv.ml_KNearest.findNearest(samplek)sample: 待预测数据k: 近邻数results: 预测结果neighborResponses: 可以选择输出的每个数据的k个最近邻dist: 输出k个最近邻的距离
KNN算法的优点包括在线技术(新数据可以直接加入数据集而不必进行重新训练)、理论简单、容易实现、准确性高和对异常值和噪声有较高的容忍度。然而,KNN算法也存在一些缺点,如对于样本容量大的数据集计算量比较大、容易导致维度灾难、样本不平衡时预测偏差比较大,以及k值大小的选择需要依靠经验或交叉验证等。
在OpenCV中,KNN算法可以用于各种图像处理任务,如图像分类、目标检测和模式识别等。通过调整k值和使用不同的距离度量方法,你可以优化KNN算法的性能以适应你的具体任务。
二、cv::ml::KNearest应用
2.1 数据集样本准备
本文为了快速验证使用,采用mnist数据集,
参考本专栏博文《C/C++开发,opencv-ml库学习,支持向量机(SVM)应用-CSDN博客》下载MNIST 数据集(手写数字识别),并解压。
同时参考该博文“2.4 SVM(支持向量机)实时识别应用”的章节资料,利用python代码解压t10k-images.idx3-ubyte出图片数据文件。
2.2 KNearest应用
类似ml模块的其他算法一样,创建了一个 cv::ml::KNearest对象,并设置了训练数据和终止条件。接着,我们调用 train
方法来训练决策树模型。最后,我们使用训练好的模型来预测一个新样本的类别。
// 4. 设置并训练KNN模型 // 创建KNN模型 cv::Ptr<cv::ml::KNearest> knn = cv::ml::KNearest::create(); // 设置KNN参数 knn->setAlgorithmType(cv::ml::KNearest::BRUTE_FORCE); // 使用暴力搜索 knn->setIsClassifier(true); // 设置为分类器 knn->setDefaultK(3); // 设置K值 // 训练KNN模型 knn->train(trainingData, cv::ml::ROW_SAMPLE, labelsMat); //同样预测函数调用cv::Mat testResp;float response = knn->predict(testData,testResp); //存储模型,文件名借用了博文的命名,不必在意knn->save("mnist_svm.xml");
训练及测试过的算法模型,保存输出(.xml),然后调用。PS,训练图片解压读取请参见
C/C++开发,opencv-ml库学习,支持向量机(SVM)应用-CSDN博客的“2.4 SVM(支持向量机)实时识别应用”章节。
cv::Ptr<cv::ml::KNearest> kkn = cv::ml::StatModel::load<cv::ml::KNearest>("mnist_svm.xml");//read img 28*28 sizecv::Mat image = cv::imread(fileName, cv::IMREAD_GRAYSCALE);//uchar->float32image.convertTo(image, CV_32F);//image data normalizationimage = image / 255.0;//28*28 -> 1*784image = image.reshape(1, 1);//预测图片float ret = knn->predict(image);std::cout << "predict val = "<< ret << std::endl;
2.3 程序编译
和讲述支持向量机(SVM)应用的博文编译类似,采用opencv+mingw+makefile方式编译:
#/bin/sh
#win32
CX= g++ -DWIN32
#linux
#CX= g++ -Dlinux BIN := ./
TARGET := opencv_ml04.exe
FLAGS := -std=c++11 -static
SRCDIR := ./
#INCLUDES
INCLUDEDIR := -I"../../opencv_MinGW/include" -I"./"
#-I"$(SRCDIR)"
staticDir := ../../opencv_MinGW/x64/mingw/staticlib/
#LIBDIR := $(staticDir)/libopencv_world460.a\
# $(staticDir)/libade.a \
# $(staticDir)/libIlmImf.a \
# $(staticDir)/libquirc.a \
# $(staticDir)/libzlib.a \
# $(wildcard $(staticDir)/liblib*.a) \
# -lgdi32 -lComDlg32 -lOleAut32 -lOle32 -luuid
#opencv_world放弃前,然后是opencv依赖的第三方库,后面的库是MinGW编译工具的库LIBDIR := -L $(staticDir) -lopencv_world460 -lade -lIlmImf -lquirc -lzlib \-llibjpeg-turbo -llibopenjp2 -llibpng -llibprotobuf -llibtiff -llibwebp \-lgdi32 -lComDlg32 -lOleAut32 -lOle32 -luuid
source := $(wildcard $(SRCDIR)/*.cpp) $(TARGET) :$(CX) $(FLAGS) $(INCLUDEDIR) $(source) -o $(BIN)/$(TARGET) $(LIBDIR)clean:rm $(BIN)/$(TARGET)
make编译,make clean 清除可重新编译。
运行效果,同样数据样本,相比前面博文所述算法训练结果,其准确率有了较大改善,大家可以尝试调整参数验证:
2.4 main.cpp全代码
main.cpp源代码,由于是基于前三篇博文支持向量机(SVM)应用、决策树(DTrees)应用、随机森林(RTrees)应用基础上,快速移用实现的,有很多支持向量机(SVM)应用或决策树(DTrees)的痕迹,采用的数据样本也非较合适的,仅仅是为了阐述c++ opencv K近邻算法(KNearest)应用说明。
#include <opencv2/opencv.hpp>
#include <opencv2/ml/ml.hpp>
#include <opencv2/imgcodecs.hpp>
#include <iostream>
#include <vector>
#include <iostream>
#include <fstream>int intReverse(int num)
{return (num>>24|((num&0xFF0000)>>8)|((num&0xFF00)<<8)|((num&0xFF)<<24));
}std::string intToString(int num)
{char buf[32]={0};itoa(num,buf,10);return std::string(buf);
}cv::Mat read_mnist_image(const std::string fileName) {int magic_number = 0;int number_of_images = 0;int img_rows = 0;int img_cols = 0;cv::Mat DataMat;std::ifstream file(fileName, std::ios::binary);if (file.is_open()){std::cout << "open images file: "<< fileName << std::endl;file.read((char*)&magic_number, sizeof(magic_number));//formatfile.read((char*)&number_of_images, sizeof(number_of_images));//images numberfile.read((char*)&img_rows, sizeof(img_rows));//img rowsfile.read((char*)&img_cols, sizeof(img_cols));//img colsmagic_number = intReverse(magic_number);number_of_images = intReverse(number_of_images);img_rows = intReverse(img_rows);img_cols = intReverse(img_cols);std::cout << "format:" << magic_number<< " img num:" << number_of_images<< " img row:" << img_rows<< " img col:" << img_cols << std::endl;std::cout << "read img data" << std::endl;DataMat = cv::Mat::zeros(number_of_images, img_rows * img_cols, CV_32FC1);unsigned char temp = 0;for (int i = 0; i < number_of_images; i++) {for (int j = 0; j < img_rows * img_cols; j++) {file.read((char*)&temp, sizeof(temp));//svm data is CV_32FC1float pixel_value = float(temp);DataMat.at<float>(i, j) = pixel_value;}}std::cout << "read img data finish!" << std::endl;}file.close();return DataMat;
}cv::Mat read_mnist_label(const std::string fileName) {int magic_number;int number_of_items;cv::Mat LabelMat;std::ifstream file(fileName, std::ios::binary);if (file.is_open()){std::cout << "open label file: "<< fileName << std::endl;file.read((char*)&magic_number, sizeof(magic_number));file.read((char*)&number_of_items, sizeof(number_of_items));magic_number = intReverse(magic_number);number_of_items = intReverse(number_of_items);std::cout << "format:" << magic_number << " ;label_num:" << number_of_items << std::endl;std::cout << "read Label data" << std::endl;//data type:CV_32SC1,channel:1LabelMat = cv::Mat::zeros(number_of_items, 1, CV_32SC1);for (int i = 0; i < number_of_items; i++) {unsigned char temp = 0;file.read((char*)&temp, sizeof(temp));LabelMat.at<unsigned int>(i, 0) = (unsigned int)temp;}std::cout << "read label data finish!" << std::endl;}file.close();return LabelMat;
}//change path for real paths
std::string trainImgFile = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\train-images.idx3-ubyte";
std::string trainLabeFile = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\train-labels.idx1-ubyte";
std::string testImgFile = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\t10k-images.idx3-ubyte";
std::string testLabeFile = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\t10k-labels.idx1-ubyte";void train_SVM()
{//read train images, data type CV_32FC1cv::Mat trainingData = read_mnist_image(trainImgFile);//images data normalizationtrainingData = trainingData/255.0;std::cout << "trainingData.size() = " << trainingData.size() << std::endl;std::cout << "trainingData.type() = " << trainingData.type() << std::endl; std::cout << "trainingData.rows = " << trainingData.rows << std::endl; std::cout << "trainingData.cols = " << trainingData.cols << std::endl; //read train label, data type CV_32SC1cv::Mat labelsMat = read_mnist_label(trainLabeFile);std::cout << "labelsMat.size() = " << labelsMat.size() << std::endl; std::cout << "labelsMat.type() = " << labelsMat.type() << std::endl; std::cout << "labelsMat.rows = " << labelsMat.rows << std::endl; std::cout << "labelsMat.cols = " << labelsMat.cols << std::endl; std::cout << "trainingData & labelsMat finish!" << std::endl; // //create SVM model// cv::Ptr<cv::ml::SVM> svm = cv::ml::SVM::create(); // //set svm args,type and KernelTypes// svm->setType(cv::ml::SVM::C_SVC); // svm->setKernel(cv::ml::SVM::POLY); // //KernelTypes POLY is need set gamma and degree// svm->setGamma(3.0);// svm->setDegree(2.0);// //Set iteration termination conditions, maxCount is importance// svm->setTermCriteria(cv::TermCriteria(cv::TermCriteria::EPS | cv::TermCriteria::COUNT, 1000, 1e-8)); // std::cout << "create SVM object finish!" << std::endl; // std::cout << "trainingData.rows = " << trainingData.rows << std::endl; // std::cout << "trainingData.cols = " << trainingData.cols << std::endl; // std::cout << "trainingData.type() = " << trainingData.type() << std::endl; // // svm model train // svm->train(trainingData, cv::ml::ROW_SAMPLE, labelsMat); // std::cout << "SVM training finish!" << std::endl; // // 创建决策树对象 // cv::Ptr<cv::ml::DTrees> dtree = cv::ml::DTrees::create(); // dtree->setMaxDepth(30); // 设置树的最大深度 // dtree->setCVFolds(0);// dtree->setMinSampleCount(1); // 设置分裂内部节点所需的最小样本数 // std::cout << "create dtree object finish!" << std::endl; // // 训练决策树--trainingData训练数据,labelsMat训练标签// cv::Ptr<cv::ml::TrainData> td = cv::ml::TrainData::create(trainingData, cv::ml::ROW_SAMPLE, labelsMat); // std::cout << "create TrainData object finish!" << std::endl; // if(dtree->train(td))// {// std::cout << "dtree training finish!" << std::endl;// }else{// std::cout << "dtree training fail!" << std::endl; // }// // 3. 设置并训练随机森林模型
// cv::Ptr<cv::ml::RTrees> rf = cv::ml::RTrees::create();
// rf->setMaxDepth(30); // 设置决策树的最大深度
// rf->setMinSampleCount(2); // 设置叶子节点上的最小样本数
// rf->setTermCriteria(cv::TermCriteria(cv::TermCriteria::EPS + cv::TermCriteria::COUNT, 10, 0.1)); // 设置终止条件
// rf->train(trainingData, cv::ml::ROW_SAMPLE, labelsMat); // 4. 设置并训练KNN模型 // 创建KNN模型 cv::Ptr<cv::ml::KNearest> knn = cv::ml::KNearest::create(); // 设置KNN参数 knn->setAlgorithmType(cv::ml::KNearest::BRUTE_FORCE); // 使用暴力搜索 knn->setIsClassifier(true); // 设置为分类器 knn->setDefaultK(3); // 设置K值 // 训练KNN模型 knn->train(trainingData, cv::ml::ROW_SAMPLE, labelsMat); // svm model test cv::Mat testData = read_mnist_image(testImgFile);//images data normalizationtestData = testData/255.0;std::cout << "testData.rows = " << testData.rows << std::endl; std::cout << "testData.cols = " << testData.cols << std::endl; std::cout << "testData.type() = " << testData.type() << std::endl; //read test label, data type CV_32SC1cv::Mat testlabel = read_mnist_label(testLabeFile);cv::Mat testResp;// float response = svm->predict(testData,testResp); // float response = dtree->predict(testData,testResp); // float response = rf->predict(testData,testResp); float response = knn->predict(testData,testResp); // std::cout << "response = " << response << std::endl; testResp.convertTo(testResp,CV_32SC1);int map_num = 0;for (int i = 0; i <testResp.rows&&testResp.rows==testlabel.rows; i++){if (testResp.at<int>(i, 0) == testlabel.at<int>(i, 0)){map_num++;}// else{// std::cout << "testResp.at<int>(i, 0) " << testResp.at<int>(i, 0) << std::endl;// std::cout << "testlabel.at<int>(i, 0) " << testlabel.at<int>(i, 0) << std::endl;// }}float proportion = float(map_num) / float(testResp.rows);std::cout << "map rate: " << proportion * 100 << "%" << std::endl;std::cout << "SVM testing finish!" << std::endl; //save svm model// svm->save("mnist_svm.xml");// dtree->save("mnist_svm.xml");// rf->save("mnist_svm.xml");knn->save("mnist_svm.xml");
}void prediction(const std::string fileName,cv::Ptr<cv::ml::KNearest> knn)
// void prediction(const std::string fileName,cv::Ptr<cv::ml::DTrees> dtree)
// void prediction(const std::string fileName,cv::Ptr<cv::ml::SVM> svm)
{//read img 28*28 sizecv::Mat image = cv::imread(fileName, cv::IMREAD_GRAYSCALE);//uchar->float32image.convertTo(image, CV_32F);//image data normalizationimage = image / 255.0;//28*28 -> 1*784image = image.reshape(1, 1);//预测图片// float ret = dtree->predict(image);float ret = knn->predict(image);std::cout << "predict val = "<< ret << std::endl;
}std::string imgDir = "D:\\workForMy\\OpenCVLib\\opencv_demo\\opencv_ml01\\t10k-images\\";
std::string ImgFiles[5] = {"image_0.png","image_10.png","image_20.png","image_30.png","image_40.png",};
void predictimgs()
{//load svm model// cv::Ptr<cv::ml::SVM> svm = cv::ml::StatModel::load<cv::ml::SVM>("mnist_svm.xml");//load DTrees model// cv::Ptr<cv::ml::DTrees> dtree = cv::ml::StatModel::load<cv::ml::DTrees>("mnist_svm.xml");// cv::Ptr<cv::ml::RTrees> rf = cv::ml::StatModel::load<cv::ml::RTrees>("mnist_svm.xml");cv::Ptr<cv::ml::KNearest> kkn = cv::ml::StatModel::load<cv::ml::KNearest>("mnist_svm.xml");for (size_t i = 0; i < 5; i++){prediction(imgDir+ImgFiles[i],kkn);}
}int main()
{ train_SVM();predictimgs(); return 0;
}