---

---

前言

学习笔记

---

一、opencv (C++)图片基本操作

1.1 读取图片并显示

#include "opencv2/opencv.hpp"
#include <iostream>int main(int argc,char** argv)
{//读取图片，mat是matrix的缩写，是一个矩阵cv::Mat image = cv::imread("./media/cat.jpg");//判断是否读取成功if (image.empty()){std::cout<<"Could not read the image:" <<std::endl;return 1;}//打印图片高度和宽度std::cout<<"height"<<image.rows<<"width"<<image.cols<<std::endl;//用numpy格式展示图片std::cout<<"data"<<cv::format(image,cv::Formatter::FMT_NUMPY)<<std::endl;//用python 列表格式展示图片std::cout<<"data"<<cv::format(image,cv::Formatter::FMT_PYTHON)<<std::endl;cv::Mat gray;cv::cvtColor(image,gray,cv::COLOR_BGR2GRAY);cv::imshow("image",image);cv::waitKey(0);cv::imwrite("./output/gray.jpg",gray);
}

必须在vscode里面展示，不能在服务器上，服务器上没有窗口，或者保存成图片文件查看

1.2 颜色转换

#include "opencv2/opencv.hpp"
#include <iostream>int main()
{cv::Mat src = cv::imread("./media/dog.jpg");cv::Mat gray;cv::cvtColor(src,gray,cv::COLOR_BGR2GRAY);cv::Mat hsv;cv::cvtColor(src,hsv,cv::COLOR_BGR2HSV);cv::Mat rgb;cv::cvtColor(src,rgb,cv::COLOR_BGR2RGB);cv::imwrite("./output/1.gray.jpg",gray);cv::imwrite("./output/1.hsv.jpg",hsv);cv::imwrite("./output/1.rgb.jpg",rgb);return 0;}

1.3 图像filtering

#include <iostream>
#include <opencv2/opencv.hpp>int main()
{cv::Mat src = cv::imread("./media/dog.jpg");//模糊cv::Mat blur;// 三个参数分别是输入图像、输出图像、卷积核大小cv::GaussianBlur(src,blur,cv::Size(7,7),0);// 膨胀cv::Mat dilate; cv::dilate(src,dilate,cv::getStructuringElement(cv::MORPH_RECT,cv::Size(5,5)));//腐蚀cv::Mat erode;cv::erode(src,erode,cv::getStructuringElement(cv::MORPH_RECT,cv::Size(5,5)));cv::imwrite("./output/blur.jpg",blur);cv::imwrite("./output/dilate.jpg",dilate);cv::imwrite("./output/erode.jpg",erode);return 0;}

1.4 形状调整

// 形状调整
#include "opencv2/opencv.hpp"
#include <iostream>
#include <vector>int main()
{// 读取图像cv::Mat cat_img = cv::imread("./media/cat.jpg");// ======== resize ========cv::Mat cat_resize;// 三个参数分别是输入图像、输出图像、输出图像大小cv::resize(cat_img, cat_resize, cv::Size(320, 240));// 保存cv::imwrite("./output/3.cat_resize.jpg", cat_resize);// ======== copy ========cv::Mat copy;cat_img.copyTo(copy);cv::imwrite("./output/3.copy.jpg", copy);// ======== ROI裁剪 ========cv::Rect rect(100, 100, 200, 100); // x, y, width, heightcv::Mat roi = cat_img(rect);cv::imwrite("./output/3.roi.jpg", roi);// ======== 拼接 ========cv::Mat dog_img = cv::imread("./media/dog.jpg");cv::Mat dog_resize;cv::resize(dog_img, dog_resize, cv::Size(320, 240));// 水平拼接，需要保证两张图片的高度（rows）一致cv::Mat hconcat_img;cv::hconcat(cat_resize, dog_resize, hconcat_img);cv::imwrite("./output/3.hconcat.jpg", hconcat_img);// 或者使用vector方式std::vector<cv::Mat> imgs{cat_resize, dog_resize, cat_resize, dog_resize};cv::Mat hconcat_img2;cv::hconcat(imgs, hconcat_img2);cv::imwrite("./output/3.hconcat2.jpg", hconcat_img2);// 数组方式cv::Mat imgs_arr[] = {dog_resize, cat_resize, dog_resize, cat_resize};cv::Mat hconcat_img3;cv::hconcat(imgs_arr, 4, hconcat_img3); // 4是数组长度cv::imwrite("./output/3.hconcat3.jpg", hconcat_img3);// 垂直拼接，需要保证两张图片的宽度（cols）一致cv::Mat vconcat_img;cv::vconcat(cat_resize, dog_resize, vconcat_img);cv::imwrite("./output/3.vconcat.jpg", vconcat_img);// ======== 翻转 ========cv::Mat flip;// 三个参数分别是输入图像、输出图像、翻转方向cv::flip(cat_img, flip, 1); // 1表示水平翻转，0表示垂直翻转，-1表示水平垂直翻转cv::imwrite("./output/3.flip.jpg", flip);// ======== 旋转 ========cv::Mat rotate;// 三个参数分别是输入图像、输出图像、旋转角度cv::rotate(cat_img, rotate, cv::ROTATE_90_CLOCKWISE); // 顺时针旋转90度cv::imwrite("./output/3.rotate.jpg", rotate);return 0;
}

1.5 绘制

// 绘制文字和图形
#include "opencv2/opencv.hpp"
#include <iostream>
#include <vector>int main()
{// 创建一个黑色图像，参数分别是图像大小、图像类型，CV_8UC3表示8位无符号整数，3通道cv::Mat image = cv::Mat::zeros(cv::Size(600, 600), CV_8UC3);// 绘制直线，参数分别是图像、起点、终点、颜色、线宽、线型cv::line(image, cv::Point(50, 50), cv::Point(350, 250), cv::Scalar(0, 0, 255), 2, cv::LINE_AA);// 绘制矩形，参数分别是图像、左上角、右下角、颜色、线宽、线型cv::rectangle(image, cv::Point(50, 50), cv::Point(350, 250), cv::Scalar(0, 255, 0), 2, cv::LINE_AA);// 绘制圆形，参数分别是图像、圆心、半径、颜色、线宽、线型cv::circle(image, cv::Point(200, 150), 100, cv::Scalar(255, 0, 0), 2, cv::LINE_AA);// 实心cv::circle(image, cv::Point(200, 150), 50, cv::Scalar(255, 0, 0), -1, cv::LINE_AA);// // ================== 多边形 ==================// cv::Point points[2][4]; // 定义两个多边形的顶点数组// // 第一个多边形的顶点// points[0][0] = cv::Point(100, 115);// points[0][1] = cv::Point(255, 135);// points[0][2] = cv::Point(140, 365);// points[0][3] = cv::Point(100, 300);// // 第二个多边形的顶点// points[1][0] = cv::Point(300, 315);// points[1][1] = cv::Point(555, 335);// points[1][2] = cv::Point(340, 565);// points[1][3] = cv::Point(300, 500);// // ppt[] 要同时添加两个多边形顶点数组的地址）// const cv::Point *pts_v[] = {points[0], points[1]};// // npts_v[]要定义每个多边形的顶点数// int npts_v[] = {4, 4};// // 绘制多边形，参数分别是图像、顶点数组、顶点数、曲线数量、是否闭合、颜色、线宽、线型// cv::polylines(image, pts_v, npts_v, 2, true, cv::Scalar(255, 0, 255), 2, 8, 0);// ================== 使用vector绘制多边形 ==================std::vector<cv::Point> points_v;// 随机生成5个点for (int i = 0; i < 5; i++){points_v.push_back(cv::Point(rand() % 600, rand() % 600));}// 绘制多边形，参数分别是图像、顶点容器、是否闭合、颜色、线宽、线型cv::polylines(image, points_v, true, cv::Scalar(255, 0, 0), 2, 8, 0);// ================== 绘制文字 ==================// 参数分别是图像、文字、文字位置、字体、字体大小、颜色、线宽、线型cv::putText(image, "Hello World!", cv::Point(400, 50), cv::FONT_HERSHEY_SIMPLEX, 1.0, cv::Scalar(255, 255, 255), 2, 8, 0);// 保存cv::imwrite("./output/4.drawing.jpg", image);return 0;
}

二、读取视频文件并显示

// 导入opencv 库
#include <opencv2/opencv.hpp>
#include <iostream>
// 导入gflags 库
#include <gflags/gflags.h>
// 定义命令行参数
DEFINE_string(video, "./media/dog.mp4", "Input video"); // 视频路径int main(int argc, char **argv)
{// 解析命令行参数gflags::ParseCommandLineFlags(&argc, &argv, true);// 读取视频：创建了一个VideoCapture对象，参数为视频路径cv::VideoCapture capture(FLAGS_video);// 判断视频是否读取成功，返回true表示成功if (!capture.isOpened()){std::cout << "无法读取视频: " << FLAGS_video << std::endl;return 1;}// 读取视频帧，使用Mat类型的frame存储返回的帧cv::Mat frame;// 灰度图cv::Mat gray_frame;// 循环读取视频帧while (true){// 读取视频帧，使用 >> 运算符或者read()函数，他的参数是返回的帧capture.read(frame);// capture >> frame;// 判断是否读取成功if (frame.empty()){std::cout << "文件读取完毕" << std::endl;break;}// 转成灰度图cv::cvtColor(frame, gray_frame, cv::COLOR_BGR2GRAY);// 显示视频帧cv::imshow("raw frame", frame);cv::imshow("gray frame", gray_frame);// 等待按键，延迟30ms，否则视频播放太快int k = cv::waitKey(30);// 按下ESC键退出if (k == 27){std::cout << "退出" << std::endl;break;}}return 0;
}

读取摄像头并写入文件

// 导入opencv 库
#include <opencv2/opencv.hpp>
#include <iostream>
// 导入gflags 库
#include <gflags/gflags.h>
// 定义命令行参数
DEFINE_int32(camera, 0, "Input camera"); // 摄像头编号int main(int argc, char **argv)
{// 解析命令行参数gflags::ParseCommandLineFlags(&argc, &argv, true);// 读取视频：创建了一个VideoCapture对象，参数为摄像头编号cv::VideoCapture capture(FLAGS_camera);// 设置指定摄像头的分辨率int width = 640;int height = 480;// 设置摄像头宽度和高度capture.set(cv::CAP_PROP_FRAME_WIDTH, width);capture.set(cv::CAP_PROP_FRAME_HEIGHT, height);// 判断视频是否读取成功，返回true表示成功if (!capture.isOpened()){std::cout << "无法打开摄像头: " << FLAGS_camera << std::endl;return 1;}// 读取视频帧，使用Mat类型的frame存储返回的帧cv::Mat frame;// 写入MP4文件，参数分别是：文件名，编码格式，帧率，帧大小cv::VideoWriter writer("./output/record.mp4", cv::VideoWriter::fourcc('H', '2', '6', '4'), 20, cv::Size(width, height));// 循环读取视频帧while (true){// 读取视频帧，使用 >> 运算符或者read()函数，他的参数是返回的帧capture.read(frame);// capture >> frame;// flipcv::flip(frame, frame, 1);// 显示视频帧cv::imshow("opencv demo", frame);// 写入视频writer.write(frame);// 等待按键，延迟30ms，否则视频播放太快int k = cv::waitKey(30);// 按下ESC键退出if (k == 27){std::cout << "退出" << std::endl;break;}}return 0;
}

三、RTSP 视频流

本机构造RTSP视频流（optional）

# Ubuntu安装ffmpegsudo apt-get install ffmpeg# 赋予权限chmod +x rtsp-simple-serverchmod +x start_server.sh# 运行服务./start_server.sh# 退出服务pkill rtsp-simple-serverpkill ffmpeg

用于启动多个视频流服务器和ffmpeg流媒体转发器。它的作用是将四个mp4视频文件以rtsp协议和tcp传输方式推送到本地的rtsp服务器上。同时，还启动了ffserver服务器来接收来自ffmpeg的流媒体流，并将其转发到指定的端口上。
start_server.sh

#ffserver -f server1.conf &
#ffserver -f server2.conf &
#ffserver -f server3.conf &
#ffserver -f server4.conf &
#ffmpeg -i 1.mp4 -vcodec libx264 -tune zerolatency -crf 18 http://localhost:1234/feed1.ffm &
#ffmpeg -i 2.mp4 -vcodec libx264 -tune zerolatency -crf 18 http://localhost:1235/feed2.ffm &
#ffmpeg -i 3.mp4 -vcodec libx264 -tune zerolatency -crf 18 http://localhost:1236/feed3.ffm &
#ffmpeg -i 4.mp4 -vcodec libx264 -tune zerolatency -crf 18 http://localhost:1237/feed4.ffm &
./rtsp-simple-server rtsp_server.yml &
ffmpeg -re -stream_loop -1 -i 1.mp4 -vcodec copy -acodec copy -f rtsp -rtsp_transport tcp rtsp://localhost:8554/live1.sdp &
ffmpeg -re -stream_loop -1 -i 2.mp4 -vcodec copy -acodec copy -f rtsp -rtsp_transport tcp rtsp://localhost:8554/live2.sdp &
ffmpeg -re -stream_loop -1 -i 3.mp4 -vcodec copy -acodec copy -f rtsp -rtsp_transport tcp rtsp://localhost:8554/live3.sdp &
ffmpeg -re -stream_loop -1 -i 4.mp4 -vcodec copy -acodec copy -f rtsp -rtsp_transport tcp rtsp://localhost:8554/live4.sdp &

使用OpenCV库来读取和显示四个RTSP视频流，并将它们拼接成一个单一的窗口

#include <opencv2/opencv.hpp>
#include <iostream>
#include <string>int main(int argc, char **argv)
{// Ubuntu安装ffmpeg：sudo apt-get install ffmpeg// rtsp地址变量// 一般main 主码流，sub 子码流std::string rtsp1 = "rtsp://admin:SEGJKL@192.168.1.185:554/h264/ch1/sub/av_stream";std::string rtsp2 = rtsp1;std::string rtsp3 = rtsp1;std::string rtsp4 = rtsp1;// std::string rtsp1 = "rtsp://localhost:8554/live1.sdp";// std::string rtsp2 = "rtsp://localhost:8554/live2.sdp";// std::string rtsp3 = "rtsp://localhost:8554/live3.sdp";// std::string rtsp4 = "rtsp://localhost:8554/live4.sdp";// CAP_FFMPEG：使用ffmpeg解码cv::VideoCapture stream1 = cv::VideoCapture(rtsp1, cv::CAP_FFMPEG);cv::VideoCapture stream2 = cv::VideoCapture(rtsp2, cv::CAP_FFMPEG);cv::VideoCapture stream3 = cv::VideoCapture(rtsp3, cv::CAP_FFMPEG);cv::VideoCapture stream4 = cv::VideoCapture(rtsp4, cv::CAP_FFMPEG);if (!stream1.isOpened() || !stream2.isOpened() || !stream3.isOpened() || !stream4.isOpened()){std::cout << "有视频流未打开" << std::endl;return -1;}cv::Mat frame1;cv::Mat frame2;cv::Mat frame3;cv::Mat frame4;cv::Mat H1, H2, V;// 使用namedWindow创建窗口，WINDOW_AUTOSIZE：自动调整窗口大小cv::namedWindow("rtsp_demo", cv::WINDOW_AUTOSIZE);while (true){if (!stream1.read(frame1) || !stream2.read(frame2) || !stream3.read(frame3) || !stream4.read(frame4)){std::cout << "有视频流未读取" << std::endl;continue;}// 缩放等处理cv::resize(frame1, frame1, cv::Size(500, 300));cv::resize(frame2, frame2, cv::Size(500, 300));cv::flip(frame2, frame2, 1);cv::resize(frame3, frame3, cv::Size(500, 300));cv::cvtColor(frame1, frame1, cv::COLOR_BGR2GRAY);cv::cvtColor(frame1, frame1, cv::COLOR_GRAY2BGR);cv::resize(frame4, frame4, cv::Size(500, 300));cv::putText(frame4, "RTSP demo", cv::Point(100, 100), cv::FONT_ITALIC, 1, cv::Scalar(0, 0, 255), 2);// 拼接cv::hconcat(frame1, frame2, H1);cv::hconcat(frame3, frame4, H2);cv::vconcat(H1, H2, V);cv::imshow("rtsp_demo", V);if (cv::waitKey(1) == 27){break;}}return 0;
}

四. 人脸检测

#include "opencv2/opencv.hpp"
#include <iostream>// 初始化模型
const std::string tensorflowConfigFile = "./weights/opencv_face_detector.pbtxt";
const std::string tensorflowWeightFile = "./weights/opencv_face_detector_uint8.pb";
cv::dnn::Net net = cv::dnn::readNetFromTensorflow(tensorflowWeightFile, tensorflowConfigFile);// 检测并绘制矩形框
void detectDrawRect(cv::Mat &frame)
{// 获取图像的宽高int frameHeight = frame.rows;int frameWidth = frame.cols;// 预处理，resize + swapRB + mean + scalecv::Mat inputBlob = cv::dnn::blobFromImage(frame, 1.0, cv::Size(300, 300), cv::Scalar(104.0, 177.0, 123.0), false, false);// 推理net.setInput(inputBlob, "data");cv::Mat detection = net.forward("detection_out");// 获取结果cv::Mat detectionMat(detection.size[2], detection.size[3], CV_32F, detection.ptr<float>());// 遍历多个人脸结果for (int i = 0; i < detectionMat.rows; i++){// 置信度float confidence = detectionMat.at<float>(i, 2);if (confidence > 0.2){// 两点坐标int l = static_cast<int>(detectionMat.at<float>(i, 3) * frameWidth);int t = static_cast<int>(detectionMat.at<float>(i, 4) * frameHeight);int r = static_cast<int>(detectionMat.at<float>(i, 5) * frameWidth);int b = static_cast<int>(detectionMat.at<float>(i, 6) * frameHeight);// 画框cv::rectangle(frame, cv::Point(l, t), cv::Point(r, b), cv::Scalar(0, 255, 0), 2);}}
}
// 图片测试
void imageTest()
{// 读取图片cv::Mat img = cv::imread("./media/test_face.jpg");// 推理detectDrawRect(img);// 显示cv::imshow("image test", img);// 保存cv::imwrite("./output/test_face_result.jpg", img);cv::waitKey(0);
}// 实时视频流检测
void videoTest()
{// =========== 摄像头 ===========// 先读取camera或文件视频流并显示// cv::VideoCapture cap(2);// // 设置指定摄像头的分辨率// int width = 640;// int height = 480;// // 设置摄像头宽度和高度// cap.set(cv::CAP_PROP_FRAME_WIDTH, width);// cap.set(cv::CAP_PROP_FRAME_HEIGHT, height);// =========== 文件 ===========// 先读取camera或文件视频流并显示cv::VideoCapture cap("./media/video.mp4");// 获取视频流的宽高int width = cap.get(cv::CAP_PROP_FRAME_WIDTH);int height = cap.get(cv::CAP_PROP_FRAME_HEIGHT);// 构造写入器// 写入MP4文件，参数分别是：文件名，编码格式，帧率，帧大小cv::VideoWriter writer("./output/record.mp4", cv::VideoWriter::fourcc('H', '2', '6', '4'), 25, cv::Size(width, height));if (!cap.isOpened()){std::cout << "Cannot open the video cam" << std::endl;// 退出exit(1);}cv::Mat frame;while (true){if (!cap.read(frame)){std::cout << "Cannot read a frame from video stream" << std::endl;break;}// flipcv::flip(frame, frame, 1);// 推理detectDrawRect(frame);// 写入writer.write(frame);// cv::imshow("MyVideo", frame);// if (cv::waitKey(1) == 27)// {//     std::cout << "esc key is pressed by user" << std::endl;//     break;// }}
}int main(int argc, char **argv)
{// 图片测试// imageTest();// 视频测试videoTest();return 0;
}

---

总结

opencv (C++)简单用法