OpenCV边缘检测与视频读写

原理

OpenCV中的边缘检测原理主要基于图像梯度的计算，包括一阶梯度和二阶梯度。

一阶梯度：它反映了图像亮度变化的速度。Sobel算法就是一种以一阶梯度为基础的边缘检测算法。它通过计算图像在水平和垂直方向上的梯度来检测边缘。这种方法简单有效，但对于噪声较为敏感。
二阶梯度：它描述了图像亮度变化率的变化，可以用于检测图像中的细线和角落。Laplacian算法就是基于二阶梯度的边缘检测算法，它对边缘的定位非常准确，但同样对噪声比较敏感。

边缘检测的目的是标识数字图像中亮度变化明显的点。图像属性中的显著变化通常反映了属性的重要事件和变化。边缘的表现形式：

图像边缘检测大幅度地减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性。边缘检测可以划分为两类：基于搜索和基于零穿越。

基于搜索：通过寻找图像一阶导数中的最大值来检测边界，然后利用计算结果估计边缘的局部方向，通常采用梯度的方向，并利用此方向找到局部梯度模的最大值，代表算法是Sobel算子和Scharr算子。
基于零穿越：通过寻找图像二阶导数零穿越来寻找边界，代表算法是Laplacian算子。

Sobel检测算子

Sobel边缘检测算法比较简单，实际应用中效率比canny边缘检测效率要高，但是边缘不如Canny检测的准确，但是很多实际应用的场合，sobel边缘却是首选，Sobel算子是高斯平滑与微分操作的结合体，所以其抗噪声能力很强，用途较多。尤其是效率要求较高，而对细纹理不太关心的时候。

OpenCV中常用的边缘检测算法包括Sobel、Scharr、Laplacian和Canny等。

Sobel算法：通过计算图像亮度的空间梯度来检测边缘，通常用于水平和垂直边缘的检测。
Scharr算法：与Sobel类似，但使用了不同的核来计算梯度，通常能提供更精确的边缘检测结果。
Laplacian算法：通过计算图像的二阶导数来检测边缘，对边缘的定位非常准确，但对噪声也比较敏感。
Canny算法：是一个多阶段的边缘检测算法，包括使用高斯滤波器平滑图像、计算梯度幅度和方向、应用非最大抑制以及使用双阈值法进行边缘跟踪。Canny算法被认为是一种最优的边缘检测方法，因为它试图最小化误检和漏检的边缘。

API

利用OpenCV进行sobel边缘检测的API是cv2.Sobel() 函数。

Sobel_x_or_y = cv2.Sobel(src, ddepth, dx, dy, ksize)

src：传入的图像
ddepth: 图像的深度
dx和dy: 求导的阶数，0表示这个方向上没有求导，取值为0、1。
ksize: Sobel算子的大小，必须为奇数1、3、5、7，默认为3。

Sobel函数求完导数后会有负值，还有会大于255的值。而原图像是uint8，即8位无符号数，所以Sobel建立的图像位数不够，会有截断。因此要使用16位有符号的数据类型，即cv2.CV_16S。处理完图像后，再使用cv2.convertScaleAbs()函数将其转回原来的uint8格式，否则图像无法显示。

Sobel算子是在两个方向计算的，最后还需要用cv2.addWeighted( )函数将其组合起来

Scale_abs = cv2.convertScaleAbs(x)  
result = cv2.addWeighted(src1, alpha, src2, beta)

案例：

import cv2 as cv
import numpy as np
from matplotlib import pyplot as pltimg = cv.imread('/h.jpg',0)x = cv.Sobel(img, cv.CV_16S, 1, 0)
y = cv.Sobel(img, cv.CV_16S, 0, 1)Scale_absX = cv.convertScaleAbs(x)  
Scale_absY = cv.convertScaleAbs(y)result = cv.addWeighted(Scale_absX, 0.5, Scale_absY, 0.5, 0)plt.figure(figsize=(10,8),dpi=100)
plt.subplot(121),plt.imshow(img,cmap=plt.cm.gray),plt.title('原图')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(result,cmap = plt.cm.gray),plt.title('Sobel')
plt.xticks([]), plt.yticks([])
plt.show()

Laplacian算子

Laplacian算子，也称为拉普拉斯算子，是数学中的一个二阶微分算子，用于描述函数在邻域平均值与差的平均值之间的关系。

Laplacian算子在多个领域有着广泛的应用，包括但不限于：

数学领域：在数学中，Laplacian算子被用于定义在欧几里得空间中的二阶微分算子，它可以表示为梯度（grad）的散度（div）。这个算子可以用来描述保守场或有势场的性质，例如静电场或引力场。
物理领域：在物理学中，Laplacian算子经常出现在描述物理系统的偏微分方程中，如电磁学中的Poisson方程，它用来求解静电势分布问题。

此外，在图像处理中，Laplacian算子可以用于边缘检测，通过计算图像的二阶导数来检测图像中的边缘，这对于图像识别和计算机视觉任务非常重要。

API：

laplacian = cv2.Laplacian(src, ddepth, ksize)

Src: 需要处理的图像，
Ddepth: 图像的深度，-1表示采用的是原图像相同的深度，目标图像的深度必须大于等于原图像的深度；
ksize：算子的大小，即卷积核的大小，必须为1,3,5,7。

案例：

import cv2 as cv
import numpy as np
from matplotlib import pyplot as pltimg = cv.imread('ho.jpg',0)result = cv.Laplacian(img,cv.CV_16S)
Scale_abs = cv.convertScaleAbs(result)plt.figure(figsize=(10,8),dpi=100)
plt.subplot(121),plt.imshow(img,cmap=plt.cm.gray),plt.title('原图')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(Scale_abs,cmap = plt.cm.gray),plt.title('Laplacian')
plt.xticks([]), plt.yticks([])

Canny边缘检测

Canny边缘检测是一种基于灰度突变的边缘检测算法，主要用于提取图像中不连续部分的特征，以便将图像分割成不同的子区域或轮廓线。

Canny边缘检测算法包括以下几个关键步骤：

高斯滤波：使用高斯滤波器对图像进行平滑处理，以减少图像噪声对边缘检测的影响。
像素梯度计算：计算图像中每个像素的梯度幅度和方向，这有助于确定边缘的强度和方向。
非极大值抑制：只保留梯度幅度最大的像素，抑制其他非极大值像素，这样可以减少边缘检测中的伪边缘。
滞后阈值处理：使用两个阈值（高阈值和低阈值）来确定真正的边缘，强边缘通过高阈值被直接标记，而弱边缘只有在连接到强边缘时才被标记。
孤立弱边缘抑制：去除那些没有连接到强边缘的孤立弱边缘，以得到更加清晰的边缘检测结果。

在OpenCV中要实现Canny检测使用的API:

canny = cv2.Canny(image, threshold1, threshold2)

image:灰度图，
threshold1: minval，较小的阈值将间断的边缘连接起来
threshold2: maxval，较大的阈值检测图像中明显的边缘

import cv2 as cv
import numpy as np
from matplotlib import pyplot as pltimg = cv.imread('ho.jpg',0)lowThreshold = 0
max_lowThreshold = 100
canny = cv.Canny(img, lowThreshold, max_lowThreshold) plt.figure(figsize=(10,8),dpi=100)
plt.subplot(121),plt.imshow(img,cmap=plt.cm.gray),plt.title('原图')
plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(canny,cmap = plt.cm.gray),plt.title('Canny')
plt.xticks([]), plt.yticks([])

视频读写

创建读取视频的对象:

cap = cv.VideoCapture(filepath)

filepath: 视频文件路径
视频的属性信息

获取视频的某些属性:

retval = cap.get(propId)

propId: 从0到18的数字，每个数字表示视频的属性

修改视频的属性信息:

cap.set(propId，value)

proid: 属性的索引，与上面的表格相对应
value: 修改后的属性值

isornot = cap.isOpened()

若读取成功则返回true，否则返回False
获取视频的一帧图像

ret, frame = cap.read()

ret: 若获取成功返回True，获取失败，返回False
Frame: 获取到的某一帧的图像
调用cv.imshow()显示图像，在显示图像时使用cv.waitkey()设置适当的持续时间，如果太低视频会播放的非常快，如果太高就会播放的非常慢，通常情况下我们设置25ms就可以了。
最后，调用cap.realease()将视频释放掉

创建视频写入的对象:

out = cv2.VideoWriter(filename,fourcc, fps, frameSize)

filename：视频保存的位置
fourcc：指定视频编解码器的4字节代码
fps：帧率
frameSize：帧大小

eg:

import cv2 as cv
import numpy as npcap = cv.VideoCapture("cat.wmv")frame_width = int(cap.get(3))
frame_height = int(cap.get(4))out = cv.VideoWriter('outpy.avi',cv.VideoWriter_fourcc('M','J','P','G'), 10, (frame_width,frame_height))
while(True):# 获取视频的每一帧图像ret, frame = cap.read()if ret == True: # 将每一帧图像写入到输出文件        out.write(frame)else:break cv.destroyAllWindows()