提取SIFT特征的代码,返回关键点kp及特征描述符des
def SIFT(frame):# 创建SIFT特征提取器sift = cv2.xfeatures2d.SIFT_create()# 提取SIFT特征kp, des = sift.detectAndCompute(frame, None)return kp, des
这行代码是使用SIFT(Scale-Invariant Feature Transform)算法在图像中检测关键点并计算对应的特征描述符。
在这行代码中,sift
是一个SIFT特征提取器的实例,detectAndCompute
是它的一个方法,用于在给定的图像中检测关键点并计算特征描述符。
这个方法有两个参数:第一个参数是输入的图像,第二个参数是一个掩码,用于指定在哪些地方检测关键点。在这个例子中,我们没有使用掩码,所以第二个参数是None
。
这个方法返回两个值:kp
和des
。
-
kp
是一个列表,包含了在图像中检测到的所有关键点。每个关键点是一个KeyPoint对象,包含了关键点的位置、大小、角度、响应度等信息。 -
des
是一个NumPy数组,包含了每个关键点的特征描述符。每个特征描述符是一个128维的向量,可以用于比较不同关键点(或来自不同图像的关键点)的相似性。
总的来说,这行代码的作用就是使用SIFT算法提取图像的关键点和特征描述符,这些关键点和特征描述符可以用于图像匹配、物体检测、图像识别等任务。
特征描述匹配算法
FlannBasedMatcher
是 OpenCV 中的一个特征匹配方法,它使用了近似最近邻搜索算法(Approximate Nearest Neighbors,简称 FLANN)来寻找特征之间的匹配。这种方法的主要优点是它在大规模数据集上的性能非常好,尤其是在处理高维特征(例如 SIFT 或 SURF)时。
FLANN 是一种优化的最近邻搜索算法,它可以在高维空间中快速找到查询点的最近邻。传统的最近邻搜索算法(例如暴力搜索)在高维空间中的性能往往很差,因为它们需要对每一个可能的匹配进行计算,这在处理大规模数据集时会变得非常慢。FLANN 通过使用一种叫做 k-d 树的数据结构,以及一种叫做优先级搜索的策略,来大大加快搜索速度。
FLANN 的另一个优点是它可以自动选择最优的搜索算法和参数,这使得它可以在各种不同的数据集和特征类型上都有很好的性能。然而,这也意味着 FLANN 可能需要一些时间来调整这些参数,因此在小规模数据集上,FLANN 可能不如其他更简单的方法(例如暴力搜索或基于哈希的方法)快。
总的来说,FlannBasedMatcher
的主要优势是它在处理大规模、高维特征数据集时的性能和效率。然而,这也意味着它可能不适合所有的应用场景,尤其是在数据集较小或特征维度较低的情况下。
# 近似匹配
# 近似最近邻搜索算法来找到最佳匹配
def FlannMatcher(des1, des2):# 创建FLANN匹配器FLANN_INDEX_KDTREE = 1index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5) # KD树索引 树的数量5search_params = dict(checks=50) # 回溯查找的次数flann = cv2.FlannBasedMatcher(index_params, search_params)# 使用FlannBasedMatcher比较特征描述符matches = flann.knnMatch(des1, des2, k=2)# 应用比例测试(ratio test)来选择好的匹配good_matches = []for m, n in matches:if m.distance < 0.7 * n.distance:good_matches.append([m])return good_matches
根据视频流取帧进行特征对比
def process(path1, path2):# 读取视频cap1 = cv2.VideoCapture(path1)cap2 = cv2.VideoCapture(path2)index = 0# matches_over_time 根据时序得到特征匹配结果# scores 记录每个匹配的得分情况 根据 最佳匹配/提取特征数 计算matches_over_time, scores = [], []while True:index = index + 1# 读取第一帧ret1, frame1 = cap1.read()ret2, frame2 = cap2.read()if not ret1:breakif not ret2:breakif index % 25 != 0: # 每秒一帧进行采样continue# 如果成功读取帧if ret1 and ret2:kp1, des1 = SIFT(frame1)kp2, des2 = SIFT(frame2)good_matches = FlannMatcher(des1, des2)matches_over_time.append(good_matches)# 计算得分score = len(good_matches) / min(des1.shape[0], des2.shape[0])scores.append(score)# 释放资源cap1.release()cap2.release()return matches_over_time, scores
# 主函数调用
if __name__ == '__main__':path1 = 'video_base.mp4'path2 = 'video_origin.mp4't1 = int(time.time() * 1000)matches, scores = process(path1, path2)t2 = int(time.time() * 1000)print(f"用时 {(t2-t1)/1000.0}s")total_score = sum(scores) / len(scores)print(f"相似度得分 {round(total_score, 7)}")# cv2.destroyAllWindows()