立体匹配十大概念综述---立体匹配算法介绍

from：https://blog.csdn.net/wintergeng/article/details/51049596

一、概念

        立体匹配算法主要是通过建立一个能量代价函数，通过此能量代价函数最小化来估计像素点视差值。立体匹配算法的实质就是一个最优化求解问题，通过建立合理的能量函数，增加一些约束，采用最优化理论的方法进行方程求解，这也是所有的病态问题求解方法。

二、主要立体匹配算法分类

1）根据采用图像表示的基元不同，立体匹配算法分为：

       A、区域立体匹配算法（可获取稠密视差图。缺点：受图像的仿射畸变和辐射畸变影响较大；像素点约束窗口的大小与形状选择比较困难，选择过大，在深度不连续处，视差图中会出现过度平滑现象；选择过小，对像素点的约束比较少，图像信息没有得到充分利用，容易产生误匹配。）

       B、基于特征的立体匹配算法（可获得稀疏的视差图，经差值估计可获得稠密视差图。可提取点、线、面等局部特征，也可提取多边形和图像结构等全局特征。缺点：特征提取易受遮挡、光线、重复纹理等影响较大；差值估计计算量大）

       C、基于相位立体匹配算法（假定在图像对应点中，其频率范围内，其局部相位是相等的，在频率范围内进行视差估计）

2）依据采用最优化理论方法的不同，立体匹配算法可以分为：

       A、局部的立体匹配算法

       B、全局的立体匹配算法

三、匹配基元（match primitive）

目前匹配算法中所采用的匹配基元可以分成两大类：

1）在所有图象像素点上抽取量测描述子

      A、像素灰度值（最简单、直接，但必须在同一光照条件下获得）

      B、局部区域灰度函数（主要是利用求得在各种大小不同窗口中灰度分布的导数信息，描述像素点周围的结构矢量。）

      C、卷积图象符号（利用各种大小算子与图象进行卷积，用灰度梯度局部极大值或极小值作为特征信息，描述整个图像）

2）图像特征

      A、过零点

      B、边缘（由于边缘是图像特征位置的标志，对灰度值的变化不敏感，边缘是图像匹配的重要特征和描述子）

      C、角点（虽然其没有明确的数学定义，但大家普遍认为角点，即二维图像亮度变化剧烈的点或边缘曲线上曲率极值点）

------------------------------------------------------------------基元-----------------------------------------------------------------------------------------

  1. 立体视觉匹配基元：匹配基元是用以进行立体匹配的图像特征，匹配基元的选择，要考虑基元的稳定性、敏感性、可行性和能否表示图像。

    • 点：利用图像的局部特征信息作为匹配基元，表示一个像素，如像素灰度值，角点，边缘，卷积等。

      双目立体视觉—基本约束准则

    • 块：局部区域内所有像素的灰度、亮度特征值，对区域内所有像素进行变化，如卷积、梯度变换和Censes变换等。

      双目立体视觉—基本约束准则

    • 线：一般是像素灰度信息发生急剧变化的像素点集，最能体现边缘特征。

      检测边缘的算子如Sobel算子、Canny算子、Log算子和Prewitt算子等。

      双目立体视觉—基本约束准则

------------------------------------------------------------------基元end------------------------------------------------------------------------------------------

四、区域匹配算法

        基本原理是给定在一幅图像上的某一点，选取该像素点邻域内的一个子窗口，在另一幅图像中的一个区域内，根据某种相似性判断依据，寻找与子窗口图像最为相似的子图，而其匹配的子图中对应的像素点就为该像素的匹配点。

        一般单纯的区域匹配都遇到如下限制：

       1）针对弱纹理或存在重复纹理的区域，匹配结果不好

       2）该算法不适应于深度变化剧烈的场景

       3）对光照、对比度和噪声比较敏感

       4）子窗体的大小很难选择

五、特征匹配算法

        特征的匹配算法，主要是基于几何特征信息（边缘、线、轮廓、兴趣点、角点和几何基元等），针对几何特征点进行视差估计，所以先要提取图像的特征点，尽而利用这些特征点的视差值信息来重建三维空间场景。

        匹配所需要的主要步骤：图像预处理、提取特征、特征点的匹配获取稀疏视差图，如果想得到稠密的视差图，需要采用插值的方法。

六、全局匹配算法

        全局立体匹配算法主要是采用了全局的优化理论方法估计视差，建立全局能量函数，通过最小化全局能量函数得到最优视差值。

        全局匹配算法得到的结果比较准确，但是其运行时间比较长，不适合实时运行。主要的算法有图割（graph cuts）、信念传播（belief propagation）、动态规划等算法。

七、局部匹配算法（个人觉得跟区域匹配类似，角度不同而已）

        主要是采用局部优化方法进行视差值估计，局部立体匹配算法有 SAD，SSD 等算法，与全局立体匹配算法一样，也是通过能量最小化方法进行视差估计，但是，在能量函数中，只有数据项，而没有平滑项。

       主要分为三类：自适应窗体立体匹配算法、自适应权值的立体匹配算法和多窗体立体匹配算法。

八、立体匹配约束

1）极线约束
2）唯一性约束

3）视差连续性约束

4）顺序一致性约束

5）相似性约束

----------------------------------------------------------------匹配约束--------------------------------------------------------------------------------------

  1. 约束准则具有缩小匹配搜索的范围，降低误匹配，同时提高匹配效率的功能。

    • 极线约束：

      如图所示，三维空间的一个映射点，其匹配点必定在另一图像的极线上，理想情况下，匹配点对位于同一水平线上即坐标y值相同。故只需在对应的水平线上搜素匹配点，大大提高了匹配效率。

      双目立体视觉—基本约束准则

    • 唯一性约束：

      三维空间点至多只一个图像上的映射点（遮挡则没有映射点），匹配时左右图像上只有唯一一个匹配点。

      双目立体视觉—基本约束准则

    • 连续性约束：

      三维空间中物体表面是光滑的，匹配得到的视差图大部分情况下是连续且光滑变化的。一般使用较小的视差梯度降低匹配的搜索范围和待匹配点的数量以提高匹配速度。

      双目立体视觉—基本约束准则

    • 相似性约束：

      三维空间中的物体在不同视角下投影产生的匹配基元（点、块、线）必须要有相同或相似的属性。由于光照等因素的影响，相似性约束具有局限性。

      双目立体视觉—基本约束准则

    • 顺序一致性约束：

      三维空间中物体上的点的位置信息在映射到两幅图像上的位置顺序不会改变。这是不透明物体表面投影的几何学必然性。

      双目立体视觉—基本约束准则

    • 平滑性约束：

      假设三维空间中物体表面是平滑的，则视差图上除物体边界位置会有大的视差波动以外，其他位置上匹配视差的变化很小。

      双目立体视觉—基本约束准则

    • 左右一致性约束：

      如图所示，参考图上像素点p点在匹配图上的点是q，则参考图上像素点q在匹配图上是p。如果两次搜索的结果不对应，则改点不可靠。常用于遮挡区域的检测。

      双目立体视觉—基本约束准则

    • 视差范围约束：

      两台摄像机之间具有一定的距离，在沿极线搜索时，搜索的范围应小于一定的阈值。视差范围约束限制了搜索的范围。

      双目立体视觉—基本约束准则

-----------------------------------------------------------------匹配约束end----------------------------------------------------------------------------------

九、相似性判断标准

1）像素点灰度差的平方和，即 SSD

2）像素点灰度差的绝对值和，即 SAD

3）归一化交叉相关，简称 NCC

4） 零均值交叉相关，即 ZNCC

5）Moravec 非归一化交叉相关，即 MNCC

6） Kolmogorov-Smirnov 距离，即 KSD

7）Jeffrey 散度

8）Rank 变换（是以窗口内灰度值小于中心像素灰度值的像素个数来代替中心像素的灰度值）

9）Census 变换（是根据窗口内中心像素灰度与其余像素灰度值的大小关系得一串位码，位码长度等于窗口内像素个数减一）

各类代码实现参考：https://blog.csdn.net/liyingjiang22/article/details/53156331

十、评价参数

        立体匹配算法是一个病态问题，一般通过建立能量函数，利用最小化能量函数，和一些约束条件，采用最优化理论方法进行求解方程。

        公认的定量评价参数有：均方根误差(Root-mean-squared)和误匹配率(percentage of bad matching pixels)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/458186.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

zjnu1730 PIRAMIDA(字符串，模拟)

zjnu1730 PIRAMIDA(字符串，模拟)

Description Sample Input 6 JANJETINA 5 1 J 1 A 6 N 6 I 5 E Sample Output 1 0 2 1 1题意：给你一个长度小于等于10^6的字符串，然后每次让它循环铺盖，构成层数为n的塔，让你求得第i层塔中某个字符的个数。 思路：首先要…
阅读更多...
ICP算法理解

ICP算法理解

from：https://blog.csdn.net/linear_luo/article/details/52576082 1 经典ICP ICP的目的很简单，就是求解两堆点云之间的变换关系。怎么做呢？思路很自然，既然不知道R和t(针对刚体运动)，那我们就假设为未知量呗&#xf…
阅读更多...
图像处理的灰度化和二值化

图像处理的灰度化和二值化

from：http://blog.sina.com.cn/s/blog_13c6397540102wqtt.html 在图像处理中，用RGB三个分量（R：Red，G：Green，B：Blue），即红、绿、蓝三原色来表示真彩色&#x…
阅读更多...
获取子元素

获取子元素

1、纯css 获取子元素 #test1>div {background-color:red;}#test1 div {font-size:14px;}#test1>div:first-child {color:#ccc;} <div id"test1"><div>性别</div><div>男</div></div> 因1示例中为#test1下的子元素 #test1…
阅读更多...
44.Android之Shape设置虚线、圆角和渐变学习

44.Android之Shape设置虚线、圆角和渐变学习

Shape在Android中设定各种形状&#xff0c;今天记录下&#xff0c;由于比较简单直接贴代码。 Shape子属性简单说明一下:　　 gradient -- 对应颜色渐变。 startcolor、endcolor就不多说了。 android:angle是指从哪个角度开始变.solid -- 填充。stroke -- 描边。corners -- 圆角…
阅读更多...
几种边缘检测算子的比较Roberts，Sobel，Prewitt，LOG，Canny

几种边缘检测算子的比较Roberts，Sobel，Prewitt，LOG，Canny

from&#xff1a;https://blog.csdn.net/gdut2015go/article/details/46779251 边缘检测是图像处理和计算机视觉中的基本问题&#xff0c;边缘检测的目的是标识数字图像中亮度变化明显的点。图像属性中的显著变化通常反映了属性的重要事件和变化。这些包括&#xff1a;深度上的…
阅读更多...
django 初试

django 初试

/*************************************************************************************** django 初试* 说明&#xff1a;* 昨天打搭了dgango的服务器&#xff0c;今天学一下怎么来输出一个hello world出来。* * …
阅读更多...
浅析“高斯白噪声”，“泊松噪声”，“椒盐噪声”的区别

浅析“高斯白噪声”，“泊松噪声”，“椒盐噪声”的区别

from&#xff1a;https://www.jianshu.com/p/67f909f3d0ce 在图像处理的过程中&#xff0c;一般情况下都进行图像增强&#xff0c;图像增强主要包括“空域增强”和“频域增强”&#xff0c; 空域增强包括平滑滤波和锐化滤波。 平滑滤波&#xff0c;就是将图像模糊处理&#x…
阅读更多...
Java 开发环境部署

Java 开发环境部署

1.下载Java开发环境工具包JDK&#xff0c;下载地址&#xff1a;http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载后&#xff0c;双击jdk应用程序&#xff0c;根据提示完成安装&#xff0c;安装过程中可以自定义安装目录等信息&#xff0c;这里我选择…
阅读更多...
枚举enum、NS_ENUM 、NS_OPTIONS

枚举enum、NS_ENUM 、NS_OPTIONS

2019独角兽企业重金招聘Python工程师标准>>> enum 了解位移枚举之前&#xff0c;我们先回顾一下C语言位运算符。 1 << : 左移,比如1<<n,表示1往左移n位&#xff0c;即数值大小2的n次方; 例如 : 0b0001 << 1 变为了 0b0010 2 >> : 右…
阅读更多...
数字图像处理-频率域滤波原理

数字图像处理-频率域滤波原理

from&#xff1a;https://blog.csdn.net/forrest02/article/details/55510711?locationNum15&fps1 写在前面的话 作者是一名在读的硕士研究僧&#xff0c;方向是图像处理。由于图像处理是一门相对复杂的学科&#xff0c;作者在课堂上学到的东西只是非常浅显的内容&#…
阅读更多...
深入浅出的讲解傅里叶变换（真正的通俗易懂）

深入浅出的讲解傅里叶变换（真正的通俗易懂）

原文出处&#xff1a; 韩昊 1 2 3 4 5 6 7 8 9 10 作 者&#xff1a;韩 昊 知 乎&#xff1a;Heinrich 微 博&#xff1a;花生油工人 知乎专栏&#xff1a;与时间无关的故事 谨以此文献给大连海事大学的吴楠老师&#xff0c;柳晓鸣老师&#xff0c;王新年老师以及张晶泊老…
阅读更多...
IIS(1)

IIS(1)

转载&#xff1a;http://blog.csdn.net/ce123 IIS音频总线学习&#xff08;一&#xff09;数字音频技术 一、声音的基本概念 声音是通过一定介质传播的连续的波。 图1 声波重要指标&#xff1a; 振幅&#xff1a;音量的大小周期&#xff1a;重复出现的时间间隔频率&#xff1a;…
阅读更多...
手机屏幕适配原理及实现

手机屏幕适配原理及实现

为什么80%的码农都做不了架构师&#xff1f;>>> 手机屏幕是用户与 App 最直接的交互点 不同的分辨率下用户对我们的 App 具有明显的感观差异&#xff0c;主流分辨率的更新迭代却又完全独立于 App 进行。这让我们想要使 App 在绝大多数主流手机上都保持感观、体验的…
阅读更多...
【数字图像处理】傅里叶变换在图像处理中的应用

【数字图像处理】傅里叶变换在图像处理中的应用

from&#xff1a;https://www.cnblogs.com/tenderwx/p/5245859.html 1.理解二维傅里叶变换的定义 1.1二维傅里叶变换 二维Fourier变换: 逆变换&#xff1a; 1.2二维离散傅里叶变换 一个图像尺寸为MN的 函数的离散傅里叶变换由以下等式给出&#xff1a; 其中 和。其中变量u和…
阅读更多...
求二叉树中两个节点的最远距离

求二叉树中两个节点的最远距离

问题定义如果我们把二叉树看成一个图&#xff0c;父子节点之间的连线看成是双向的&#xff0c;我们姑且定义"距离"为两节点之间边的个数。写一个程序求一棵二叉树中相距最远的两个节点之间的距离。计算一个二叉树的最大距离有两个情况:情况A: 路径经过左子树的最深节…
阅读更多...
Source Insight 4.0 最简单的破解安装

Source Insight 4.0 最简单的破解安装

from&#xff1a;https://blog.csdn.net/biubiuibiu/article/details/78044232 三步完成Source Insight 4.0 破解安装 下载地址有更新&#xff0c;之前有朋友因潜在的版权问题封禁没下到&#xff0c;现在更新后可正常使用了。 文末有完全清除上次安装残留的方法&#xff0c;…
阅读更多...
XML——XML介绍和基本语法

XML——XML介绍和基本语法

from&#xff1a;https://blog.csdn.net/gavin_john/article/details/51511180 1.XML历史 gml(1969)->sgml(1985)->html(1993)->xml(1998) 1969 gml(通用标记语言)&#xff0c;主要目的是要在不同的机器之间进行通信的数据规范1985 sgml(标准通用标记语言)1993 htm…
阅读更多...
Tomcat7.0安装配置

Tomcat7.0安装配置

很久没有通过博客对学习所得进行记录了。 现在将使用Tomcat的一些经验和心得写到这里&#xff0c;作为记录和备忘。如果有朋友看到&#xff0c;也请不吝赐教。 首先&#xff0c;我个人使用的是apache-tomcat-7.0.27你可以下载使用&#xff0c;前提条件你需要安装JDK1.6或者1.7都…
阅读更多...
TIFF图像文件格式详解

TIFF图像文件格式详解

from&#xff1a;https://www.cnblogs.com/gywei/p/3393816.html 1 什么是TIFF&#xff1f; TIFF是Tagged Image File Format的缩写。在现在的标准中&#xff0c;只有TIFF存在&#xff0c; 其他的提法已经舍弃不用了。做为一种标记语言&#xff0c;TIFF与其他文件格式最大的不…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023