双目立体视觉系统(答辩)

双目立体视觉系统 项目组成员：何健、晏尧、艾晨 指导老师：蒲秀娟 2011年9月21日 项目答辩 重庆大学第二届科研训练项目 汇报提纲 研究目的和意义 1 系统总体设计硬件选择 2 图像算法和显示流程 3 验证 4 心得 5 1 研究目的和意义 应用背景 双目立体视觉系统作用： 双目立体视觉系统可以模仿人眼功能，感知三维世界信息 双目立体视觉系统可用于多场景监控，在工业控制、智能交通、金融、公共安全等应用领域逐渐显示出非常广阔的发展前景 2 系统总体设计及硬件选择 本项目通过详细分析和研究基于DM642双目立体视觉系统，给出软硬件结合的方案 2 系统总体设计及硬件选择 硬件选择 采集模块： CCD摄像头两个 处理模块： DM642 DSP开发板 显示模块： 计算机 3双目立体视觉图像算法和显示流程 具体算法实现 初始化程序中有关参数，变量，调用opencv库，并定义一些相关数组，变量 通过opencv库函数完成摄像机标定，特征提取，立体匹配 完成深度回复和误差纠正 获得立体视觉信息 计算机显示器 3双目立体视觉图像算法和显示流程 摄像机标定 利用摄像机所拍摄到的图像来还原空间中的物体 对图片信息进行二维标定 在二维标定的基础上对图像信息进行三维标定 3双目立体视觉图像算法和显示流程 摄像机标定 标定结果如下图所示： 3双目立体视觉图像算法和显示流程 特征提取 使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征 把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域 本次项目中，提取范围为区域，提取特征为区域的灰度信息 3双目立体视觉图像算法和显示流程 立体匹配 主要采用区域匹配方法，选取一定大小窗口内的灰度分布特征作为匹配基元 利用灰度信息的相关程度，将距离用d(X,Y)表示，X,Y取当前像素的灰度，距离测度d为X,Y之间的绝对差。 3双目立体视觉图像算法和显示流程 深度恢复和误差纠正 通过用于纠正摄像头采集图像的像素丢失和错误，并重建正确的三维图像信息 通过摄像机标定和立体系统标定的方法，求出左右摄像机的内参数和相对旋转矩阵与平移向量 对于左右摄像机所摄同一场景的两幅图像，通过对应点匹配的方法，求出左右图像中的对应点 对于左右图像中的一对对应点，由它们的左右图像坐标和左右摄像机的内参数求出它们的正规化向量 3双目立体视觉图像算法和显示流程 深度恢复和误差纠正 由对应点左右正规化向量的坐标，以场景点在左右摄像机坐标系中的深度值为参数，分别建立从左摄像机光心至左图像点和从右摄像机光心至右图像点的两条投影线方程 由左右正规化向量和摄像机的相对旋转矩阵与平移向量求出两条投影线的公垂线端点在左右摄像机坐标系中的深度值和三维坐标 由公垂线两个端点的坐标求出公垂线中点的坐标，以公垂线中点在左摄像机坐标系中的坐标和公垂线中点在左摄像机坐标系中的坐标作为场景点的三维坐标，完成深度恢复和三维重建 4 验证 系统验证： 系统整机实物图