一、前言
在我的工业相机专栏里已经将相机标定涉及到的理论部分讲解完毕,为什么要标定以及标定要求出什么参数呢,用一个Halcon 例程来帮助理解。
这个例程是比较经典的标定程序,基本将标定过程讲的比较清楚,用的标定图像是系统自带的,如果想自己做可以在Halcon助手选项里拍照生成。
二、代码
* 设置窗口和字体
ImgPath := '3d_machine_vision/calib/'
dev_close_window ()
dev_open_window (0, 0, 640, 480, 'black', WindowHandle)
dev_update_off ()
dev_set_draw ('margin')
dev_set_line_width (3)
set_display_font (WindowHandle, 22, 'mono', 'true', 'false')
*
* 相机标定过程
*
* 生成面阵相机初始参数,参数均为相机已知参数
* (: : 焦距, 畸变因子, Sx, Sy, Cx, Cy, 图像宽度, 图像高度 : CameraParam存储元组)
* (Sx, Sy为传感器芯片上两个相邻单元之间的水平竖直距离,也就是像素的大小,单位为m/像素;Cx, Cy为图像原点的行列坐标,单位为像素;)
gen_cam_par_area_scan_division (0.012, 0, 0.00000375, 0.00000375, 640, 480, 1280, 960, StartCamPar)
*创建Halcon标定数据模型(标定类型,相机数量,标定物数量,模型句柄)
*其作用在于指定相机标定类型,设置标定过程,存储标定数据和结果。
create_calib_data ('calibration_object', 1, 1, CalibDataID)
*设定相机初始参数(句柄,相机参数索引,相机类型,起始相机参数)
*此段程序跑完的句柄见下图。
set_calib_data_cam_param (CalibDataID, 0, [], StartCamPar)
*设定标定板初始参数(句柄,标定板数量索引,标定板描述(文件名或者标定板所有点的三维坐标))此例生成三维坐标系坐标值(x,y,z),其中z为0;坐标原点在finder模式的中心Mark点中心,坐标系的z轴指向标定板,x轴指向右侧,y轴指向下方,视角沿z轴。
set_calib_data_calib_object (CalibDataID, 0, 'calplate_80mm.cpd')//此文件可用记事本打开,里面记录了标定板五个mark模式的点坐标和半径。
calibration marks at y = -0.0290538 m
-0.0374193548387097 -0.0290537554818005 0.000645161290322581
*读图,并生成落轮廓和点的特征参数值
NumImages := 7
for I := 1 to NumImages by 1
*读图,路径在C盘用户公共文档里,% 2d是将数字按宽度为2,采用右对齐方式输出,若数据位数不到2位,则左边补空格,所以文件名为calib_0X。read_image (Image, ImgPath + 'calib_image_' + I$'02d')dev_display (Image)*寻找标定板并在模型中设定提取的点和轮廓信息*(图像变量,句柄,相机的索引,标定板的索引,计数变量,参数名(使用六边形标定板,设置额外的参数值,可以使图像平滑等),参数值)*该算子将标定板每个点的轮廓和点坐标,索引和此图像标定板相对于相机坐标系的位姿提取出来,保存在句柄中。*find_caltab在图像中寻找标定板是基于标定板的特征——在一个亮的区域中存在黑色Mark点*算子对图像高斯滤波(核大小为SizeGauss),接着阈值分割(与之大小为MarkThresh)将标定板的区域找出来.find_calib_object (Image, CalibDataID, 0, 0, I, [], [])*从标定数据模型中获取基于轮廓的观测数据*(轮廓变量,句柄,返回标定板查找模式的轮廓内含三个参数(marks(返回每一个轮廓,calib(返回查找模式的轮廓),last_caltab(会返回上次成功的查找结果,但会忽略索引信息)),相机索引,标定板索引,变量)* 标定板查找器:有两种模式,一种是特殊标记六边形(即一个标记及其六个相邻标记),其中四个或六个标记包含一个孔;另外是带有矩形排列标记的校准板:校准板的边缘在一角有一个三角形。这里是第一种,结果如下图所示。get_calib_data_observ_contours (Caltab, CalibDataID, 'caltab', 0, 0, I)*从标定数据模型中获取基于点的观测数据get_calib_data_observ_points (CalibDataID, 0, 0, I, Row, Column, Index, StartPose)dev_set_color ('green')dev_display (Caltab)dev_set_color ('red')*画出坐标的轮廓,轮廓以中心点的方式显示(窗口句柄,中心点行坐标,列坐标,半径)tuple_gen_const(: : Length, Const : Newtuple)(元组长度,常量初始值)disp_circle (WindowHandle, Row, Column, gen_tuple_const(|Row|,1.5))
endfor
关于find_calib的更多细节见链接:
Halcon相机标定
*最重要的算子:相机标定,通过同步的最小化过程确定所有相机参数;
*计算相机内外参矩阵,原理见链接(https://blog.csdn.net/baidu_35536188/article/details/109772056)
*(句柄,优化后的反投影的均方根误差(RMSE),单位为像素,该误差用来反映优化是否成功,越接近0表示效果越好)
calibrate_cameras (CalibDataID, Errors)
*获取相机标定数据--内参值,将其存在CamParam上。
get_calib_data (CalibDataID, 'camera', 0, 'params', CamParam)
*获取标定板数据,将其第一幅图的位姿存在Pose里。
get_calib_data (CalibDataID, 'calib_obj_pose', [0,1], 'pose', Pose)* To take the thickness of the calibration plate into account, the z-value
* of the origin given by the camera pose has to be translated by the
* thickness of the calibration plate.
* Deactivate the following line if you do not want to add the correction.
* *设置新的坐标原点。在Z轴坐标加0.02,主要是考虑标定板的厚度,该算子通过DX、DY和DZ给定的向量转换3D poseIn的原点,并以poseNewOrigin形式返回结果。
set_origin_pose (Pose, 0, 0, 0.002, Pose)
* measure the distance between the pitch lines
read_image (Image, ImgPath + 'ruler')
dev_display (Image)
* 准备提取垂直于矩形长轴的直边。 矩形的中心在(Row,Column),Phi为矩形主轴的角度,Lenth1和Lenth2为两轴的长度,即矩形两边长度的一半。
* (矩形中心点的行坐标,列坐标,矩形的纵轴与水平的角度(弧度),矩形的半宽,矩形的半高,图像的宽,高,要使用的插值类型,测量对象句柄)
gen_measure_rectangle2 (690, 680, rad(-0.25), 480, 8, 1280, 960, 'bilinear', MeasureHandle)
*提取垂直于矩形或环形弧的边缘对
*(图像,句柄,高斯平滑的西格玛参数值,最小边缘幅度,灰度值转换的类型以确定边缘如何成对,边缘对第一条边的中心的Row坐标,列坐标,
边缘对第一条边的边缘幅度(带符号),边缘对第二条边的中心的Row坐标,列坐标,边缘幅度,边缘对内部之间的距离,边缘间距离)
measure_pairs (Image, MeasureHandle, 0.5, 5, 'all', 'all', RowEdgeFirst, ColumnEdgeFirst, AmplitudeFirst, RowEdgeSecond, ColumnEdgeSecond, AmplitudeSecond, IntraDistance, InterDistance)
Row := (RowEdgeFirst + RowEdgeSecond) / 2.0
Col := (ColumnEdgeFirst + ColumnEdgeSecond) / 2.0
*显示X点,如下图所示。
disp_cross (WindowHandle, Row, Col, 20, rad(45))
*将图像点转换为世界坐标系的z=0平面
*(相机内参,位姿,行,列,单位,世界坐标系的X坐标点,Y坐标点)
image_points_to_world_plane (CamParam, Pose, Row, Col, 'mm', X1, Y1)
*计算两点间的距离
distance_pp (X1[0:11], Y1[0:11], X1[1:12], Y1[1:12], Distance)
*求平均距离和
tuple_mean (Distance, MeanDistance)
*计算距离的标准差
tuple_deviation (Distance, DeviationDistance)
disp_message (WindowHandle, 'Mean distance: ' + MeanDistance$'.3f' + 'mm +/- ' + DeviationDistance$'.3f' + 'mm', 'window', 30, 60, 'yellow', 'false')
三、总结
Halcon 的标定步骤总结如下:
- gen_cam_par_area_scan_division:生成相机参数矩阵;
- create_calib_data,set_calib_data_cam_param, set_calib_data_calib_object:创建标定数据模型,并设定相机和标定板的参数值,包括相机起始内参和标定板的坐标系。
- find_calib_object,在多幅标定图像中寻找标定板,并提取其轮廓和点特征,生成相对于相机坐标系的位姿矩阵(7维)。
- calibrate_cameras,计算内外参,并计算误差值。
- 读实际要测量的图,设定感兴趣矩形区域,并通过边缘检测计算边缘点坐标并标记出来,并根据计算出的内外参将二维坐标转为3维坐标,计算出偏差。
综合下来,感觉HALCON标定的过程还是比较清晰的,关键算子里面的程序还是需要理解一下。