1、 Halcon相机标定和图像矫正
对于相机采集的图片,会由于相机本身和透镜的影响产生形变,通常需要对相机进行标定,获取相机的内参或内外参,然后矫正其畸变。相机畸变主要分为径向畸变和切向畸变,其中径向畸变是由透镜造成的,切向畸变是由成像仪与相机透镜的不平行造成的。
针孔模型是理想透镜的成像模型,但是实际中相机的透镜不可能是理想的模型,透镜形状的非理想特征造成像点会沿径向发生畸变。一个像点沿径向内缩叫负畸变,或桶形畸变沿径向外延叫正畸变,或枕形畸变。这种崎变相对于光轴严格对称的,也是畸变的主要分量。
相机标定模型公式,
其中,(X,Y,Z)为世界坐标系中的实际点坐标,(u,v)为图像坐标系统的像素坐标,A为相机内参,f像素单元的焦距,c图像像素中心点。
1.1 halcon相机标定
1.1.1标定助手及相机参数设置
打开halcon标定助手,加载标定板文件,选择相机类型,设置相机参数,然后加载相机采集的标定图像,如下图所示,图像中全部标定点能够检测出,即采集的相机已经设置好,然后生成代码。
图4 halcon标定助手
标定板生成:
标定板文件的生成分为.descr和.cpd的文件,不同格式文件需使用不同函数进行生成。如,
*生成的是27*31,标定点直径0.0075mm的.cpd标定板(精度高标定板)
create_caltab (27, 31, 0.0075, [13, 6, 6, 20, 20], [15, 6, 24, 6, 24], 'light_on_dark', 'D:/calplate.cpd', 'caltab.ps')
*生成的是7*7,标定点之间距离0.1m,直径0.5的.descr标定板
gen_caltab( 7, 7, 0.1, 0.5, 'D:/caltab.descr', 'caltab.ps')
加载标定图像:
图5加载标定图像
如图5所示,加载标定图像后,状态为确定时,表示标定图像可用于进行标定,然后通过标定助手直接生成标定代码即可。
如图6所示,加载标定图像后,状态为检测出品质问题,此原因大多是照片质量问题,例如光照、对焦、曝光等,需按照halcon标定注意事项的内容拍摄照片。一般照片检测出品质问题也可以进行相机标定。
加载标定板图像会出现“标志点提取失败”,出现此原因的需要根据标定界面下的状态栏查找halcon错误信息,例”inconsistent....(image mirrored? )”,则需要查找相应原因(实际标定板(透明)与标定板文件图片的可能有镜像区别,将实际标定板翻转即可,多试)。此不可进行相机标定。
图6 相机标定问题
相机初始参数设置:
例如,
*(f, k, cell width, cell height, cx, cy, width, height)k为畸变系数
StartParameters := [0.029,0,4.3e-006,4.3e-006,2592,1728,5184,3456]
*(f, k1, k2, k3, p1, p2, cell width, cell height, cx, cy, width, height)k1,k2,k3径向畸变, p1,p2为切向畸变
StartParameters:=[0.029,0,0,0,0,0,4.3e-006,4.3e-006,2592,1728,5184,3456]
其中,相机初始参数根据相机模型的不同而不同,若相机模型为area(division),则相机参数为7个,若area(多项式),则相机参数12个。
1.1.2 标定程序
利用标定助手生成代码,然后执行结果,分析其正确性,若需要将其生成为C/C++程序,可通过halcon界面的‘文件’项‘导出’成.cpp文件。
图7 halcon生成C程序
Halcon标定程序
*Calibration 01: Code generated by Calibration 01
*读入某个文件夹下的所有标定图像
list_files ('D:/halconvc/img', ['files','follow_links'], ImageFiles)
tuple_regexp_select (ImageFiles, ['\\.(tif|tiff|gif|bmp|jpg|jpeg|jp2|png|pcx|pgm
|ppm|pbm|xwd|ima|hobj)$','ignore_case'], ImageFiles)
*初始标定参数设置及定义标定板文件
TmpCtrl_ReferenceIndex := 0
TmpCtrl_PlateDescription := 'D:/calib/calplate.cpd'
StartParameters := [0.029,0,0,0,0,0,4.3e-006,4.3e-006,2592,1728,5184,3456]
TmpCtrl_FindCalObjParNames := 'sigma'
TmpCtrl_FindCalObjParValues := 1
* Calibration 01: Create calibration model for managing calibration data
create_calib_data ('calibration_object', 1, 1, CalibHandle)
set_calib_data_cam_param(CalibHandle,0,'area_scan_polynomial', StartParameters)
set_calib_data_calib_object (CalibHandle, 0, TmpCtrl_PlateDescription)
* Calibration 01: Collect mark positions and estimated poses for all plates
gen_empty_obj (Images)
for Index := 0 to |ImageFiles|-1 by 1
read_image (Image, ImageFiles[Index])
concat_obj(Images,Image,Images)
*提取图像Images中标定板上的圆形标志来确定标定板的有效区域
find_calib_object (Image, CalibHandle, 0, 0, Index, TmpCtrl_FindCalObjParNames, TmpCtrl_FindCalObjParValues)
endfor
* Calibration 01: Perform the actual calibration
calibrate_cameras (CalibHandle, TmpCtrl_Errors)
get_calib_data (CalibHandle, 'camera', 0, 'params', CameraParam)
*将内外参保存到磁盘
write_cam_par(CameraParam,'D:/halconvc/campar.dat')
get_calib_data (CalibHandle, 'calib_obj_pose', [0, TmpCtrl_ReferenceIndex], 'pose', CameraPose)
set_origin_pose (CameraPose, 0, 0, 0.01, CameraPose)
write_pose(CameraPose,'D:/halconvc/campos.dat')
stop()
*另外读取内外参文件的函数
read_cam_par ('D:/halconvc/campar.dat', CameraParam)
read_pose ('D:/halconvc/campos.dat', CameraPose)
1.2图像矫正
Halcon中图像矫正,接上述程序,以下介绍两种方法。
①使用内外参,即相机内参和位姿
* goal: rectify images
* first determine parameters such that the entire image content is visible
* -> transform image boundary into world plane, determine smallest
* rectangle around it
*当设备固定后,位资是唯一的
select_obj(images,image,1)
get_image_pointer1(Image, Pointer, Type, Width, Height)
gen_rectangle1 (ImageRect, 0, 0, Height-1, Width-1)
gen_contour_region_xld (ImageRect, ImageBorder, 'border')
contour_to_world_plane_xld(ImageBorder, ImageBorderWCS, CameraParam,
CameraPose, 1)
smallest_rectangle1_xld (ImageBorderWCS, MinY, MinX, MaxY, MaxX)
set_origin_pose(CameraPose, MinX, MinY, 0.01, PoseForEntireImage)
image_points_to_world_plane(CameraParam,PoseForEntireImage,[Height/2,
Height/2, Height/2+1], [Width/2, Width/2+1, Width/2], 1, WorldPixelX,
WorldPixelY)
distance_pp(WorldPixelY[0], WorldPixelX[0], WorldPixelY[1], WorldPixelX[1],
WorldLength1)
distance_pp(WorldPixelY[0], WorldPixelX[0], WorldPixelY[2], WorldPixelX[2],
WorldLength2)
ScaleForSimilarPixelSize := (WorldLength1+WorldLength2)/2
* -> determine output image size such that entire input image fits into it
ExtentX := MaxX-MinX
ExtentY := MaxY-MinY
WidthRectifiedImage := ExtentX/ScaleForSimilarPixelSize
HeightRectifiedImage := ExtentY/ScaleForSimilarPixelSize
* create mapping with the determined parachuangjia
*创建一个投射图,其描述图像平面与坐标轴系统中平面Z为零之间的映射
gen_image_to_world_plane_map(Map, CameraParam, PoseForEntireImage, Width, Height, WidthRectifiedImage, HeightRectifiedImage, \
ScaleForSimilarPixelSize, 'bilinear')
clear_calib_data (CalibHandle)
* Map the images
for I := 1 to |ImageFiles| by 1
select_obj (Images, Img, I)
map_image (Img, Map, ImageMapped)
write_image (ImageMapped, 'jpg', 0, 'D:/halconvc/picture/'+I)
Endfor
②仅使用内参
read_image (Image,'D:/halconvc/img/IMG_00.JPG')
read_cam_par('D:/halconvc/campar.dat',CameraParam)
CarParamVirtualFixed:=CameraParam
*对于area(diversion)相机模型(7个参数)
change_radial_distortion_cam_par('adaptive',CameraParam,0,CarParamVirtualFixed)
*对于area(多项式)相机模型(12个参数)
change_radial_distortion_cam_par('adaptive',CameraParam,[0,0,0,0,0],CarParamVirtualFixed)
*上述相机模型选一种后进行下面的map_image
*创建一个投射图,其描述图像与其相应正在改变的径向畸变,而对于12个参数的畸变包括径向和切向畸变
gen_radial_distortion_map(Map,CameraParam,CarParamVirtualFixed,'bilinear')
map_image(Image,Map,ImageMapped)
总结:
可以先使用标定助手获取标定参数
在标定助手的安装页面,注意标定板的描述文件,投影模型参数的设置
在标定页面先选择一幅图设为参考位姿,之后点击标定
标定完之后获得相机内参,图片矫正程序方法
* Calibration 01: Code generated by Calibration 01
CameraParameters := ['area_scan_division',0.0186441,-520.011,8.35005e-006,8.3e-006,246.657,254.674,640,480]
CameraPose := [0.00994196,-0.00291689,0.290462,358.424,32.411,91.0749,0]
stop ()
*获取径向畸变矫正的外参
change_radial_distortion_cam_par ('adaptive', CameraParameters, 0, CamParamOut)
read_image (CalibDistorted03, 'C:/Users/Public/Documents/MVTec/HALCON-13.0/examples/images/scratch/scratch_perspective.png')
*第一种方法使用map_image()进行畸变矫正
gen_radial_distortion_map (Map, CameraParameters, CamParamOut, 'bilinear')
map_image (CalibDistorted03, Map, ImageMapped)
*第二种方法使用change_radial_distortion_image进行径向畸变矫正
change_radial_distortion_image (CalibDistorted03,CalibDistorted03 , ImageRectified, CameraParameters, CamParamOut)
此种只进行畸变矫正,并不进行图像的由于高度差造成的3D方向的位姿矫正。若要进行3D方向的矫正可以参考范例
image_to_world_plane.hdev
畸变矫正范例为:
change_radial_distortion_image.hdev
change_radial_distortion_points.hdev