AprilTag是一个视觉基准库,在AR,机器人,相机校准领域广泛使用。通过特定的标志(与二维码相似,但是降低了复杂度以满足实时性要求),可以快速地检测标志,并计算相对位置。
Apriltag提供了C编写的识别库,在github上找到AprilTag for Android项目,但是该项目把识别跟UI绑定在一起,不方便作为SDK引入到别的项目。
于是尝试把识别能力提取成独立的Lib,然后生成aar就能轻松放到其它项目中了。整理后的SDK Lib项目地址:https://gitee.com/petrochina-2/apriltag-detector-android-lib ,本文首发于 https://blog.csdn.net/keeng2008
Apriltag使用步骤:
- 使用该识别能力需要把 apriltag 生成 aar
在gradle中找到 apriltag模块找到 assembleDebug 就能会在output目录中生成好 apriltag-1.0-debug.aar。 - 把 apriltag-1.0-debug.aar 复制到需要使用的项目中。
- 识别前需要初始化:
val tagFamily = "tag16h5"val maxHammingError = 1 // 允许的错误的格子数val decimation = 8.0 // (抽帧)宽和高都会按比例抽取,数字越大则图越小。val sigma = 0.8 // 对分割图像应应用何种高斯模糊。参数是像素中的标准偏差。val nthreads = 4ApriltagNative.apriltag_init(tagFamily, maxHammingError, decimation, sigma, nthreads)
这里使用最简单的编译格式 tag16h5, 因为它的格子最少,更容易识别;但是它的标识数据也少,就31个不同的码,具体可以在这里下载 https://blog.csdn.net/zhuoqingjoking97298/article/details/122250204 。
如果要识别其它tag格式,修改参数即可。
- 识别Bitmap图片
它的接口是识别YUV格式数据的,所以需要先把Bitmap转化为YUV再调用 ApriltagNative.apriltag_detect_yuv。
val width = bitmap.widthval height = bitmap.heightval nv21 = BitmapUtil.bitmapToNv21(bitmap, width, height)val tagRes: List<ApriltagDetection> =ApriltagNative.apriltag_detect_yuv(nv21, width, height)
返回的是识别到的视觉码列表数据, 每个视觉码包含4个坐标点, 左上角为原点(0,0),依次顺序是
// 返回 [x0, y0, x1, y1, x2, y2, x3, y3]3 <--- 2↑·0 --> 1
对应的YUV转换代码
/*** Bitmap转化为ARGB数据,再转化为NV21数据** @param src 传入的Bitmap,格式为Bitmap.Config.ARGB_8888* @param width NV21图像的宽度* @param height NV21图像的高度* @return nv21数据*/public static byte[] bitmapToNv21(Bitmap src, int width, int height) {if (src != null && src.getWidth() >= width && src.getHeight() >= height) {int[] argb = new int[width * height];src.getPixels(argb, 0, width, 0, 0, width, height);return argbToNv21(argb, width, height);} else {return null;}}/*** ARGB数据转化为NV21数据** @param argb argb数据* @param width 宽度* @param height 高度* @return nv21数据*/private static byte[] argbToNv21(int[] argb, int width, int height) {int frameSize = width * height;int yIndex = 0;int uvIndex = frameSize;int index = 0;byte[] nv21 = new byte[width * height * 3 / 2];for (int j = 0; j < height; ++j) {for (int i = 0; i < width; ++i) {int R = (argb[index] & 0xFF0000) >> 16;int G = (argb[index] & 0x00FF00) >> 8;int B = argb[index] & 0x0000FF;int Y = (66 * R + 129 * G + 25 * B + 128 >> 8) + 16;int U = (-38 * R - 74 * G + 112 * B + 128 >> 8) + 128;int V = (112 * R - 94 * G - 18 * B + 128 >> 8) + 128;nv21[yIndex++] = (byte) (Y < 0 ? 0 : (Y > 255 ? 255 : Y));if (j % 2 == 0 && index % 2 == 0 && uvIndex < nv21.length - 2) {nv21[uvIndex++] = (byte) (V < 0 ? 0 : (V > 255 ? 255 : V));nv21[uvIndex++] = (byte) (U < 0 ? 0 : (U > 255 ? 255 : U));}++index;}}return nv21;}
关于性能提升:如果识别的视频帧可以获取到YUV格式的,最好直接使用YUV格式,就能节省一次转换的性能开销。
本文引入这个是为了在无人机中截取帧用于识别,无人机是支持获取到YUV数据的;同时Camera中也是能获取YUV的,直接使用YUV进行调用能节省这部分处理。