Android平台GB28181设备接入模块摄像头采集方向不对怎么办？

背景

我们在做Android平台GB28181设备接入模块的时候，有开发者提到这样的诉求：他们的智能头盔、执法记录仪等设备，采集到的图像，是旋转了90、180甚至270°的，设备本身无法针对图像做翻转或者旋转操作，问我们这种情况下需要如何处理？

实际上，这块，我们前几年在做RTMP推送和轻量级RTSP服务模块的时候，老早处理了这类问题。

鉴于Android平台video数据采集分camera和camera2（Android 5.0+）接口，我们单独说明：

camera接口示例

    //Github: https://github.com/daniulive/SmarterStreaming//author: 89030985@qq.com@Overridepublic void onPreviewFrame(byte[] data, Camera camera) {frameCount++;if (frameCount % 3000 == 0) {Log.i("OnPre", "gc+");System.gc();Log.i("OnPre", "gc-");}if (data == null) {Parameters params = camera.getParameters();Size size = params.getPreviewSize();int bufferSize = (((size.width | 0x1f) + 1) * size.height * ImageFormat.getBitsPerPixel(params.getPreviewFormat())) / 8;camera.addCallbackBuffer(new byte[bufferSize]);} else {if (isRTSPPublisherRunning || isPushingRtmp || isRecording || isGB28181StreamRunning) {if (1 == video_opt_) {/* byte[] i420_data = new byte[videoWidth*videoHeight*3/2];libPublisher.SmartPublisherNV21ToI420Rotate(publisherHandle, data, videoWidth, videoWidth,i420_data, videoHeight, videoHeight/2, videoHeight/2,videoWidth, videoHeight, 90);libPublisher.SmartPublisherOnCaptureVideoI420DataV2(publisherHandle, i420_data, videoHeight, videoWidth,videoHeight, videoHeight/2, videoHeight/2);*/libPublisher.SmartPublisherOnCaptureVideoData(publisherHandle, data, data.length, currentCameraType, currentOrigentation);} else if (3 == video_opt_) {int w = videoWidth, h = videoHeight;int y_stride = videoWidth, uv_stride = videoWidth;int y_offset = 0, uv_offset = videoWidth * videoHeight;int is_vertical_flip = 0, is_horizontal_flip = 0;int rotation_degree = 0;// 镜像只用在前置摄像头场景下if (is_mirror && FRONT == currentCameraType) {// 竖屏, (垂直翻转->顺时旋转270度)等价于(顺时旋转旋转270度->水平翻转)if (PORTRAIT == currentOrigentation)is_vertical_flip = 1;elseis_horizontal_flip = 1;}if (PORTRAIT == currentOrigentation) {if (BACK == currentCameraType)rotation_degree = 90;elserotation_degree = 270;} else if (LANDSCAPE_LEFT_HOME_KEY == currentOrigentation) {rotation_degree = 180;}if (640 == w && 480 == h && PORTRAIT == currentOrigentation) {// 480 * 640 竖屏情况下裁剪到 368 * 640, 均匀裁剪掉视频的上下两部分h = 368;y_offset = 56 * y_stride;uv_offset += (56 >> 1) * uv_stride;}int scale_w = 0, scale_h = 0, scale_filter_mode = 0;// 缩放测试++/*if (w >= 1280 && h >= 720) {scale_w = align((int)(w * 0.8 + 0.5), 2);scale_h = align((int)(h * 0.8 + 0.5), 2);} else {scale_w = align((int)(w * 1.5 + 0.5), 2);scale_h = align((int)(h * 1.5 + 0.5), 2);}if(scale_w >0 && scale_h >0) {scale_filter_mode = 3;Log.i(TAG, "onPreviewFrame w:" + w + ", h:" + h + " s_w:" + scale_w + ", s_h:" + scale_h);}*/// 缩放测试---libPublisher.PostLayerImageNV21ByteArray(publisherHandle, 0, 0, 0,data, y_offset, y_stride, data, uv_offset, uv_stride, w, h,is_vertical_flip, is_horizontal_flip, scale_w, scale_h, scale_filter_mode, rotation_degree);// i420接口测试++/*byte[] i420_data = new byte[videoWidth*videoHeight*3/2];int u_stride = videoWidth >> 1;int v_stride = u_stride;libPublisher.SmartPublisherNV21ToI420Rotate(publisherHandle, data, y_stride, uv_stride, i420_data, y_stride, u_stride, v_stride,videoWidth, videoHeight, 0);y_offset = 0;int u_offset = y_offset + videoWidth * videoHeight;int v_offset = u_offset + videoWidth*videoHeight/4;libPublisher.PostLayerImageI420ByteArray(publisherHandle, 0, 0, 0,i420_data, y_offset, y_stride, i420_data, u_offset, u_stride, i420_data, v_offset, v_stride,w, h, is_vertical_flip, is_horizontal_flip, scale_w, scale_h, scale_filter_mode, rotation_degree);*/// i420接口测试--}}camera.addCallbackBuffer(data);}}

对应的接口设计如下：

	/*** 投递层NV21图像** @param index: 层索引, 必须大于等于0** @param left: 层叠加的左上角坐标, 对于第0层的话传0** @param top: 层叠加的左上角坐标, 对于第0层的话传0** @param y_plane: y平面图像数据** @param y_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0** @param y_row_stride: stride information** @param uv_plane: uv平面图像数据** @param uv_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0** @param uv_row_stride: stride information** @param width: width, 必须大于1, 且必须是偶数** @param height: height, 必须大于1, 且必须是偶数** @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转** @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转** @param  scale_width: 缩放宽，必须是偶数, 0或负数不缩放** @param  scale_height: 缩放高, 必须是偶数, 0或负数不缩放** @param  scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢** @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序** @return {0} if successful*/public native int PostLayerImageNV21ByteArray(long handle, int index, int left, int top,byte[] y_plane, int y_offset, int y_row_stride,byte[] uv_plane, int uv_offset, int uv_row_stride,int width, int height, int is_vertical_flip,  int is_horizontal_flip,int scale_width,  int scale_height, int scale_filter_mode,int rotation_degree);

对应Camera2的接口示例

    @Overridepublic void onCameraImageData(Image image) {Rect crop_rect = image.getCropRect();if (isPushingRtmp || isRTSPPublisherRunning || isGB28181StreamRunning || isRecording) {if (libPublisher != null) {Image.Plane[] planes = image.getPlanes();int w = image.getWidth(), h = image.getHeight();int y_offset = 0, u_offset = 0, v_offset = 0;if (!crop_rect.isEmpty()) {// 裁剪测试++, 视频中心裁剪320*180一块区域/*crop_rect.left = image.getWidth()/2 - 320/2;crop_rect.top  = image.getHeight()/2 - 180/2;crop_rect.right = crop_rect.left + 320;crop_rect.bottom = crop_rect.top + 180;*/// 裁剪测试--w = crop_rect.width();h = crop_rect.height();y_offset += crop_rect.top * planes[0].getRowStride() + crop_rect.left * planes[0].getPixelStride();u_offset += (crop_rect.top / 2) * planes[1].getRowStride() + (crop_rect.left / 2) * planes[1].getPixelStride();v_offset += (crop_rect.top / 2) * planes[2].getRowStride() + (crop_rect.left / 2) * planes[2].getPixelStride();;// Log.i(TAG, "crop w:" + w + " h:" + h + " y_offset:"+ y_offset + " u_offset:" + u_offset + " v_offset:" + v_offset);}int scale_w = 0, scale_h = 0, scale_filter_mode = 0;scale_filter_mode = 3;int rotation_degree = cameraImageRotationDegree_;if (rotation_degree < 0) {Log.i(TAG, "onCameraImageData rotation_degree < 0, may need to set orientation_ to 0, 90, 180 or 270");return;}libPublisher.PostLayerImageYUV420888ByteBuffer(publisherHandle, 0, 0, 0,planes[0].getBuffer(), y_offset, planes[0].getRowStride(),planes[1].getBuffer(), u_offset, planes[1].getRowStride(),planes[2].getBuffer(), v_offset, planes[2].getRowStride(), planes[1].getPixelStride(),w, h, 0, 0,scale_w, scale_h, scale_filter_mode, rotation_degree);}}}

对应的接口设计如下：

	/*** 投递层YUV420888图像, 专门为android.media.Image的android.graphics.ImageFormat.YUV_420_888格式提供的接口** @param index: 层索引, 必须大于等于0** @param left: 层叠加的左上角坐标, 对于第0层的话传0** @param top: 层叠加的左上角坐标, 对于第0层的话传0** @param y_plane: 对应android.media.Image.Plane[0].getBuffer()** @param y_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0** @param y_row_stride: 对应android.media.Image.Plane[0].getRowStride()** @param u_plane: android.media.Image.Plane[1].getBuffer()** @param u_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0** @param u_row_stride: android.media.Image.Plane[1].getRowStride()** @param v_plane: 对应android.media.Image.Plane[2].getBuffer()** @param v_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0** @param v_row_stride: 对应android.media.Image.Plane[2].getRowStride()** @param uv_pixel_stride: 对应android.media.Image.Plane[1].getPixelStride()** @param width: width, 必须大于1, 且必须是偶数** @param height: height, 必须大于1, 且必须是偶数** @param  is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转** @param  is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转** @param  scale_width: 缩放宽，必须是偶数, 0或负数不缩放** @param  scale_height: 缩放高, 必须是偶数, 0或负数不缩放** @param  scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢** @param  rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序** @return {0} if successful*/public native int PostLayerImageYUV420888ByteBuffer(long handle, int index, int left, int top,ByteBuffer y_plane, int y_offset, int y_row_stride,ByteBuffer u_plane, int u_offset, int u_row_stride,ByteBuffer v_plane, int v_offset, int v_row_stride, int uv_pixel_stride,int width, int height, int is_vertical_flip,  int is_horizontal_flip,int scale_width,  int scale_height, int scale_filter_mode,int rotation_degree);

总结

无需赘述，看过以上两个接口后，是不是觉得，即使数据需要更客制化的处理，比如缩放、水平翻转、垂直翻转、旋转等，也都可以实现？

实际上，数据源这块，不止Android自带的采集设备，其他编码前数据类型（如YV12/NV21/NV12/I420/RGB24/RGBA32/RGB565），均可实现更精细的处理。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/552927.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Android平台GB28181设备接入模块分辨率发生变化怎么办？

Android平台GB28181设备接入模块分辨率发生变化怎么办？

技术背景 我们在做Android平台gb28181设备接入模块的时候&#xff0c;遇到这样的情况&#xff0c;比如横竖屏分辨率不锁定&#xff0c;采集摄像头的时候&#xff0c;可以实现&#xff0c;横屏状态采集横屏&#xff0c;竖屏状态采集竖屏&#xff0c;简单来说&#xff0c;横屏状…
阅读更多...
RTSP、RTMP播放器拉到的视频图像角度不对怎么办？

RTSP、RTMP播放器拉到的视频图像角度不对怎么办？

我们在做RTSP、RTMP播放器的时候&#xff0c;遇到这样的诉求&#xff1a;特别是RTSP&#xff0c;有些摄像头安装可能倒置或者旋转了90亦或270&#xff0c;拉取到图像&#xff0c;势必需要对视频图像做一定的处理&#xff0c;确保显示正常。 为此&#xff0c;我们提供了以下接口…
阅读更多...
Android平台GB28181设备接入端如何调节实时音量？

Android平台GB28181设备接入端如何调节实时音量？

我们在对接Android平台GB28181设备接入端的时候&#xff0c;有开发者提出这样的疑惑&#xff0c;如何调整设备接入端的实时音量&#xff1f; 实际上&#xff0c;这块我们前几年在做RTMP直播推送模块的时候&#xff0c;已经发布了相关的接口&#xff0c;这里再回顾下&#xff1…
阅读更多...
【技术分享】如何实现功能完备性能优异的RTMP、RTSP播放器？

【技术分享】如何实现功能完备性能优异的RTMP、RTSP播放器？

技术背景 这几年&#xff0c;我们对接了太多有RTSP或RTMP直播播放器诉求的开发者&#xff0c;他们当中除了寻求完整的解决方案的&#xff0c;还有些是技术探讨&#xff0c;希望能借鉴我们播放端的开发思路或功能特性&#xff0c;完善自己的产品。 忙里偷闲&#xff0c;今天我…
阅读更多...
我正在参加2022年度博客之星评选，大家帮我点个五星好评

我正在参加2022年度博客之星评选，大家帮我点个五星好评

大家好&#xff0c;我是音视频牛哥&#xff0c;致力于跨平台的实时RTMP推流、转发、RTMP/RTSP直播播放、GB28181设备接入。 有幸参加2022年度博客之星评选&#xff0c;欢迎大家帮点五星好评。如果我的博客能给开发者带来哪怕一丝启发&#xff0c;对博主来说&#xff0c;也甚感…
阅读更多...
rtmp/rtsp/hls公网真正可用的测试地址

rtmp/rtsp/hls公网真正可用的测试地址

相信大家在调试播放器的时候&#xff0c;都有这样的困惑&#xff0c;很难找到合适的公有测试源&#xff0c;以下是大牛直播SDK&#xff08;GitHub地址&#xff09;整理的真正可用的直播地址源。 其中&#xff0c;rtmp和rtsp的url&#xff0c;用我们播放器验证通过。 1. rtmp:…
阅读更多...
公网可用的RTMP、RTSP测试地址（更新于2021年3月）

公网可用的RTMP、RTSP测试地址（更新于2021年3月）

好多博客提到的公网可测试的RTSP和RTMP URL大多都不用了&#xff0c;以下是大牛直播SDK(Github)于2021年3月亲测可用的几个URL&#xff0c;有其他可用的URL&#xff0c;也欢迎大家在评论区回复。 RTMP流地址 湖南卫视&#xff1a;rtmp://58.200.131.2:1935/livetv/hunantv (7…
阅读更多...
Unity环境下RTMP推流+RTMP播放低延迟解决方案

Unity环境下RTMP推流+RTMP播放低延迟解决方案

在本文之前&#xff0c;我们发布了Unity环境下的RTMP推流&#xff08;Windows平台Android平台&#xff09;和RTMP|RTSP拉流&#xff08;Windows平台Android平台iOS平台&#xff09;低延迟的解决方案&#xff0c;今天做个整体汇总&#xff0c;权当抛砖引玉。 1. Unity环境下RTM…
阅读更多...
麒麟操作系统|Linux下低延时RTMP|RTSP直播播放实现

麒麟操作系统|Linux下低延时RTMP|RTSP直播播放实现

背景 国产操作系统多为以Linux为基础二次开发的操作系统。2014年4月8日起&#xff0c;美国微软公司停止了对Windows XP SP3操作系统提供服务支持&#xff0c;这引起了社会和广大用户的广泛关注和对信息安全的担忧。而2020年对Windows7服务支持的终止再一次推动了国产系统的发展…
阅读更多...
基于RTMP实现Linux|麒麟操作系统下屏幕|系统声音采集推送

基于RTMP实现Linux|麒麟操作系统下屏幕|系统声音采集推送

背景 Windows操作系统自问世以来&#xff0c;以其简单易用的图形化界面操作受到大众追捧&#xff0c;为计算机的普及、科技的发展做出了不可磨灭的功绩&#xff0c;也慢慢的成为人们最依赖的操作系统。在中国&#xff0c;90&#xff05;以上的办公环境都是Windows&#xff0c;…
阅读更多...
如何快速实现Android平台前端设备接入能力

如何快速实现Android平台前端设备接入能力

技术背景 SIP(会话初始化协议)是在 IP网络上进行多媒体通信的应用层控制协议&#xff0c;以几种RFC的形式提供&#xff0c;其中最重要的是包含核心协议规范的RFC3261。该协议用于创建&#xff0c;修改和终止与一个或多个参与者的会话。通过会话&#xff0c;我们了解了一组进行…
阅读更多...
长安渝北工厂机器人_长安工厂探秘！解密CS75 PLUS究竟是怎样造出来的

长安渝北工厂机器人_长安工厂探秘！解密CS75 PLUS究竟是怎样造出来的

长安CS75 PLUS自打上市以来&#xff0c;销量真的是有目共睹&#xff0c;仅仅一个半月就有3万多的订单&#xff0c;这辆车真的很火很爆款。但我不仅要提出一些疑问了&#xff0c;CS75 PLUS卖这么好&#xff0c;制造工艺怎么样呢&#xff1f;它又是怎么造出来的呢&#xff1f;带着…
阅读更多...
threadlocal存连接对象的目的_终于懂了ThreadLocal，不再害怕面试官问了

threadlocal存连接对象的目的_终于懂了ThreadLocal，不再害怕面试官问了

ThreadLocal解析synchronized和ThreadLocal的区别&#xff1a;synchronized:以时间换空间&#xff0c;只提供一份变量&#xff0c;让不同的线程排队访问&#xff0c;失去了并发性&#xff0c;降低了程序效率&#xff0c;着重对各线程之间访问资源的同步性ThreadLocal:以空间换时…
阅读更多...
主板后置音频接口图解_颜值出众、用料靠谱——华擎（ASRock）Z490 Extreme4极限玩家主板 简析...

主板后置音频接口图解_颜值出众、用料靠谱——华擎（ASRock）Z490 Extreme4极限玩家主板 简析...

一、前言你们能想象嘛&#xff0c;那种主板已经到了&#xff0c;处理器却没抢到的感觉。刚开始看到Plus会员提前抢的时候&#xff0c;我心里面还有一些放心&#xff0c;但当时间刚过秒变无货的时候&#xff0c;一切又已回到当初&#xff0c;难受&#xff01;居然没有首发抢到10…
阅读更多...
中查出所有姓张的学生为啥查不出来_只有笔试成绩没有面试成绩是什么原因 教师资格面试成绩怎么查...

中查出所有姓张的学生为啥查不出来_只有笔试成绩没有面试成绩是什么原因 教师资格面试成绩怎么查...

[闽南网]对于很多同学来说&#xff0c;今晚是个不眠夜。就在几个小时前&#xff0c;教师资格证面试成绩查询入口开通了&#xff0c;相比之前发布的消息&#xff0c;成绩公布提前了很多。参加了这次教师资格证考试的同学&#xff0c;一得到消息就忙着查成绩&#xff0c;毕竟面试…
阅读更多...
c++用模板实现稀疏多项式_用线性表实现一元多项式及相加运算

c++用模板实现稀疏多项式_用线性表实现一元多项式及相加运算

“ 本文主要讨论线性表在多项式计算中的应用&#xff0c;讨论内容涉及到一元n次多项式在计算机中的表示&#xff0c;及多项式相加运算。”01在数学上&#xff0c;一个一元n次多项式可以按照升幂写成Pn(x) p0 p1x p2x2 …… pnxn它由n1个系数唯一确定。因此&#xff0c;一个…
阅读更多...
cdh mysql sqoop 驱动_大数据技术之Sqoop学习——原理、安装、使用案例、常用命令...

cdh mysql sqoop 驱动_大数据技术之Sqoop学习——原理、安装、使用案例、常用命令...

第1章 Sqoop 简介Sqoop 是一款开源的工具&#xff0c;主要用于在 Hadoop(Hive) 与传统的数据库 (mysql,postgresql,...) 间进行数据的高校传递&#xff0c;可以将一个关系型数据库(例如&#xff1a;MySQL,Oracle,Postgres等)中的数据导入到 Hadoop 的 HDFS 中&#xff0c;也可以…
阅读更多...
邮票的孔怎么做出来的_金银花茶是怎么做出来的呢

邮票的孔怎么做出来的_金银花茶是怎么做出来的呢

花期爱亦长&#xff0c;变换自然妆。蝶恋金银露&#xff0c;风柔满院香。说起金银花&#xff0c;可能大家都不陌生&#xff0c;它无论是作为观赏性盆景还是作为金银花养生茶都是非常适宜的。金银花被称为夏天第一花&#xff0c;夏天喝不仅能清热解暑&#xff0c;还能去除许多小…
阅读更多...
github上成员贡献量_真祖传代码！你的GitHub代码已打包运往北极，传给1000年后人类...

github上成员贡献量_真祖传代码！你的GitHub代码已打包运往北极，传给1000年后人类...

公众号关注 “ML_NLP”设为 “星标”&#xff0c;重磅干货&#xff0c;第一时间送达&#xff01;晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI程序员们&#xff0c;激动的消息来了&#xff01;GitHub刚刚公布了一组照片&#xff0c;你的代码上周已经被打包运往北极保存。只要…
阅读更多...
握手失败_主人用吃的训练小柴犬握手，老柯基看到后的表现出了吃货的本能！...

握手失败_主人用吃的训练小柴犬握手，老柯基看到后的表现出了吃货的本能！...

贪吃和贪玩是狗狗的天性&#xff0c;也是作为宠物狗它应该做的事情&#xff0c;没有哪一条狗是不贪吃的&#xff0c;如果有&#xff0c;那么肯定是条假狗&#xff01;养狗的人肯定都知道&#xff0c;只要在家你发出一丁点儿口袋的声音&#xff0c;你家狗子当时不管在干什么&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023