Android平台RTMP|RTSP播放器如何回调YUV或RGB数据？

技术选型

我们知道，Android平台一般RTMP|RTSP播放器通常不直接提供回调YUV或RGB数据的功能。如果播放端有视觉分析或类似的需求，需要播放端，能支持YUV或ARG的数据回调，一般来说，可参考的方法如下：

1. 使用FFmpeg和JNI

FFmpeg是一个强大的多媒体处理库，它支持解码视频并提取帧数据。你可以通过JNI在Android的Java层调用C/C++层的FFmpeg库来解码RTSP流，并获取YUV或RGB数据。

步骤：

  • 将FFmpeg库集成到你的Android项目中。
  • 使用FFmpeg的API来设置RTSP流的解码器。
  • 解码视频帧，并将YUV或RGB数据从解码器传输到Java层。

2. 使用OpenGL ES

如果你使用的是OpenGL ES进行视频渲染，你可以在着色器（Shader）中处理视频帧的YUV数据，并将其转换为RGB格式（如果需要）。然而，这种方法并不会直接回调YUV或RGB数据到Java层，而是允许你在GPU级别上操作这些数据。

3. 使用MediaCodec和ImageReader

从Android 5.0（API 级别 21）开始，MediaCodec支持与ImageReader一起使用，以捕获解码后的视频帧作为Image对象。这些Image对象可以直接访问YUV或RGB数据（取决于配置）。

步骤：

  • 配置MediaCodec以使用ImageReader作为输出。
  • 解码RTSP流并捕获解码后的帧。
  • 从ImageReader的Image对象中读取YUV或RGB数据。

4. 使用第三方RTMP|RTSP播放器直接回调数据

以大牛直播SDK的RTMP|RTSP播放模块为例，我们是可以直接设置YUV或RGB数据回调，并提供相关调用示例：

btnStartStopPlayback.setOnClickListener(new Button.OnClickListener() {// @Overridepublic void onClick(View v) {if (isPlaying) {Log.i(TAG, "Stop playback stream++");int iRet = libPlayer.SmartPlayerStopPlay(playerHandle);if (iRet != 0) {Log.e(TAG, "Call SmartPlayerStopPlay failed..");return;}btnHardwareDecoder.setEnabled(true);btnLowLatency.setEnabled(true);if (!isRecording) {btnPopInputUrl.setEnabled(true);btnPopInputKey.setEnabled(true);btnSetPlayBuffer.setEnabled(true);btnFastStartup.setEnabled(true);btnRecoderMgr.setEnabled(true);libPlayer.SmartPlayerClose(playerHandle);playerHandle = 0;}isPlaying = false;btnStartStopPlayback.setText("开始播放 ");if (is_enable_hardware_render_mode && sSurfaceView != null) {sSurfaceView.setVisibility(View.GONE);sSurfaceView.setVisibility(View.VISIBLE);}Log.i(TAG, "Stop playback stream--");} else {Log.i(TAG, "Start playback stream++");if (!isRecording) {InitAndSetConfig();}// 如果第二个参数设置为null，则播放纯音频libPlayer.SmartPlayerSetSurface(playerHandle, sSurfaceView);libPlayer.SmartPlayerSetRenderScaleMode(playerHandle, 1);//int render_format = 1;//libPlayer.SmartPlayerSetSurfaceRenderFormat(playerHandle, render_format);//int is_enable_anti_alias = 1;//libPlayer.SmartPlayerSetSurfaceAntiAlias(playerHandle, is_enable_anti_alias);if (isHardwareDecoder && is_enable_hardware_render_mode) {libPlayer.SmartPlayerSetHWRenderMode(playerHandle, 1);}// External Render test//libPlayer.SmartPlayerSetExternalRender(playerHandle, new RGBAExternalRender(imageSavePath));libPlayer.SmartPlayerSetExternalRender(playerHandle, new I420ExternalRender(imageSavePath));libPlayer.SmartPlayerSetUserDataCallback(playerHandle, new UserDataCallback());//libPlayer.SmartPlayerSetSEIDataCallback(playerHandle, new SEIDataCallback());libPlayer.SmartPlayerSetAudioOutputType(playerHandle, 1);if (isMute) {libPlayer.SmartPlayerSetMute(playerHandle, isMute ? 1: 0);}if (isHardwareDecoder) {int isSupportHevcHwDecoder = libPlayer.SetSmartPlayerVideoHevcHWDecoder(playerHandle, 1);int isSupportH264HwDecoder = libPlayer.SetSmartPlayerVideoHWDecoder(playerHandle, 1);Log.i(TAG, "isSupportH264HwDecoder: " + isSupportH264HwDecoder + ", isSupportHevcHwDecoder: " + isSupportHevcHwDecoder);}libPlayer.SmartPlayerSetLowLatencyMode(playerHandle, isLowLatency ? 1: 0);libPlayer.SmartPlayerSetFlipVertical(playerHandle, is_flip_vertical ? 1 : 0);libPlayer.SmartPlayerSetFlipHorizontal(playerHandle, is_flip_horizontal ? 1 : 0);libPlayer.SmartPlayerSetRotation(playerHandle, rotate_degrees);libPlayer.SmartPlayerSetAudioVolume(playerHandle, curAudioVolume);int iPlaybackRet = libPlayer.SmartPlayerStartPlay(playerHandle);if (iPlaybackRet != 0) {Log.e(TAG, "Call SmartPlayerStartPlay failed..");return;}btnStartStopPlayback.setText("停止播放 ");btnPopInputUrl.setEnabled(false);btnPopInputKey.setEnabled(false);btnHardwareDecoder.setEnabled(false);btnSetPlayBuffer.setEnabled(false);btnLowLatency.setEnabled(false);btnFastStartup.setEnabled(false);btnRecoderMgr.setEnabled(false);isPlaying = true;Log.i(TAG, "Start playback stream--");}}
});

对应的设置如下：

// External Render test
libPlayer.SmartPlayerSetExternalRender(playerHandle, new RGBAExternalRender(imageSavePath));
libPlayer.SmartPlayerSetExternalRender(playerHandle, new I420ExternalRender(imageSavePath));

如果是RGBA数据，处理如下：

/** RGBA数据回调处理* Author: daniusdk.com* WeChat: xinsheng120*/   
private static class RGBAExternalRender implements NTExternalRender {// public static final int NT_FRAME_FORMAT_RGBA = 1;// public static final int NT_FRAME_FORMAT_ABGR = 2;// public static final int NT_FRAME_FORMAT_I420 = 3;private final String image_path_;private long last_save_image_time_ms_;private int width_;private int height_;private int row_bytes_;private ByteBuffer rgba_buffer_;public RGBAExternalRender(String image_path) {this.image_path_ = image_path;}@Overridepublic int getNTFrameFormat() {Log.i(TAG, "RGBAExternalRender::getNTFrameFormat return " + NT_FRAME_FORMAT_RGBA);return NT_FRAME_FORMAT_RGBA;}@Overridepublic void onNTFrameSizeChanged(int width, int height) {width_ = width;height_ = height;row_bytes_ = width_ * 4;rgba_buffer_ = ByteBuffer.allocateDirect(row_bytes_ * height_);Log.i(TAG, "RGBAExternalRender::onNTFrameSizeChanged width_:" + width_ + " height_:" + height_);}@Overridepublic ByteBuffer getNTPlaneByteBuffer(int index) {if (index == 0)return rgba_buffer_;Log.e(TAG, "RGBAExternalRender::getNTPlaneByteBuffer index error:" + index);return null;}@Overridepublic int getNTPlanePerRowBytes(int index) {if (index == 0)return row_bytes_;Log.e(TAG, "RGBAExternalRender::getNTPlanePerRowBytes index error:" + index);return 0;}public void onNTRenderFrame(int width, int height, long timestamp) {if (rgba_buffer_ == null)return;rgba_buffer_.rewind();// copy buffer// test// byte[] test_buffer = new byte[16];// rgba_buffer_.get(test_buffer);Log.i(TAG, "RGBAExternalRender:onNTRenderFrame " + width + "*" + height + ", t:" + timestamp);// Log.i(TAG, "RGBAExternalRender:onNTRenderFrame rgba:" +// bytesToHexString(test_buffer));}}

如果是I420数据：

/**YUV数据回调处理* Author: daniusdk.com* WeChat: xinsheng120*/   
private static class I420ExternalRender implements NTExternalRender {// public static final int NT_FRAME_FORMAT_RGBA = 1;// public static final int NT_FRAME_FORMAT_ABGR = 2;// public static final int NT_FRAME_FORMAT_I420 = 3;private final String image_path_;private long last_save_image_time_ms_;private int width_;private int height_;private int y_row_bytes_;private int u_row_bytes_;private int v_row_bytes_;private ByteBuffer y_buffer_;private ByteBuffer u_buffer_;private ByteBuffer v_buffer_;public I420ExternalRender(String image_path) {this.image_path_ = image_path;}@Overridepublic int getNTFrameFormat() {Log.i(TAG, "I420ExternalRender::getNTFrameFormat return " + NT_FRAME_FORMAT_I420);return NT_FRAME_FORMAT_I420;}@Overridepublic void onNTFrameSizeChanged(int width, int height) {width_ = width;height_ = height;y_row_bytes_ = width;u_row_bytes_ = (width+1)/2;v_row_bytes_ = (width+1)/2;y_buffer_ = ByteBuffer.allocateDirect(y_row_bytes_*height_);u_buffer_ = ByteBuffer.allocateDirect(u_row_bytes_*((height_ + 1) / 2));v_buffer_ = ByteBuffer.allocateDirect(v_row_bytes_*((height_ + 1) / 2));Log.i(TAG, "I420ExternalRender::onNTFrameSizeChanged width_="+ width_ + " height_=" + height_ + " y_row_bytes_="+ y_row_bytes_ + " u_row_bytes_=" + u_row_bytes_+ " v_row_bytes_=" + v_row_bytes_);}@Overridepublic ByteBuffer getNTPlaneByteBuffer(int index) {switch (index) {case 0:return y_buffer_;case 1:return u_buffer_;case 2:return v_buffer_;default:Log.e(TAG, "I420ExternalRender::getNTPlaneByteBuffer index error:" + index);return null;}}@Overridepublic int getNTPlanePerRowBytes(int index) {switch (index) {case 0:return y_row_bytes_;case 1:return u_row_bytes_;case 2:return v_row_bytes_;default:Log.e(TAG, "I420ExternalRender::getNTPlanePerRowBytes index error:" + index);return 0;}}public void onNTRenderFrame(int width, int height, long timestamp) {if (null == y_buffer_ || null == u_buffer_ || null == v_buffer_)return;y_buffer_.rewind();u_buffer_.rewind();v_buffer_.rewind();Log.i(TAG, "I420ExternalRender::onNTRenderFrame " + width + "*" + height + ", t:" + timestamp);}}

总结

无论使用哪种方法，处理视频帧数据都可能是计算密集型的，特别是在高清视频或高帧率视频的情况下。确保你的应用能够处理这些性能要求，并考虑在后台线程中执行解码和数据处理操作。确保回调数据，尽可能小的占用资源。以上抛砖引玉，感兴趣的开发者，可以单独跟我沟通讨论。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/879362.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Xcode 16 RC (16A242) 发布下载，正式版下周公布

Xcode 16 RC (16A242) 发布下载，正式版下周公布

Xcode 16 RC (16A242) - Apple 平台 IDE IDE for iOS/iPadOS/macOS/watchOS/tvOS/visonOS 请访问原文链接：https://sysin.org/blog/apple-xcode-16/，查看最新版。原创作品，转载请保留出处。 作者主页：sysin.org Xcode 16 的新功…
阅读更多...
3D Gaussian Splatting 论文学习

3D Gaussian Splatting 论文学习

概述 目前比较常见的渲染方法大致可以分为2种： 将场景中的物体投影到渲染平面：传统的渲染管线就是这种方式，主要针对Mesh数据，可以将顶点直接投影成2D的形式，配合光栅化、深度测试、Alpha混合等就可以得到渲染的图像…
阅读更多...
如何使用 ONNX 结合 GPU 加速推理（CUDA 与 cuDNN 简明指南）

如何使用 ONNX 结合 GPU 加速推理（CUDA 与 cuDNN 简明指南）

前言 在深度学习模型推理中，使用 GPU 进行加速是提升模型推理速度的关键方式之一。 本文将带大家一步步了解如何使用 ONNX Runtime 结合 NVIDIA 的 CUDA 和 cuDNN 进行 GPU 加速。 一、查找ONNX、CUDA与cuDNN之间的对应版本 首先，我们需要确保 ONNX Runtime 与 CUDA 和 cu…
阅读更多...
量化投资策略_因子打分选股的案例实现

量化投资策略_因子打分选股的案例实现

一：因子打分选股的介绍 因子打分选股是一种量化投资策略，它通过选取多个与股票收益率相关的因子，对股票进行综合评分，然后根据评分来选择股票构建投资组合。以下是构建多因子打分选股模型的一般步骤： 数据预处理&…
阅读更多...
Redis——常用数据类型hash

Redis——常用数据类型hash

目录 hash常用命令hsethgethdelhkeyshvalshgetallhmgethlenhsetnxhincrbyhdecrby 哈希的编码方式哈希的应用 hash 常用命令 hset HSET key field value [field value ...]//时间复杂度O(1) //返回值：设置成功的键值对的个数hget HGET key field//hdel HDEL key…
阅读更多...
【SSRF漏洞】——http协议常见绕过

【SSRF漏洞】——http协议常见绕过

改变的确很难，但结果值得冒险 本文如有错误之处，还请各位师傅指正 一.ssrf概述 SSRF全称为Server-side Request Fogery,中文含义服务器端请求伪造 SSRF是一种由攻击者构造形成由目标服务端发起请求的一个安全漏洞。一般情况下，SSRF攻击的目标…
阅读更多...
Linux 防火墙：iptables （二）

Linux 防火墙：iptables （二）

文章目录 SNAT 原理与应用SNAT 应用环境SNAT 原理SNAT 转换前提条件SNAT 格式SNAT 转换规则配置 DNAT 原理与应用DNAT 应用环境DNAT 原理DNAT 转换前提条件DNAT 格式DNAT 转换规则配置 iptables 规则的备份和还原导出（备份）所有表的规则导入（…
阅读更多...
PCL 点云基于曲率大小渲染颜色

PCL 点云基于曲率大小渲染颜色

目录 一、概述 1.1原理 1.2实现步骤 1.3应用场景 二、代码实现 2.1关键函数 2.2完整代码 三、实现效果 3.1原始点云 3.2处理后点云 PCL点云算法汇总及实战案例汇总的目录地址链接： PCL点云算法与项目实战案例汇总（长期更新） 一、概…
阅读更多...
Django笔记一：搭建Django环境与URL路径访问

Django笔记一：搭建Django环境与URL路径访问

博主之前学从Java后端开发，后面获取到读研资格，想着未来转算法岗，初学Python，发现Python还挺有趣的，由于之前所学后端缘故，有点后端情节，想学习一下Django框架（python的web框架&…
阅读更多...
人工智能和机器学习：探讨人工智能和机器学习的最新发展、应用、挑战和未来趋势

人工智能和机器学习：探讨人工智能和机器学习的最新发展、应用、挑战和未来趋势

人工智能和机器学习是当前科技领域的热点话题，其最新发展、应用、挑战和未来趋势备受关注。 最新发展： 人工智能和机器学习技术在近年来得到了快速发展，尤其是深度学习技术的广泛应用。例如，深度学习在图像识别、语音识别、自然语…
阅读更多...
react 基础语法

react 基础语法

前置知识 类的回顾 通过class关键字定义一个类 类名首字母大写 class类有constructor构造器 new 一个类得到一个实例 类还有方法，该方法也会在其原型上 static静态数据，访问静态属性通过 类名.id getter和setter getter：定义一个属性&…
阅读更多...
网络学习-eNSP配置VRRP

网络学习-eNSP配置VRRP

虚拟路由冗余协议(Virtual Router Redundancy Protocol，简称VRRP) VRRP广泛应用在边缘网络中，是一种路由冗余协议，它的设计目标是支持特定情况下IP数据流量失败转移不会引起混乱，允许主机使用单路由器，以及即使在实际…
阅读更多...
全球NAND原厂闪存市场格局变化

全球NAND原厂闪存市场格局变化

根据市场研究机构TrendForce的最新跟踪报告，三星（Samsung）和SK海力士（SK hynix-Solidigm）在过去的一个季度中扩大了他们在NAND闪存市场的份额，这主要得益于抢占了铠侠（Kioxia）与西部…
阅读更多...
小目标检测顶会新思路！最新成果刷爆遥感SOTA，参数小了18倍

小目标检测顶会新思路！最新成果刷爆遥感SOTA，参数小了18倍

遥感领域的小目标检测一直是个具有挑战性和趣味性的研究方向，同时也是顶会顶刊的常客。但不得不说，今年关于遥感小目标检测的研究热情尤其高涨，已经出现了很多非常优秀的成果。 比如SuperYOLO方法，通过融合多模态数据并执行高分辨…
阅读更多...
【重学 MySQL】二十八、SQL99语法新特性之自然连接和 using 连接

【重学 MySQL】二十八、SQL99语法新特性之自然连接和 using 连接

【重学 MySQL】二十八、SQL99语法新特性之自然连接和 using 连接 自然连接（NATURAL JOIN）USING连接总结 SQL99语法在SQL92的基础上引入了一些新特性，其中自然连接（NATURAL JOIN）和USING连接是较为显著的两个特性。 自…
阅读更多...
数据结构（14）——哈希表（1）

数据结构（14）——哈希表（1）

欢迎来到博主的专栏：数据结构 博主ID：代码小豪 文章目录 哈希表的思想映射方法（哈希函数）除留余数法 哈希表insert闭散列负载因子扩容find和erase 哈希表的思想 在以往的线性表中，查找速度取决于线性表是否有序&#…
阅读更多...
知识库管理系统在企业数字化转型中的作用

知识库管理系统在企业数字化转型中的作用

引言 在数字化转型的浪潮中，企业正以前所未有的速度重塑其业务模式、运营流程和组织架构，以适应快速变化的市场环境和客户需求。这一过程中，知识库管理系统作为信息整合与知识共享的核心平台，发挥着举足轻重的作用，不…
阅读更多...
【解决】AnimationCurve 运行时丢失数据问题

【解决】AnimationCurve 运行时丢失数据问题

开发平台：Unity 2022 编程平台：Visual Studio 编程语言：CSharp   一、问题背景 如上图所示的 GracityComponent 组件中，引用 AnimationCurve 作为可调属性。但在实际使用中出现数据丢失问题。大致为以下两种情况： 运…
阅读更多...
【重学 MySQL】二十七、七种 join 连接

【重学 MySQL】二十七、七种 join 连接

【重学 MySQL】二十七、七种 join 连接 union 的使用UNION 的基本用法示例UNION ALL 的用法 七种 join 连接代码实现语法格式小结 union 的使用 UNION 在 SQL 中用于合并两个或多个 SELECT 语句的结果集，并默认去除重复的行。如果希望包含重复行，可以使…
阅读更多...
RNN发展（RNN/LSTM/GRU/GNMT/transformer/RWKV）

RNN发展（RNN/LSTM/GRU/GNMT/transformer/RWKV）

RNN到GRU参考： https://blog.csdn.net/weixin_36378508/article/details/115101779 tRANSFORMERS参考： seq2seq到attention到transformer理解 GNMT 2016年9月 谷歌,基于神经网络的翻译系统（GNMT），并宣称GNMT在多个主…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023