Android平台实现无纸化同屏并推送RTMP或轻量级RTSP服务(毫秒级延迟)

技术背景

在写这篇文章之前，实际上几年之前，我们就有非常稳定的无纸化同屏的模块，本文借demo更新，算是做个新的总结，废话不多说，先看图，本文以Android平台屏幕实时采集推送，Windows播放为例，和大家做个技术分享。

技术考量指标

本文以大牛直播SDK前些年实现的Android同屏采集推送为例，大概介绍下一些技术考量指标。

1. 轻量级RTSP服务还是RTMP？

我们在做无纸化同屏的时候，问的最多的是，能不能不要自建服务，直接主讲人或教师端，直接启动轻量级RTSP服务，其他终端拉流，如果是小并发，比如5人内的小范围的同屏，Windows平台走轻量级RTSP无可厚非，如果是30-60甚至100人的会议室，建议走RTMP。

2. 推送分辨率和码率选择

我们接触到好多设备，性能一般，但是屏幕是高分屏，甚至可以采集到4K的，考虑到实时编码和并发环境下，AP的承载能力，一般建议选择适合自己的分辨率码率即可，不要只追求高分辨率高码率，导致组网困难，单个或双通道AP压力大，一般建议控制在1920*1080分辨率内，码率控制在1-5M。

3. 软编码还是硬编码

Windows平台，一般优先考虑软编，因为大多Windows性能瓶颈不太大，超过1080P可以考虑硬编，Android平台建议直接硬编码。

4. 高分屏采集编码效率低怎么办

高分屏，不管是Windows还是Android，采集后的数据，建议先压缩，再编码，Windows平台我们可以设置压缩比例（scale rate），Android平台亦可，比如采集原始屏幕，或者缩放后的屏幕，具体见下图：

  /* BackgroudService.java* Author: daniusdk.com*/ private void createScreenEnvironment() {sreenWindowWidth = mWindowManager.getDefaultDisplay().getWidth();screenWindowHeight = mWindowManager.getDefaultDisplay().getHeight();Log.i(TAG, "screenWindowWidth: " + sreenWindowWidth + ",screenWindowHeight: "+ screenWindowHeight);if (sreenWindowWidth > 800){if (screen_resolution_type_ == SCREEN_RESOLUTION_STANDARD){scale_rate = SCALE_RATE_HALF;sreenWindowWidth = align(sreenWindowWidth / 2, 16);screenWindowHeight = align(screenWindowHeight / 2, 16);}else if(screen_resolution_type_ == SCREEN_RESOLUTION_LOW){scale_rate = SCALE_RATE_TWO_FIFTHS;sreenWindowWidth = align(sreenWindowWidth * 2 / 5, 16);screenWindowHeight = align(screenWindowHeight * 2 / 5, 16);}}Log.i(TAG, "After adjust mWindowWidth: " + sreenWindowWidth + ", mWindowHeight: " + screenWindowHeight);int pf = mWindowManager.getDefaultDisplay().getPixelFormat();Log.i(TAG, "display format:" + pf);DisplayMetrics displayMetrics = new DisplayMetrics();mWindowManager.getDefaultDisplay().getMetrics(displayMetrics);mScreenDensity = displayMetrics.densityDpi;mImageReader = ImageReader.newInstance(sreenWindowWidth,screenWindowHeight, 0x1, 6);mMediaProjectionManager = (MediaProjectionManager) getSystemService(Context.MEDIA_PROJECTION_SERVICE);}

5. Android横竖屏自动适配

Android平台，如果是pad采集，基本就是横屏采集，如果手机端，需要确保横竖屏模式下都可以正常采集。

4. 为什么要考虑补帧

Android的时候，一定的采集模式下，屏幕如果没有变化，不会一直有实时屏幕数据回调下来，这时候，为了保持帧率或数据采集的完整性，建议补帧。

5. 异常网络处理、事件回调机制

网络状态，不管是推送端，还是播放端，都是需要有实时的状态回调，确保客户端可以实时感知网络状态。

backgroudService.SetEventListener(new EventListener() {@Overridepublic void onPublisherEventCallback(long handle, int id, long param1, long param2, String param3, String param4, Object param5) {String publisher_event = "";switch (id) {case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_STARTED:publisher_event = "开始..";break;case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_CONNECTING:publisher_event = "连接中..";break;case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_CONNECTION_FAILED:publisher_event = "连接失败..";break;case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_CONNECTED:publisher_event = "连接成功..";break;case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_DISCONNECTED:publisher_event = "连接断开..";break;case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_STOP:publisher_event = "关闭..";break;case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_RECORDER_START_NEW_FILE:publisher_event = "开始一个新的录像文件 : " + param3;break;case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_ONE_RECORDER_FILE_FINISHED:publisher_event = "已生成一个录像文件 : " + param3;break;case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_SEND_DELAY:publisher_event = "发送时延: " + param1 + " 帧数:" + param2;break;case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_CAPTURE_IMAGE:publisher_event = "快照: " + param1 + " 路径：" + param3;if (param1 == 0) {publisher_event = publisher_event + "截取快照成功..";} else {publisher_event = publisher_event + "截取快照失败..";}break;case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_RTSP_URL:publisher_event = "RTSP服务URL: " + param3;break;case NTSmartEventID.EVENT_DANIULIVE_ERC_PUSH_RTSP_SERVER_RESPONSE_STATUS_CODE:publisher_event = "RTSP status code received, codeID: " + param1 + ", RTSP URL: " + param3;break;case NTSmartEventID.EVENT_DANIULIVE_ERC_PUSH_RTSP_SERVER_NOT_SUPPORT:publisher_event = "服务器不支持RTSP推送, 推送的RTSP URL: " + param3;break;}String str = "当前状态：" + publisher_event;Log.i(TAG, str);if (handler_ != null) {Message message = new Message();message.what = PUBLISHER_EVENT_MSG;message.obj = publisher_event;handler_.sendMessage(message);}}});

6. 采集到的数据可以按需录像吗

可以，而且很有必要，同屏的时候，如果需要把开会或教授内容实时保存下来，可以随时启动录像。

    public boolean startRecorder(){Log.i(TAG, "onClick startRecorder..");if(!stream_publisher_.is_publishing()){startCaptureScreen();}if (layer_post_thread_ != null)layer_post_thread_.update_layers();if (stream_publisher_.is_recording()) {stopRecorder();return false;}InitAndSetConfig();ConfigRecorderParam();boolean start_ret = stream_publisher_.StartRecorder();if (!start_ret) {stream_publisher_.try_release();Log.e(TAG, "Failed to start recorder.");return false;}startAudioRecorder();startLayerPostThread();return true;}//停止录像public void stopRecorder() {stream_publisher_.StopRecorder();stream_publisher_.try_release();if (!stream_publisher_.is_publishing())stopAudioRecorder();}

7. 文字、图片水印

需要而且建议支持，比如实时时间、学校或公司logo等。

        //水印效果选择++++++++++watermarkSelctor = (Spinner) findViewById(R.id.watermarkSelctor);watermarkSelctor.setEnabled(false);final String[] watermarks = new String[]{"图片水印", "全部水印", "文字水印", "不加水印"};ArrayAdapter<String> adapterWatermark = new ArrayAdapter<String>(this,android.R.layout.simple_spinner_item, watermarks);adapterWatermark.setDropDownViewResource(android.R.layout.simple_spinner_dropdown_item);watermarkSelctor.setAdapter(adapterWatermark);watermarkSelctor.setSelection(3,true);watemarkType = 3;   //默认不加水印watermarkSelctor.setOnItemSelectedListener(new AdapterView.OnItemSelectedListener() {@Overridepublic void onItemSelected(AdapterView<?> parent, View view,int position, long id) {watemarkType = position;Log.i(TAG, "[水印类型]Currently choosing: " + watermarks[position] + ", watemarkType: " + watemarkType);if(backgroudService !=null) {backgroudService.updateWatermarker(watemarkType);}}@Overridepublic void onNothingSelected(AdapterView<?> parent) {}});

8. 可以同时启动轻量级RTSP服务吗

    public boolean startRtspService(int port){Log.i(TAG, "startRtspService++");rtsp_handle_ = lib_publisher_.OpenRtspServer(0);if (rtsp_handle_ == 0) {Log.e(TAG, "创建rtsp server实例失败! 请检查SDK有效性");} else {if (lib_publisher_.SetRtspServerPort(rtsp_handle_, port) != 0) {lib_publisher_.CloseRtspServer(rtsp_handle_);rtsp_handle_ = 0;Log.e(TAG, "创建rtsp server端口失败! 请检查端口是否重复或者端口不在范围内!");}if (lib_publisher_.StartRtspServer(rtsp_handle_, 0) == 0) {Log.i(TAG, "启动rtsp server 成功!");} else {lib_publisher_.CloseRtspServer(rtsp_handle_);rtsp_handle_ = 0;Log.e(TAG, "启动rtsp server失败! 请检查设置的端口是否被占用!");}isRTSPServiceRunning = true;}return true;}//停止RTSP服务public void stopRtspService() {Log.i(TAG, "stopRtspService++");if(!isRTSPServiceRunning){return;}if (lib_publisher_ != null && rtsp_handle_ != 0) {lib_publisher_.StopRtspServer(rtsp_handle_);lib_publisher_.CloseRtspServer(rtsp_handle_);rtsp_handle_ = 0;}isRTSPServiceRunning = false;}public boolean startRtspPublisher(){Log.i(TAG, "startRtspPublisher++");if(!stream_publisher_.is_publishing()){startCaptureScreen();}InitAndSetConfig();String rtsp_stream_name = "stream1";stream_publisher_.SetRtspStreamName(rtsp_stream_name);stream_publisher_.ClearRtspStreamServer();stream_publisher_.AddRtspStreamServer(rtsp_handle_);if (!stream_publisher_.StartRtspStream()) {stream_publisher_.try_release();Log.e(TAG, "调用发布rtsp流接口失败!");return false;}startAudioRecorder();startLayerPostThread();return true;}//停止发布RTSP流public void stopRtspPublisher() {Log.i(TAG, "stopRtspPublisher++");stream_publisher_.StopRtspStream();stream_publisher_.try_release();if (!stream_publisher_.is_publishing())stopAudioRecorder();}public int getRtspSessionNumbers(){int session_numbers = 0;if (lib_publisher_ != null && rtsp_handle_ != 0) {session_numbers = lib_publisher_.GetRtspServerClientSessionNumbers(rtsp_handle_);Log.i(TAG, "GetRtspSessionNumbers: " + session_numbers);}return session_numbers;}

9. 同屏延迟，能不能做到毫秒级

废话不多说，上视频，延迟毫秒级。

安卓采集屏幕至轻量级RTSP服务|推送RTMP整体毫秒级延迟

10. 能不能采集到扬声器的audio？

Windows不在话下，Android平台需要高版本支持，高版本是可以采集到扬声器数据的，我们也实现了相关的demo，可以同时采集麦克风和扬声器的audio，单独推送或者同时混音输出。

11. 同屏过程中，重点画面可以快照吗？

当然可以，我们同屏采集端，支持采集编码png或jpg格式输出。

总结

其实一个好的无纸化同屏系统，需要考虑的有整体组网、分辨率、码率、实时延迟、音视频同步和连续性等各个指标，做容易，做好难，上述抛砖引玉，未能面面俱到，感兴趣的开发者，可以跟我单独交流。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/734654.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

ActiveRAG—主动学习

ActiveRAG—主动学习

原文地址&#xff1a;ActiveRAG — Active Learning 2024 年 2 月 26 日 大型语言模型&#xff08;LLM&#xff09;的出现开创了对话式人工智能的新时代。这些模型可以生成非常类似人类的文本&#xff0c;并且比以往更好地进行对话。然而&#xff0c;他们仍然面临着仅仅依靠预先…
阅读更多...
面试宝典-【redis】

面试宝典-【redis】

目录 1.什么是缓存穿透 ? 怎么解决 ? 2.什么是布隆过滤器 3.什么是缓存击穿 ? 怎么解决 ? 4.什么是缓存雪崩 ? 怎么解决 ? 5.redis做为缓存&#xff0c;mysql数据如何与redis进行同步?(双写) 6.排他锁是如何保证读写、读读互斥的呢&#xff1f; 7.你听说过延…
阅读更多...
【万题详解】洛谷P1616 疯狂的采药

【万题详解】洛谷P1616 疯狂的采药

题目背景 此题为纪念 LiYuxiang 而生。 题目描述 LiYuxiang 是个天资聪颖的孩子&#xff0c;他的梦想是成为世界上最伟大的医师。为此&#xff0c;他想拜附近最有威望的医师为师。医师为了判断他的资质&#xff0c;给他出了一个难题。医师把他带到一个到处都是草药的山洞里对…
阅读更多...
什么是yocto基本组件（bitbake,recipes,classes,configuration,layer)

什么是yocto基本组件（bitbake,recipes,classes,configuration,layer)

文章目录 1基本组件1.1 bitbake1.2 Recipes1.3 Classes1.4 Configurations2 层的理解2.1 层结构2.2 nxp yocto示例2.3 ti yocto示例1基本组件 1.1 bitbake bitbake，是OpenEmbedded构建系统的核心工具，负责解析元数据，从中生成任务列表，然后执行这些任务。bitbake是一个通…
阅读更多...
C# LINQ运算符

C# LINQ运算符

LINQ运算符 1. 概述1.1 集合->集合1.1.1 筛选运算符1.1.2 映射运算符1.1.3 连接运算符1.1.4 排序运算符1.1.5 分组运算符1.1.6 集合运算符1.1.7 转换方法:Import1.1.8 转换方法:Export 1.2 集合->单个元素或标量值1.2.1 元素运算符1.2.2 聚合方法1.2.3 数量词 1.3 空->…
阅读更多...
【MySQL 系列】MySQL 语句篇_DQL 语句

【MySQL 系列】MySQL 语句篇_DQL 语句

DQL&#xff08;Data Query Language&#xff09;&#xff0c;即数据查询语言&#xff0c;用来查询数据记录。DQL 基本结构由 SELECT FROM、WHERE、JOIN 等子句构成。 DQL 语句并不会改变数据库&#xff0c;而是让数据库将查询结果发送结果集给客户端&#xff0c;返回的结果是一…
阅读更多...
软考72-上午题-【面向对象技术2-UML】-UML中的图3

软考72-上午题-【面向对象技术2-UML】-UML中的图3

一、状态图 1-1、状态图的定义 状态图&#xff0c;展现了一个状态机&#xff0c;由&#xff1a;状态、转换、事件和活动组成&#xff0c;是系统的动态视图。 活动(动作) 可以在状态内执行也可以在状态转换(迁移) 时执行。 状态图强调&#xff1a;行为的事件顺序。 1-2、状态图…
阅读更多...
SpringBoot项目如何部署到服务器

SpringBoot项目如何部署到服务器

文章目录 准备&#xff1a;方式一&#xff1a;Jar包方式&#xff08;推荐&#xff09;部署步骤&#xff1a; 方式二&#xff1a;War包方式部署步骤&#xff1a; 总结 准备&#xff1a; 云服务器&#xff08;阿里云、腾讯云等&#xff09;Linux系统以及运行所需的环境 方式一&a…
阅读更多...
力扣--深度优先算法/回溯算法216.组合总和 Ⅲ

力扣--深度优先算法/回溯算法216.组合总和 Ⅲ

思路分析&#xff1a; 深度优先搜索 (DFS)&#xff1a; 通过递归实现&#xff0c;尝试从数字 1 到 9 中选择可能的数字&#xff0c;构建和为 n&#xff0c;长度为 k 的组合。递归函数 dfs&#xff1a; 接收参数&#xff1a;result 为最终结果集&#xff0c;path 为当前正在生成…
阅读更多...
AWS认证：云计算领域的卓越里程碑

AWS认证：云计算领域的卓越里程碑

本文由云计算狂魔公众号提供 随着科技的飞速发展&#xff0c;云计算已成为企业与个人必备的技能之一。亚马逊网络服务&#xff08;Amazon Web Services&#xff0c;简称AWS&#xff09;作为全球领先的云计算服务提供商&#xff0c;其认证体系无疑是云计算领域的卓越里程碑。本…
阅读更多...
【C++】二叉树进阶之二叉搜索树

【C++】二叉树进阶之二叉搜索树

> 作者简介&#xff1a;დ旧言~&#xff0c;目前大二&#xff0c;现在学习Java&#xff0c;c&#xff0c;c&#xff0c;Python等 > 座右铭&#xff1a;松树千年终是朽&#xff0c;槿花一日自为荣。 > 目标&#xff1a;熟练掌握二叉搜索树&#xff0c;能自己模拟实现二…
阅读更多...
Spring Boot的单元测试及示例代码

Spring Boot的单元测试及示例代码

目录 1、单元测试&#xff08;非 Web 上下文&#xff09; 1.1、引入依赖 1.2 编写单元测试类(示例代码) 2、Spring MVC 控制器测试 2.1、创建控制器及映射方法 2.2 编写控制器测试类 Spring Boot 提供了强大的单元测试和集成测试支持&#xff0c;以简化基于 Spring 的应用…
阅读更多...
类和对象-继承

类和对象-继承

师从黑马程序员 基本语法 有些类与类之间存在特殊的关系&#xff0c;例如&#xff1a; 定义这些类时&#xff0c;下一级别的成员除了拥有上一级的共性&#xff0c;还有自己的特性。 这时候我们就可以考虑继承技术&#xff0c;减少重复代码 语法&#xff1a;class 子类&…
阅读更多...
RAG模型的挑战与解决方案概览

RAG模型的挑战与解决方案概览

RAG模型的挑战与解决方案概览 背景: 提取增强生成(RAG)模型通过利用存储在文档中的外部知识来提高生成文本的准确性和相关性&#xff0c;显示出巨大潜力。但这些模型面临着多个挑战&#xff0c;如低质量检索、覆盖率不足、上下文条件化困难、幻觉和制造问题、解释和可解释性缺…
阅读更多...
加密流量分类torch实践4：TrafficClassificationPandemonium项目更新

加密流量分类torch实践4：TrafficClassificationPandemonium项目更新

加密流量分类torch实践4&#xff1a;TrafficClassificationPandemonium项目更新 更新日志 代码已经推送开源至露露云的github&#xff0c;如果能帮助你&#xff0c;就给鼠鼠点一个star吧&#xff01;&#xff01;&#xff01; 3/10号更新 流量预处理更新 增加了基于splitCa…
阅读更多...
misc49

misc49

下载附件是个txt文件&#xff0c;打开发现是个压缩包的头 后缀改成zip后打开 base解码无果&#xff0c;我们尝试字母解码 然后音符解码得到 ❀✿✼❇❃❆❇✿❁❇✻✿❀✾✿✻❀❊❆❃❀❊✻❅❀❄✼❂❊❊✾❇❁✽✽✼❁❂❀❀❀❉❃❂❀❉❃❂❊❊✾✼✻✻❀❆✻✻❀❀✻✻✿…
阅读更多...
round四舍五入在python2与python3版本间区别

round四舍五入在python2与python3版本间区别

round()方法返回数值的小数点四舍五入到n个数字。 语法 以下是round()方法的语法&#xff1a; round( x ,n) 参数 x --这是一个数值&#xff0c;表示需要格式化的数值 n --这也是一个数值,表示小数点后保留多少位 返回值 该方法返回 数值x 的小数点四舍五入到n个数字 …
阅读更多...
spark 总结

spark 总结

1.spark 配置文件 spark-default.conf spark.yarn.historyServer.address xiemeng-01:18080 spark.history.port18080 hive-site.xml <configuration><property><name>javax.jdo.option.ConnectionURL</name> </property><property>&…
阅读更多...
Rust 开源线性代数库 nalgebra_linsys

Rust 开源线性代数库 nalgebra_linsys

nalgebra_linsys 是 Rust 中 nalgebra 生态系统的一部分&#xff0c;它专注于线性系统的求解。这个库提供了用于解决线性方程组、最小二乘问题以及进行线性代数系统分析的工具。 nalgebra_linsys 库建立在 nalgebra 库的基础上&#xff0c;nalgebra 本身是一个强大的线性代数库…
阅读更多...
支持向量机(SVM)算法基本原理skearn实现

支持向量机(SVM)算法基本原理skearn实现

1 什么是支持向量机 支持向量机&#xff08;Support Vector Machine&#xff0c;简称SVM&#xff09;是一种用来解决二分类问题的机器学习算法&#xff0c;它通过在样本空间中找到一个划分超平面&#xff0c;将不同类别的样本分开&#xff0c;同时使得两个点集&#xff08;两个…
阅读更多...
最新文章

Copyright @ 2022~2023