android WebRtc 无法推流以及拉流有视频无声音问题

最近在开发使用WebRtc进行视频通话和语音通话，我使用的设备是MTK的手机，期间后台的技术人员几乎没法提供任何帮助，只有接口和测试的web端，有遇到不能推流。推流成功网页端有画面有声音，但是安卓端有画面，没有声音的情况

问题一：无法推流

一开始遇到问题是在进行推流前进行sdp的交换，一直返回返回code:400的情况，我们知道在 onCreateSuccess 方法回调中拿到offerSdp，用于向SRS服务进行网络请求，这时候一定注意其间的网络请求地址，token的拼接，peerConnection.addTransceiver添加的视频轨道和音频轨道一定要按照实际需求来，没有的就不要全部添加；全部中间步骤没错，这时候还是返回code：400的问题，后来在后台看到的错误日志是create session : create session : add publisher : publish negotiate : no found valid H.264 payload type，然后就是网上搜索下同样的问题，这里感谢

冬季穿短裤同学的知识帮助，就是接口请求里offer sdp中m=video无H.264相关信息，即WebRTC在createOffer时，返回的sdp没有H.264相关信息；Android的使用WebRTC仅支持硬件上 H.264 解码和编码，并且仅支持部分芯片组。因此，如果设备不支持硬件 H.264 或具有不受支持的芯片组，您将只能使用 VP8、VP9。支持的芯片组仅有OMX.qcom.*和OMX.Exynos.*，不支持的要自行添加。

解决方法：

VideoEncoderFactory创建

在创建PeerConnectionFactory，可以设VideoEncoderFactory

val encoderFactory = DefaultVideoEncoderFactory(eglBaseContext, true, true)
val peerConnectionFactory = PeerConnectionFactory.builder().setVideoEncoderFactory(encoderFactory).createPeerConnectionFactory()

public class DefaultVideoEncoderFactory implements VideoEncoderFactory {/*** 硬解件编码工厂*/private final VideoEncoderFactory hardwareVideoEncoderFactory;/*** 软件编码工厂*/private final VideoEncoderFactory softwareVideoEncoderFactory = new SoftwareVideoEncoderFactory();public DefaultVideoEncoderFactory(Context eglContext, boolean enableIntelVp8Encoder, boolean enableH264HighProfile) {//创建硬解编码工厂this.hardwareVideoEncoderFactory = new HardwareVideoEncoderFactory(eglContext, enableIntelVp8Encoder, enableH264HighProfile);}/*** 注意这个构造方法仅包可见*/DefaultVideoEncoderFactory(VideoEncoderFactory hardwareVideoEncoderFactory) {this.hardwareVideoEncoderFactory = hardwareVideoEncoderFactory;}...
}

/*** 用于创建视频编码器工厂*/
public interface VideoEncoderFactory {/** * 为给定的视频编解码器创建一个编码器。*/@Nullable@CalledByNativeVideoEncoder createEncoder(VideoCodecInfo var1);/*** 枚举支持的视频编解码器列表。这个方法只会被调用一次，结果将被缓存。*/@CalledByNativeVideoCodecInfo[] getSupportedCodecs();@CalledByNativedefault VideoCodecInfo[] getImplementations() {return this.getSupportedCodecs();}@CalledByNativedefault VideoEncoderFactory.VideoEncoderSelector getEncoderSelector() {return null;}
}

关键在于getSupportedCodecs() 在 HardwareVideoEncoderFactory中是如何实现的

@Override
public VideoCodecInfo[] getSupportedCodecs() {// Android19以下不支持硬解编码.if (Build.VERSION.SDK_INT < Build.VERSION_CODES.KITKAT) {return new VideoCodecInfo[0];}List<VideoCodecInfo> supportedCodecInfos = new ArrayList<>();// 按优先顺序生成支持的编解码器列表：// VP8, VP9, H264 (high profile), and H264 (baseline profile).for (VideoCodecType type : new VideoCodecType[]{VideoCodecType.VP8, VideoCodecType.VP9, VideoCodecType.H264}) {//查找编解码器类型，这里是关键MediaCodecInfo codec = findCodecForType(type);if (codec != null) {String name = type.name();// supported by the decoder.if (type == VideoCodecType.H264 && isH264HighProfileSupported(codec)) {supportedCodecInfos.add(new VideoCodecInfo(name, MediaCodecUtils.getCodecProperties(type, /* highProfile= */ true)));}supportedCodecInfos.add(new VideoCodecInfo(name, MediaCodecUtils.getCodecProperties(type, /* highProfile= */ false)));}}return supportedCodecInfos.toArray(new VideoCodecInfo[0]);
}

findCodecForType(VideoCodecType)，根据类型查找支持的编解码器

private MediaCodecInfo findCodecForType(VideoCodecType type) {for (int i = 0; i < MediaCodecList.getCodecCount(); ++i) {MediaCodecInfo info = null;try {info = MediaCodecList.getCodecInfoAt(i);} catch (IllegalArgumentException e) {//无法检索编码器编解码器信息Logging.e(TAG, "Cannot retrieve encoder codec info", e);}//编解器信息为null，或者不是编解码器不是编码器if (info == null || !info.isEncoder()) {continue;}//判断编解码器是否支持，这里就会去判断不同的芯片组是否支持if (isSupportedCodec(info, type)) {return info;}}return null; // 不支持的类型
}

isSupportedCodec(MediaCodecInfo, VideoCodecType)：判断MediaCodecInfo和VideoCodecType结合设备芯片组信息是否支持

private boolean isSupportedCodec(MediaCodecInfo info, VideoCodecType type) {if (!MediaCodecUtils.codecSupportsType(info, type)) {return false;}// Check for a supported color format.if (MediaCodecUtils.selectColorFormat(MediaCodecUtils.ENCODER_COLOR_FORMATS, /*这一步其实就可以判断编解码器是否支持了给定的类型了，如果不抛异常的话*/info.getCapabilitiesForType(type.mimeType()))== null) {return false;}return isHardwareSupportedInCurrentSdk(info, type) && isMediaCodecAllowed(info);
}/*** 结合当前的sdk，再次判断是否支持*/
private boolean isHardwareSupportedInCurrentSdk(MediaCodecInfo info, VideoCodecType type) {switch (type) {case VP8:return isHardwareSupportedInCurrentSdkVp8(info);case VP9:return isHardwareSupportedInCurrentSdkVp9(info);case H264:return isHardwareSupportedInCurrentSdkH264(info);}return false;
}private boolean isHardwareSupportedInCurrentSdkH264(MediaCodecInfo info) {//H264 硬件在此类型设备上可能表现不佳。"SAMSUNG-SGH-I337", "Nexus 7", "Nexus 4"if (H264_HW_EXCEPTION_MODELS.contains(Build.MODEL)) {return false;} else {String name = info.getName();//问题就在这，写死的仅支持的硬件编码器解码器组件名称的前缀。//所以要在后面自行追加我们自己设备支持H264名称信息。return name.startsWith("OMX.qcom.") && VERSION.SDK_INT >= 19 || name.startsWith("OMX.Exynos.") && VERSION.SDK_INT >= 21;}
}
————————————————版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.csdn.net/csdn_shen0221/article/details/119982257

Github传送门

问题二：拉流成功出现没有声音

因为没有声音只有在mtk的设备上没有，在我其他的高通处理器手机是正常的，我们一开始想到的可能就是收到的流和编解码问题，还是比较相信webRtc的sdk没有问题的，事实证明打脸了

解决思路：

1、拦截拉流时的音频流，通过反射回调拿到PCM数据，对pcm进行播放

 audioDeviceModule = JavaAudioDeviceModule.builder(applicationContext).setSamplesReadyCallback {//音频输入数据，麦克风数据，原始pcm数据，可以直接录制成pcm文件，再转成mp3val audioFormat = it.audioFormatval channelCount = it.channelCountval sampleRate = it.sampleRate//pcm格式数据val data = it.data}.setAudioTrackStateCallback(object : JavaAudioDeviceModule.AudioTrackStateCallback {override fun onWebRtcAudioTrackStart() {audioDeviceModule.setAudioTrackSamplesReadyCallback {//音频输出数据，通话时对方数据，原始pcm数据，可以直接录制成pcm文件，再转成mp3val audioFormat = it.audioFormatval channelCount = it.channelCountval sampleRate = it.sampleRate//pcm格式数据val data = it.data} 
}override fun onWebRtcAudioTrackStop() {}}).createAudioDeviceModule()

回调数据拿到了pcm的信息audioFormat：2  channelCount：1  sampleRate：48000

a.直接使用AudioTrack播放 data，在高通手机可以，但是在mtk平台不行

b.生成.pcm文件，两设备都可以播放

2、替换播放器，使用编译openSL ES播放文件流,可以播放，但是集成到项目里就不行了，这时候可以想到，应该时webrtc内部做了处理，在拉流播放的时候会关闭其他所有的声道播放

3、使用蓝牙进行播放, mtk设备使用蓝牙进行语音通话有声音，这时候立马想到数据流声道的问题

解决方法：查资料发现webrtc播放音频流是在WebRtcAudioTrack中实现的，点击进去看到也是使用AudioTrack进行播放的，使用了AudioManager.STREAM_VOICE_CALL声道,我们类搜索将所有的Call声道换成AudioManager.STREAM_MUSIC声道，以及AudioAttributes.USAGE_VOICE_COMMUNICATION改成AudioAttributes.USAGE_MEDIA

打开通话测试，冒得问题了

一定不要遗漏了AudioAttributes.USAGE_VOICE_COMMUNICATION

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/63273.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

RNACOS：用Rust实现的Nacos服务

RNACOS：用Rust实现的Nacos服务

RNACOS是一个使用Rust语言开发的Nacos服务实现&#xff0c;它继承了Nacos的所有核心功能&#xff0c;并在此基础上进行了优化和改进。作为一个轻量级、快速、稳定且高性能的服务&#xff0c;RNACOS不仅包含了注册中心、配置中心和Web管理控制台的功能&#xff0c;还支持单机和集…
阅读更多...
OpenTK为SkiaSharp在.NET 环境下提供OpenGL支持，使其进行高效的2D渲染

OpenTK为SkiaSharp在.NET 环境下提供OpenGL支持，使其进行高效的2D渲染

前言 在 .NET 环境下&#xff0c;OpenTK 为 SkiaSharp 提供了 OpenGL 支持&#xff0c;使得 SkiaSharp 能够利用 OpenGL 进行高效的 2D 渲染。这种结合能够充分发挥 GPU 的加速能力&#xff0c;从而提升渲染性能&#xff0c;尤其是在需要进行复杂图形处理或频繁更新的应用中&a…
阅读更多...
Linux-FrameBuffer设备(LCD)应用编程

Linux-FrameBuffer设备(LCD)应用编程

本章学习 Linux 下的 Framebuffer 应用编程&#xff0c;通过对本章内容的学习&#xff0c;大家将会了解到 Framebuffer 设备究竟是什么&#xff1f;以及如何编写应用程序来操控 FrameBuffer 设备。 本章将会讨论如下主题。 ⚫ 什么是 Framebuffer 设备&#xff1f; ⚫ LCD 显示…
阅读更多...
mobi文件转成pdf

mobi文件转成pdf

将 MOBI 文件转换为 PDF 格式通常涉及两个步骤&#xff1a; 解析 MOBI 文件&#xff1a;需要提取 MOBI 文件的内容&#xff08;文本、图片等&#xff09;。将提取的内容转换为 PDF&#xff1a;将 MOBI 文件的内容渲染到 PDF 格式。 可用工具 kindleunpack 或 mobi&#xff1…
阅读更多...
IDEA中MAVEN的一些设置问题

IDEA中MAVEN的一些设置问题

关于IDEA中MAVEN的一些设置问题 这三个配置的作业分别是什么呢&#xff1f; 在这张截图中&#xff0c;Maven的三个设置分别是&#xff1a; Maven home path (Maven主目录路径)&#xff1a; 这是Maven的安装路径&#xff0c;指向Maven的主目录。通常包含 bin、conf 等文件夹。用…
阅读更多...
深入探索 Node.js：构建强大的后端应用

深入探索 Node.js：构建强大的后端应用

亲爱的小伙伴们&#x1f618;&#xff0c;在求知的漫漫旅途中&#xff0c;若你对深度学习的奥秘、JAVA 、PYTHON与SAP 的奇妙世界&#xff0c;亦或是读研论文的撰写攻略有所探寻&#x1f9d0;&#xff0c;那不妨给我一个小小的关注吧&#x1f970;。我会精心筹备&#xff0c;在…
阅读更多...
量化交易系统开发-实时行情自动化交易-8.10.极智量化平台

量化交易系统开发-实时行情自动化交易-8.10.极智量化平台

19年创业做过一年的量化交易但没有成功&#xff0c;作为交易系统的开发人员积累了一些经验&#xff0c;最近想重新研究交易系统&#xff0c;一边整理一边写出来一些思考供大家参考&#xff0c;也希望跟做量化的朋友有更多的交流和合作。 接下来会对于极智量化平台介绍。 极智…
阅读更多...
Java基本运算符

Java基本运算符

Java运算符分类 算术运算符 加&#xff0c;数值运算字符数拼接 - 减 * 乘 / 除数&#xff0c;求的——商 % 模&#xff0c;求的——余数(自增) --(自减) 只能用于变量不能用于常量 语法格式&#xff1a; 变量名变量名注意&#xff1a;一定把变量名或变量名看成是一个表达式 …
阅读更多...
HBU深度学习实验14.5-循环神经网络（1.5）

HBU深度学习实验14.5-循环神经网络（1.5）

梯度爆炸实验 造成简单循环网络较难建模长程依赖问题的原因有两个&#xff1a;梯度爆炸和梯度消失。一般来讲&#xff0c;循环网络的梯度爆炸问题比较容易解决&#xff0c;一般通过权重衰减或梯度截断可以较好地来避免&#xff1b;对于梯度消失问题&#xff0c;更加有效的方式…
阅读更多...
Leetcode经典题4--查找数组中的多数元素+Boyer-Moore 投票算法

Leetcode经典题4--查找数组中的多数元素+Boyer-Moore 投票算法

题目描述&#xff1a; 给定一个大小为 n 的数组 nums &#xff0c;返回其中的多数元素。多数元素是指在数组中出现次数 大于 ⌊ n/2 ⌋ 的元素。 你可以假设数组是非空的&#xff0c;并且给定的数组总是存在多数元素。 输入输出示例 输入&#xff1a;nums [2,2,1,1,1,2,2] 输出…
阅读更多...
c++引用笔记

c++引用笔记

1 引用的基本使用 // 引用 // 作用&#xff1a;给变量起别名 // 语法&#xff1a;数据类型 &别名 原名int main(int argc, char const *argv[]) {int a 10;int &b a;cout << "a " << a << endl;cout << "b " <&l…
阅读更多...
Qt Window应用程序去掉控制台窗口

Qt Window应用程序去掉控制台窗口

Qt Window应用程序去掉控制台窗口 方式一 set(PROJECT_SOURCESWIN32main.cppmainwindow.hpp )add_executable(Tool-V2${PROJECT_SOURCES} )方式二 set_target_properties(Tool-V2 PROPERTIESMACOSX_BUNDLE TRUEWIN32_EXECUTABLE TRUE )参考文献&#xff1a; cmake Qt 项目…
阅读更多...
android studio 读写文件操作（应用场景二）

android studio 读写文件操作（应用场景二）

android studio版本&#xff1a;2023.3.1 patch2 例程&#xff1a;readtextviewIDsaveandread 本例程是个过渡例程&#xff0c;如果单是实现下图的目的有更简单的方法&#xff0c;但这个方法是下一步工作的基础&#xff0c;所以一定要做。 例程功能&#xff1a;将两个textvi…
阅读更多...
【NLP 9、实践 ① 五维随机向量交叉熵多分类】

【NLP 9、实践 ① 五维随机向量交叉熵多分类】

目录 五维向量交叉熵多分类 规律&#xff1a; 实现&#xff1a; 1.设计模型 2.生成数据集 3.模型测试 4.模型训练 5.对训练的模型进行验证 调用模型 你的平静&#xff0c;是你最强的力量 —— 24.12.6 五维向量交叉熵多分类 规律&#xff1a; x是一个五维(索引)向量&#xff…
阅读更多...
windows文件下换行, linux上不换行 解决CR换行符替换为LF notepad++

windows文件下换行, linux上不换行 解决CR换行符替换为LF notepad++

html文件是用回车换行的&#xff0c;在windows电脑上&#xff0c;显示正常。 文件上传到linux服务器后&#xff0c;文件不换行了。只有一行。而且相关js插件也没法正常运行。 用notepad查看&#xff0c;显示尾部换行符&#xff0c;是CR&#xff0c;这就是原因。CR是不被识别的。…
阅读更多...
ES6关于解构的详细探讨,以及可能会出现的错误

ES6关于解构的详细探讨,以及可能会出现的错误

ES6关于解构的详细探讨,以及可能会出现的错误 1.解构赋值时&#xff0c;如果等号右边是数值和布尔值&#xff0c;则会先转为对象。2.字符串的解构赋值,字符串被转换成了一个类似数组的对象3.默认值生效的条件是&#xff0c;对象的属性值严格等于undefined。4.不能使用圆括号的情…
阅读更多...
Unity 模拟百度地图，使用鼠标控制图片在固定区域内放大、缩小、鼠标左键拖拽移动图片

Unity 模拟百度地图，使用鼠标控制图片在固定区域内放大、缩小、鼠标左键拖拽移动图片

效果展示&#xff1a; 步骤流程&#xff1a; 1.使用的是UGUI&#xff0c;将下面的脚本拖拽到图片上即可。 using UnityEngine; using UnityEngine.UI; using UnityEngine.EventSystems;public class CheckImage : MonoBehaviour, IDragHandler, IBeginDragHandler, IEndDragH…
阅读更多...
游戏引擎学习第30天

游戏引擎学习第30天

仓库: https://gitee.com/mrxiao_com/2d_game 回顾 在这段讨论中&#xff0c;重点是对开发过程中出现的游戏代码进行梳理和进一步优化的过程。 工作回顾&#xff1a;在第30天&#xff0c;回顾了前一天的工作&#xff0c;并提到今天的任务是继续从第29天的代码开始&#xff0c…
阅读更多...
基于MFC绘制门电路

基于MFC绘制门电路

MFC绘制门电路 1. 设计内容、方法与难点 本课题设计的内容包括了基本门电路中与门和非门的绘制、选中以及它们之间的连接。具体采用的方法是在OnDraw函数里面进行绘制&#xff0c;并设计元器件基类&#xff0c;派生出与门和非门&#xff0c;并组合了一个引脚类&#xff0c;在…
阅读更多...
【text2sql】低资源场景下Text2SQL方法

【text2sql】低资源场景下Text2SQL方法

SFT使模型能够遵循输入指令并根据预定义模板进行思考和响应。如上图&#xff0c;、 和 是用于通知模型在推理过程中响应角色的角色标签。 后面的内容表示模型需要遵循的指令&#xff0c;而 后面的内容传达了当前用户对模型的需求。 后面的内容代表模型的预期输出&#xff0c;也…
阅读更多...
最新文章

Copyright @ 2022~2023