流媒体服务器如何让WebRTC支持H.265,同时又能支持Web js硬解码、软解码(MSE硬解、WASM软解)

为了这一整套的解决方案,调研+研发整整花费了差不多半年多的时间,需达成的目标:

  1. 流媒体服务器端不需要将H.265转码成H.264,就能让Chrome解码播放H.265;

注意:现在很多市面上的软硬件通过转码H.265成H.264的方式来支持WebRTC,个人理解,这既费硬件又是技术的倒退!

  1. Web JS解码H.265在之前就WASM(WebAssembly)一种方式,但是后来Chrome支持了H.265的硬解码,于是,Web解码H.265就有了MSE和WebCodecs多种方式;
  2. 既然是解码播放,那肯定有支持硬件的,也有不支持硬解码H.265的,那WebAssembly软解码H.265就成为了托底的选项;
  3. WASM解码H.265也有多种模式,单线程的WASM解码模式,还有多线程WASM SIMD模式,效率上差距也是不小的;

解决方案

  1. 我们采用了H.265+AAC(音频通过转码统一成了AAC编码格式)封装成FLV格式,然后再通过WebRTC的DataChannel方式,传输到客户端;

WebRTC有VideoChannel、AudioChannel和DataChannel,原来DataChannel只是为了传输一些私有信息,现在也用来传输视频数据了,效果挺好!

  1. DataChannel传输到客户端之后,回调到上层进行类似于HTTP-FLV或者WebSocket-FLV的模式,选择MSE硬件、WebCodecs硬解,或者选择WASM软解码的方式,进行解码;
  2. WebRTC的DataChannel可以通过UDP或者TCP进行传输,完全利用了WebRTC的高效QoS策略,用户只需要做好服务端的FLV封装和客户端的FLV解码播放就可以了!!!

效果如图:
WebRTC支持H.265

WebRTC支持H.265

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/877935.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python中的命令模式:如何设计灵活的命令体系

Python中的命令模式:如何设计灵活的命令体系 命令模式是一种行为设计模式,它将请求封装为对象,从而使用户能够以不同的方式参数化客户端的请求、排队请求、记录请求日志,或者支持可撤销的操作。在Python中,命令模式的…

融合创新趋势:Web3时代的跨界融合

随着互联网技术的飞速发展,Web3时代的到来正引领着一场深刻的技术与社会变革。Web3,作为下一代互联网技术的代表,不仅仅是一种技术创新,更是一种跨界融合的趋势。通过去中心化、智能合约和区块链技术的应用,Web3正在重…

django学习入门系列番外篇《request》

文章目录 1 Response功能介绍2 HttpResponse2.1 HttpResponse对象介绍content_typeContent-Type是什么?Content-Type的格式 Content-DispositionContent-Disposition的作用Content-Disposition的使用语句 例子 2.2 HttpResponse常用用法 3 JsonResponse3.1 JsonResp…

编写一个程序,输入a、b、c三个值,输出其中最大值。

/* 题目描述 编写一个程序&#xff0c;输入a、b、c三个值&#xff0c;输出其中最大值。 输入 在一行中输入三个整数 输出 三个数中最大的数 */ #include<stdio.h> #include<math.h> int main(void) { int a, b, c; scanf("%d %d %d", &…

vue组件双向绑定

在Vue中&#xff0c;双向绑定是一个核心概念&#xff0c;它允许数据在视图&#xff08;View&#xff09;和组件的状态&#xff08;或数据模型&#xff09;之间自动同步。这种机制主要通过Vue的v-model指令来实现&#xff0c;但v-model实际上是一个语法糖&#xff0c;它背后依赖…

软件架构设计——关联对象

关联对象的原理 关联对象是在软件架构设计中&#xff0c;用来表示两个或多个对象之间的关系。它们通过引用或指针相互关联&#xff0c;从而可以彼此访问对方的数据和行为。这种关联可以是单向的&#xff0c;也可以是双向的&#xff0c;具体取决于业务需求。 单向关联&#xf…

malloc的底层原理和流程

目录 一、malloc的内存申请方式二、malloc的内存池管理1、分级内存池2、内存块信息3、内存块合并4、内存块分割 三、brk的内存分配过程1、空闲链表2、sbrk 四、malloc的缺陷 前言&#xff1a;从malloc的内存方式、内存池管理、brk系统调用过程这三个点&#xff0c;讲述malloc系…

2054. 骑马修栅栏

代码 #include<bits/stdc.h> using namespace std; int mp[505][505]; queue<int> ans; int du[505]; int n0,m,u,v;void dfs(int i) {for(int j1;j<n;j){if(mp[i][j]>1){mp[i][j]--;mp[j][i]--;dfs(j);}}ans.push(i); } int main() {cin>>m;for(int …

Linux安装Miniconda3

Linux安装Miniconda3 安装步骤相关知识 安装步骤 官方安装指南。 mkdir -p ~/miniconda3 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3 rm ~/miniconda…

WordPress简约响应式个人博客Kratos主题

Kratos主题基于Bootstrap和Font Awesome的WordPress一个干净&#xff0c;简单且响应迅速的博客主题&#xff0c;Vtrois创建和维护&#xff0c;主题设计简约友好&#xff0c;并且支持响应式&#xff0c;自适应访问&#xff0c;简seo单大方的主页构造&#xff0c;使得博客能在臃肿…

(十六)Flink 状态管理

目录 状态类型 Keyed State Keyed State 分类 状态有效期(TTL) 过期数据的清理 Operator State Broadcast State 状态存储 State Backends 分类 设置 State Backend RocksDB State Backend 详解 在 Flink 架构体系中,状态(State)计算是其重要的特性之一。状态用…

8.20T3 无损加密(线性代数转LGV+状压dp+高维前缀和)

http://cplusoj.com/d/senior/p/NODSX2301C 对于式子&#xff1a; 这个神秘的线性代数形式比较难处理&#xff0c;但我们可以考虑其组合意义。行列式现存的可用组合意义之一就是LGV&#xff08;矩阵式不太可用&#xff09; 先把原先的矩阵转化为一个有向图。现在我们要构造一…

ArcGIS如何将投影坐标系转回为地理坐标系

有时候两个数据&#xff0c;一个为投影坐标系&#xff0c;另一个为地理坐标系时&#xff0c;在GIS软件中位置无法叠加到一起&#xff0c;这需要将两个或多个数据的坐标系统一&#xff0c;可以直接将地理坐标系的数据进行投影&#xff0c;或将投影坐标系转为地理坐标系。下面介绍…

自养号测评技术:如何挑选适合的IP环境方案

市面上的IP服务及常见问题 当前市场上常见的IP服务包括911、Luminati、Google Fi、TM流量卡、Socks专线等。这些服务在为用户提供网络代理或VPN服务时&#xff0c;常会遇到以下主要问题&#xff1a; 1. 高负载与重复率高&#xff1a;由于使用人数众多&#xff0c;导致网络拥堵…

【jvm】栈是否存在垃圾回收

目录 一、栈的特点1.1 栈内存分配1.2 栈的生命周期1.3 垃圾回收不直接涉及 二、堆与栈的区别三、总结 一、栈的特点 1.1 栈内存分配 1.栈内存分配是自动的&#xff0c;不需要程序员手动分配和释放。 2.每当一个方法被调用时&#xff0c;JVM就会在这个线程的栈上创建一个新的栈…

移动端爬虫学习记录

免责声明 本文旨在探讨移动端爬虫技术的应用和挑战&#xff0c;仅供教育和研究用途。请确保在合法合规的框架内使用爬虫技术&#xff0c;遵循相关法律法规和网站的使用条款。作者不对因使用本文内容而产生的任何法律或安全问题承担责任。 1、初识移动端爬虫 学习移动端爬虫的原…

docker映射了端口,宿主机不生效

1、问题产生原因 docker run -d --name my-redis -p 6379:6379 -v /usr/redis.conf:/usr/local/etc/redis/redis.conf team-redis:3.2 redis-server /usr/local/etc/redis/redis.conf 这容器跑起来了&#xff0c;端口6379没用。搞的我一直怀疑哪里出错了&#xff0c;查看配置…

继承与构造函数与析构函数

一 #include<iostream> using namespace std; class father { public:father(){cout << "father无参构造函数" << endl;}father(int x):fa(x){cout << "father单参构造函数" << endl;}~father() {cout << "fath…

【docker compose 部署和 go 热部署工具fresh】

文章目录 docker-compose.yml 文件配置得很全面&#xff0c;以下是一些注释安装 fresh配置 fresh注意事项 docker-compose.yml 文件配置得很全面&#xff0c;以下是一些注释 version: 3 services:# MySQL 服务geekai-mysql:image: registry.cn-shenzhen.aliyuncs.com/geekmast…

计算机视觉(CV)技术的优势和挑战。

计算机视觉&#xff08;CV&#xff09;技术在许多领域中具有广泛的应用&#xff0c;并且具有一些优势和挑战。 优势&#xff1a; 1. 高效性&#xff1a;CV技术能够快速处理大量的图像和视频数据&#xff0c;以实现实时的分析和决策。 2. 自动化&#xff1a;CV技术可以自动化地…