融云任杰:强互动,RTC下一个“爆点”场景|拟合

从无序中寻找踪迹,从眼前事探索未来。

2021 年正值黄金十年新开端,CSDN 以中立技术社区专业、客观的角度,深度探讨中国前沿 IT 技术演进,推出年度重磅企划栏目——「拟合」,通过对话企业技术高管大咖,跟踪报道企业前沿技术资讯,分享真知灼见,以点到面折射出中国 IT 技术最新动态,传播技术影响力,帮助开发者与企业捋清思路,共创数字经济新未来。

实时音视频 RTC(Real-Time Communication),是新冠疫情黑天鹅事件中快速普及并崛起的技术与行业。2020年6月声网纳斯达克上市,年底即构获腾讯5000万美元C轮投资,2021年初马斯克带火语音社交Clubhouse。

资本加码,爆款应用,让实时音视频的想象空间再次被放大。《拟合》将试图从头部公司与用户的观点中,探知实时音视频的下一个爆点。

受访者 | 融云 CTO 任杰

作者 | 宋  慧

 

音视频从C端一直火到了开发界。Clubhouse刚爆红时,一位工程师仅用72小时就复刻了网页版的Clubhouse。本期《拟合》专访了融云CTO任杰,对于RTC技术关键点、创新的使用场景有哪些,未来RTC将引爆什么行业,开发者的机会又在哪里,听听他的看法。

 

融云CTO 任杰

 

RTC的新挑战

在RTC普及之前,高大上的视频会议和电视电话会议,需要用到专网和专有硬件。大概在2012年前后,随着3G、4G网络的建设和WiFi普及,RTC技术开始进入互联网。不过,任杰提到,各种手机、PC等设备都开始进入了互联网的视频通信领域,设备变得不可控。另外,从专有网络变成了广域网和互联网以及无线网络、4G网络,网络也变得不可控。

 

“PC不是为了通信这个场景进行的设计,所以在回声消除、降噪、视频采集编码层面都有不同的处理,有很多设备适配、算法的重新适配,大量细碎的功能要去做;手机在无线网络下,丢包和带宽会有瞬时变化,这些是新场景下面临的新问题,我们要重新去解决它,用新算法、新模式去处理它。”任杰说。

 

2021年初,W3C(万维网联盟)和IETF(互联网工程任务组)宣布WebRTC成为官方标准,任杰认为WebRTC被标准化组织接纳认可,但并不代表着RTC的技术已经成熟。“一个行业如果在持续爆发和持续高发展阶段,我们很难说它的技术是成熟的,因为场景越来越多,运用的设备技术也越来越多。音视频编码在不断变化,新场景下的网络对抗、机器学习、降噪技术,都在持续井喷的发展过程中。”任杰如是说。

 

新的技术、场景,也带来了新的挑战。任杰总结了四个融云在现阶段面临的RTC挑战:

 

1、高清视频:随着WiFi和5G等基础设施的升级,用户对音视频质量要求更高,融云会跟随新的编码标准去提供高质量、高码率、高帧率的视频体验。

 

2、语音还原度:传统算法已经不能满足现有高质量、高还原度的使用体验与要求,RTC将与AI结合,研发降噪、提升智能分辨率、提高整体视觉清晰度的技术,这是融云RTC技术研发的一大方向。

 

3、大量智能设备适配:除了安卓,将有大量实时操作系统RTOS设备进入RTC领域,而这些设备有些配置较低,标准参差不齐,都需要RTC厂商做好适配,保证交互体验。

 

4、全球节点部署,服务出海开发者:互联网市场的人口红利在逐渐消失,出海开发者的音视频业务需求量很大,融云在做全球节点的部署,以及更好的调度算法,确保全球任何一个地方、任何一种方式接入,都有优越的音视频体验。

 

RTC的三大创新场景

虽然疫情让RTC极大普及,但是任杰认为,疫情本身并未创造新的RTC场景,而是推动了音视频在各类场景和行业落地,加速了RTC发展进程。

 

他举例说明,在线教育毫无疑问是疫情中被推动与广泛落地的RTC场景。除了k12(kindergarten through twelfth grade,学前教育至高中教育的缩写,代指基础教育)的在线课程外,现在素质教育也在向线上迁移。不过与基础教育不同的是,素质教育涉及经验的传递和指导,是更加个人化的过程,例如音乐、绘画,过程要求比较高。RTC技术与使用体验感的提升,将有助于素质教育的在线化进程。

 

教育的另一个创新场景是在线考试,考试一直是严肃的事,过程控制更加严格。而因为疫情影响,考试也开始线上化,例如考场设前置摄像头、后置摄像头,并全程录像,方便监督和考试后抽查。

 

除了教育,任杰提到第二个RTC创新场景将是强互动型与娱乐应用。电商直播、共享电影、线上拍卖、3D虚拟形象的语音社交、在线合唱等等,这些强互动型应用将会越来越多,值得开发者从产品层面发挥想象力。

 

第三个创新场景在行业应用中,疫情之后需要“无接触服务”各个行业,包括政府办事、金融、保险、交通、海关等等领域,都在将办事、审批服务过程转向线上,这些也是RTC非常重要的新场景。

 

当AI遇见RTC

对于RTC和AI、5G等新技术的融合趋势,任杰分别介绍了AI技术对音视频领域四类问题的解决办法。

 

AI智能降噪。比如在线教育场景下,(老师/学生)敲击键盘、倒水、咳嗽的声音,过去的算法对这些非稳态噪音无能为力,而AI技术可以分辨的场景和分辨的噪声更多,将帮助RTC在降噪方面有较大提升;

 

AI超分处理。在相同带宽下传输的视频图像,利用AI技术可以使其在解码还原后较之前更加清晰;

 

利用AI技术把不同的视频场景或者音频场景分辨与分开。对于静态场景编码、清晰度和帧率的控制,对于动态场景下编码和帧率的控制,用AI技术都可以将其区分开,做不同的处理;以及用AI技术重构带宽估计的算法。

 

对于更远的未来,在全真互联网时代,任杰表示,音视频从采集到编码、传输、解码、渲染、互动的整个过程,将是全真互联网必须具备的一大块能力,而RTC有望成为全真互联网的基础设施

 

受访者简介:

任杰:融云CTO,负责融云音视频整体技术规划和演进;拥有 20 年以上互联网通信领域产品设计、架构设计、技术研发经验,是移动通信领域顶级技术专家,致力于为全球开发者提供专业的互联网通信云服务;加入融云前,曾担任神州泰岳集团副总裁;原飞信CTO,带领飞信平台从零开始到千万在线;曾担任微软中国顾问咨询部电信行业负责人,带领团队完成多个千万级项目的实施。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/514768.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

直面最大挑战双11 阿里数据中台为商家带来确定性保障

2020双11将成为史上最具科技含量的一届双11。 11月3日,在阿里巴巴双11技术沟通会上,阿里巴巴集团首席技术官程立公布了大规模运用于2020双11的十大前沿技术,既有基于数字技术的原生商业创新,也有引领时代的基础技术突破。 阿里巴巴…

mysql rpm包安装指定路径_安装rpm包时指定路径

1、安装rpm包可以指定路径,但是安装包时它可能执行一些内置的命令。如果手动指定路径,可能造成部分功能失效比如下面安装jdk的rpm包。默认安装后它会创建个软链接。下面就提示创建软链接失败了。但是不影响使用[rootdawn-cobbler-1-1 /]# mkdir /tools[r…

玩转ECS第6讲 | 弹性计算Region化部署和跨可用区容灾介绍

弹性计算Region化部署和跨可用区容灾本身是非常复杂的课题,本次分享由阿里云弹性计算架构负责人李钟(谢顿)为大家介绍如何选择Region,同时结合阿里云在Region化部署和跨可用区容灾的实践经验,分享多region部署场景中如…

为产业数字化赋能!施耐德电气数字产业示范园落户北京

无人车在工厂里按部就班输送货物,机械臂快速装备各零件,庞大的车间内,智能生产线只有寥寥的工人……小时候畅想过的智能工厂,在北京亦庄新成立的施耐德电气数字产业示范园里实现了。 新成立的示范园包括施耐德电气(中…

在大规模 Kubernetes 集群上实现高 SLO 的方法

简介: 随着 Kubernetes 集群规模和复杂性的增加,集群越来越难以保证高效率、低延迟的交付 pod。本文将分享蚂蚁金服在设计 SLO 架构和实现高 SLO 的方法和经验。 作者 | 蚂蚁金服技术专家 姚菁华;蚂蚁金服高级开发工程师 范康 导读&#xf…

TI Inside,情报协同的最佳实践

6月18日,以“新IN力 御万象”为主题的 TI Inside 威胁情报应用生态协同峰会在北京隆重召开。此次峰会吸引了数百位网络安全产业专家、龙头企业代表、威胁情报生态合作机构、分析机构以及权威媒体齐聚一堂,共同交流威胁情报的最佳应用实践,探讨…

mysql分页查询所有数据库_MySQL 数据库 分页查询/聚合查询

引言在本篇博客简单介绍一下分页查询以及聚合查询简单操做。html分页查询在MySQL中,分页查询通常都是使用limit子句实现,limit子句声明以下:mysqlSELECT * FROM table LIMIT [offset,] rows | rows OFFSET offsetLIMIT子句能够被用于指定 SEL…

阿里云高级技术专家白常明:边缘云的技术挑战和应用创新

随着5G商用周期的开始与新基建的发展, 5G边缘计算带动并赋能数字化行业,逐渐形成了预期可观的产业规模。5G周期内,直接和间接带动产业规模就高达万亿级,在如此巨大的市场规模下,会有越来越多的行业具备数字化转型的技术…

饿了么技术往事(中)

在上一篇文章《饿了么技术往事(上)》中,我介绍了饿了么最早期 All in One 阶段的架构,以及第二阶段业务系统拆分与团队运营的一些思考,以及我对于架构师职责的感受,接下来我会详细介绍饿了么全面服务化的架…

高质量的缺陷分析:让自己少写 bug

简介: 缺陷分析做得好,bug 写得少。阿里资深技术专家和你分享如何进行高质量的缺陷分析,总结了 5 个要点,通过缺陷分析消除开发中的各种盲点,打造一个学习型的团队。 作者 | 嵩华 导读:缺陷分析做得好&am…

python 小海龟鼠标画图_Python小海龟画图

import turtle运动命令forward(d) 向前移动d长度backward(d) 向后移动d长度right(d) 向右移动d长度left(d) 向左一定d长度goto(x,y) 移动到坐标为(x,y)的位置speed(speed) 笔划绘制的速度1-10笔画控制命令up() 笔画抬起,在移动的时候不会绘图down() 笔画落下,下次绘图时则有效s…

IT、OT融合趋势下,西门子举办“第一届西门子工业边缘生态大会”

近日,西门子举办“第一届西门子工业边缘生态大会”,以“聚势边缘 共赋未来”为主题,来自全国机构专家、工业制造商、系统集成商、互联网伙伴、软件和大数据伙伴、媒体等生态伙伴深入交流未来工业的发展方向。 “边缘层融合IT和OT层&#xff0…

T级内存,创建效率提升10倍以上,阿里云 KVM异构虚拟机启动时间优化实践

简介: 阿里云工程师李伟男和郭成在 KVM Forum 2020 上详细介绍了阿里云 KVM 虚拟机创建及启动时间优化的具体技术实现,本文根据其演讲整理而成。 对于云计算用户来说,过长的 KVM 虚拟机创建及启动时间非常影响体验,特别是超大规格…

Android网络性能监控方案

背景 移动互联网时代,移动端极大部分业务都需要通过App和Server之间的数据交互来实现,所以大部分App提供的业务功能都需要使用网络请求。如果因为网络请求慢或者请求失败,导致用户无法顺畅的使用业务功能,会对用户体验造成极大影…

打破云原生时代存储瓶颈,SmartX 发布 K8s 云原生存储 IOMesh

编辑 | 宋 慧 供稿 | SmartX 头图 | 付费下载于视觉中国 专业超融合与分布式存储产品与解决方案提供商 SmartX 发布为 Kubernetes 设计和开发的云原生存储产品 IOMesh 预览版(以下简称“IOMesh”),加速数据库等有状态应用的容器化进程。 IO…

flume获取mysql日志到hdfs_Hadoop实战:Flume输入日志到HDFS报错解决

使用Flume把日志存储到HDFS,在启动时报错如下:2017-06-16 08:58:32,634 (conf-file-poller-0) [ERROR - org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:…

全球边缘计算大会:阿里云资深技术专家李克畅谈边缘计算的技术趋势与挑战

2020年11月7日,以“5G边缘计算“为主题的全球边缘计算大会在北京新世界大酒店成功召开,作为业内首个专门为边缘计算人打造的行业盛会,此次活动现场共有超过600来自政、产、学、研、用各界的企业负责人、权威技术专家、通信科技从业者、边缘计…

《科学:无尽的前沿》分享会在京举办,助力中国企业打造“科研的应许之地”

当今世界百年未有之大变局加速演进,疫情影响广泛深远,不稳定性不确定性明显增加。科技创新成为国际战略博弈的主要战场,围绕科技制高点的竞争空前激烈。 6月19日,远望智库、中信出版集团联合举办了新书《科学:无尽的前…

mysql 5.1 db2i_DB2 9.5.0.0升级至9.5.0.9(小版本升级)

0.升级前DB2版本[db2inst1xifenfei ~]$ db2levelDB21085I Instance "db2inst1" uses "32" bits and DB2 code release "SQL09050"with level identifier "03010107".Informational tokens are "DB2 v9.5.0.0", "s07100…

OpenYurt 深度解读:如何构建 Kubernetes 原生云边高效协同网络?

作者 | 郑超 导读:OpenYurt 是阿里巴巴开源的云边协同一体化架构,与同类开源方案相比,OpenYurt 拥有可实现边缘计算全场景覆盖的能力。在之前的一篇文章中,我们介绍了 OpenYurt 是如何在弱网和断网场景下实现边缘自治的。本文作为…