【鸿蒙开发】第二十一章 Media媒体服务(一)

1 简介

Media Kit(媒体服务)提供了AVPlayerAVRecorder用于播放、录制音视频

在Media Kit的开发指导中,将介绍各种涉及音频、视频播放或录制功能场景的开发方式,指导开发者如何使用系统提供的音视频API实现对应功能。比如使用SoundPool实现简单的提示音,当设备接收到新消息时,会发出短促的“滴滴”声;使用AVPlayer实现音乐播放器,循环播放一首音乐。

1.1 亮点/特征

  • 使用轻量媒体引擎
    使用较少的系统资源(线程、内存),可支持音视频播放/录制,支持pipeline灵活拼装,支持插件化扩展source/demuxer/codec

  • 支持HDR视频
    系统原生数据结构与接口支持hdr vivid的采集与播放,方便三方应用在业务中使用系统的HDR能力,为用户带来更炫彩的体验。

  • 支持音频池
    针对开发中常用的短促音效播放场景,如相机快门音效、系统通知音效等,应用可调用SoundPool,实现一次加载,多次低时延播放。

1.2 开发说明

本开发指导仅针对音视频播放或录制本身,由media模块提供相关能力,不涉及UI界面、图形处理、媒体存储或其他相关领域功能。

在开发音乐、视频播放功能之前,建议了解流媒体播放的相关概念包括但不限于:

  1. 播放过程:网络协议 > 容器格式 > 音视频编解码 > 图形/音频渲染
  2. 网络协议:比如HLSHTTP/HTTPS
  3. 容器格式:比如mp4mkvmpeg-ts
  4. 编码格式:比如h264/h265

1.3 AVPlayer

AVPlayer主要工作是将Audio/Video媒体资源(比如mp4/mp3/mkv/mpeg-ts等)转码为可供渲染的图像和可听见的音频模拟信号,并通过输出设备进行播放

AVPlayer提供功能完善一体化播放能力,应用只需要提供流媒体来源,不负责数据解析和解码就可达成播放效果。

1.3.1 音频播放

当使用AVPlayer开发音乐应用播放音频时,其交互关系如图所示。

在这里插入图片描述

音乐类应用通过调用JS接口层提供的AVPlayer接口实现相应功能时,框架层会通过播放服务(Player Framework)将资源解析成音频数据流(PCM),音频数据流经过软件解码后输出至音频服务(Audio Framework),由音频服务输出至音频驱动渲染,实现音频播放功能。完整的音频播放需要应用、Player Framework、Audio Framework、音频HDI共同实现。

图中,数字标注表示需要数据与外部模块的传递。

音乐应用将媒体资源传递给AVPlayer接口。

Player Framework将音频PCM数据流输出给Audio Framework,再由Audio Framework输出给音频HDI

1.3.2 视频播放

当使用AVPlayer开发视频应用播放视频时,其交互关系如图所示。
在这里插入图片描述
应用通过调用JS接口层提供的AVPlayer接口实现相应功能时,框架层会通过播放服务(Player Framework)解析成单独的音频数据流和视频数据流,音频数据流经过软件解码后输出至音频服务(Audio Framework),再至硬件接口层的音频HDI,实现音频播放功能。视频数据流经过硬件(推荐)/软件解码后输出至图形渲染服务(Graphic Framework),再输出至硬件接口层的显示HDI,完成图形渲染。

完整的视频播放需要:应用、XComponent、Player Framework、Graphic Framework、Audio Framework、显示HDI和音频HDI共同实现。

图中,数字标注表示需要数据与外部模块的传递。

  1. 应用从XComponent组件获取窗口SurfaceID,获取方式参考XComponent。
  2. 应用把媒体资源、SurfaceID传递给AVPlayer接口。
  3. Player Framework把视频ES数据流输出给解码HDI,解码获得视频帧(NV12/NV21/RGBA)。
  4. Player Framework把音频PCM数据流输出给Audio Framework,Audio Framework输出给音频HDI。
  5. Player Framework把视频帧(NV12/NV21/RGBA)输出给Graphic Framework,Graphic Framework输出给显示HDI。

1.3.3 支持的格式与协议

推荐使用以下主流的播放格式,以免产生无法播放、卡顿、花屏等兼容性问题。若发生此类问题不会影响系统,退出播放即可。

在这里插入图片描述

在这里插入图片描述

说明:
视频播放支持的视频格式分为必选规格和可选规格。必选规格为所有厂商均支持的视频格式。对于可选规格,厂商将基于实际情况决定是否实现。建议开发者做对应的兼容处理,保证应用功能全平台兼容。

在这里插入图片描述
在这里插入图片描述

1.4 AVRecorder

AVRecorder主要工作是捕获音频信号接收视频信号完成音视频编码并保存到文件中,帮助开发者轻松实现音视频录制功能,包括开始录制暂停录制恢复录制停止录制释放资源等功能控制。它允许调用者指定录制的编码格式封装格式文件路径等参数。
在这里插入图片描述

  • 音频录制:应用通过调用JS接口层提供的AVRecorder接口实现音频录制时,框架层会通过录制服务(Player Framework)调用音频服务(Audio Framework)通过音频HDI捕获音频数据,通过软件编码封装后保存至文件中,实现音频录制功能。

  • 视频录制:应用通过调用JS接口层提供的AVRecorder接口实现视频录制时,先通过Camera接口调用相机服务(Camera Framework)通过视频HDI捕获图像数据送至框架层的录制服务,录制服务将图像数据通过视频编码HDI编码,再将编码后的图像数据封装至文件中,实现视频录制功能。

通过音视频录制组合,可分别实现纯音频录制纯视频录制音视频录制
图中,数字标注表示需要数据与外部模块的传递。

  1. 应用通过AVRecorder接口录制服务获取SurfaceID
  2. 应用将SurfaceID设置给相机服务相机服务可以通过SurfaceID获取到Surface相机服务通过视频HDI捕获图像数据送至框架层的录制服务
  3. 相机服务通过Surface将视频数据传递给录制服务。
  4. 录制服务通过视频编码HDI模块将视频数据编码。
  5. 录制服务将音频参数设置给音频服务,并从音频服务获取到音频数据。

1.4.1 支持的格式

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

参考文献:
[1]OpenHarmoney应用开发文档

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/816770.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

List和Map的几种初始化方法

目录 List初始化方法 使用ArrayList的构造方法初始化 使用Arrays.asList()方法初始化 使用Collections.addAll()方法初始化: 使用List.of()方法初始化(Java 9及以上版本) 使用Stream的collect()方法初始化 Map的初始化方法 使用HashMa…

Textarea的常用属性thymeleaf

文章目录 textareathymeleaf1.基础使用2.代码块的切换3.链接表达式1)范例 4.前后端5.遍历1.th:each2.th:switch3.添加属性 组件替换 每周总结 textarea -webkit-scrollbar:width:0;让滚动条隐藏,宽度为0 resize&#x…

Linux网络服务器编程:TCP与UDP详解

文章目录 一、TCP与UDP概述1.1 TCP的原理1.2 UDP的原理1.3 数据流动 二、Socket的使用2.1 TCP Socket示例2.2 UDP Socket示例 三、数据流动时序图3.1 TCP通信详解3.2 UDP通信详解 四、异常情况处理4.1 服务器ACK丢失4.2 第三次握手的ACK丢失 五、总结推荐阅读 Linux网络服务器编…

win11 如何把微软账户切换成administrator

windows11系统第一次进来需要绑定微软账户,当然也不是必须的。但是微软搞得不明所以。 如果真的是绑定了微软账户,也是有好处的,可以在微软的账户里看到绑定的设备以及定位(没做深究是否准确) 如果要去掉微软账户换成a…

设计模式:备忘录模式示例

文章目录 示例一定义备忘录类(Memento)定义发起人类(Originator)定义看护人类(Caretaker)使用备忘录模式 示例二定义备忘录类(Memento)定义发起人类(Originator&#xff…

力扣 | 148. 排序链表

和数组里面的归并排序思想一致 class Solution {public ListNode sortList(ListNode head) {//过滤条件if(head null || head.next null)return head;ListNode slow head;ListNode fast head.next;while (fast ! null && fast.next ! null){slow slow.next;fast …

Golang基础-12

Go语言基础 介绍 目录操作 创建 删除 重命名 遍历目录 修改权限 文件操作 创建 打开关闭 删除 重命名 修改权限 读文件 写文件 文件定位 拷贝 测试 单元测试 基准测试 示例 介绍 本文介绍Go语言中目录操作(创建目录、删除目录、重命名、遍历…

c++的学习之路:20、继承(1)

摘要 本章主要是讲以一下继承的一些概念以及使用方法等等。 目录 摘要 一、继承的概念及定义 1、继承的概念 2、继承定义 1.2.1、定义格式 1.2.2、继承关系和访问限定符 1.2.3、继承基类成员访问方式的变化 3、总结 二、基类和派生类对象赋值转换 三、继承中的作用…

Matlab自学笔记二十九:元胞数组的创建、索引和转换方法

1.概念 元胞数组(cell array)是一种具有容器特性的数据类型,每个元素可以包含任何类型的数据; 2.创建方法 (1)方法一:使用大括号{}; (2)方法二&#xff1…

9【原型模式】复制一个已存在的对象来创建新的对象

你好,我是程序员雪球。 今天我们来学习23种设计模式之原型模式,在平时开发过程中比较少见。我带你了解什么是原型模式,使用场景有哪些?有什么注意事项?深拷贝与浅拷贝的区别,最后用代码实现一个简单的示例…

大数据深度学习:基于Tensorflow深度学习卷积神经网络CNN算法垃圾分类识别系统

文章目录 大数据深度学习:基于Tensorflow深度学习卷积神经网络CNN算法垃圾分类识别系统一、项目概述二、深度学习卷积神经网络(Convolutional Neural Networks,简称CNN)三、部分数据库架构四、系统实现系统模型部分核心代码模型训…

Android之图片压缩几种方式

大概可以分为以下几类:更换图片格式,质量压缩,采样率压缩,缩放压缩,调用jpeg压缩等 1.设置图片格式 Android目前常用的图片格式有png,jpeg和webp, png:无损压缩图片格式&#xff0…

【Java】新手一步一步安装 Java 语言开发环境

文章目录 一、Windows 10 系统 安装 JDK8二、 Mac 系统 安装 JDK8三、IDEA安装 一、Windows 10 系统 安装 JDK8 (1)打开 JDK下载网站,根据系统配置选择版本,这里选择windows 64位的版本,点击下载(这里需要…

5.SpringSpringBoot八股

Spring,Spring MVC,Spring Boot 之间什么关系? Spring就是整个Spring框架的整体,包含AOP、JDBC、Spring MVC等等模块 SpringBoot是Spring的精简版,它在Spring的基础上添加了自动装配、内置tomcat服务器等功能,使得代码量更少,同…

Finetuning vs. Prompting:大语言模型两种使用方式

目录 前言1. 对于大型语言模型的两种不同期待2. Finetune(专才)3. Prompt(通才)3.1 In-context Learning3.2 Instruction-tuning3.3 Chain of Thought(COT) Prompting3.4 用机器来找Prompt 总结参考 前言 这里和大家分享下关于大语言模型的两种使用方式,一种是 Fine…

2024最新 PyCharm 2024.1 更新要点汇总

2024最新 PyCharm 2024.1 更新要点汇总 文章目录 2024最新 PyCharm 2024.1 更新要点汇总摘要引言 Hugging Face:模型和数据集的快速文档预览针对 JavaScript 和 TypeScript 的全行代码补全 PyCharm Professional编辑器中的粘性行编辑器内代码审查新终端 Beta新的 AI…

ip连接检测

1.在C#中,你可以使用Socket类来检测IP连接是否正常。以下是一个简单的示例代码,演示了如何使用Socket类来检测IP连接的可用性: using System; using System.Net; using System.Net.Sockets;class Program {static void Main(string[] args){…

js+网络摄像头实现人体肢体关键点动作捕获

最近有一个项目,客户需要用户人体姿势识别,进行表演考核用途,或者康复中心用户恢复护理考核,需要用摄像头进行人体四肢进行肢体关键点对比考核,资料还是太少了。只有个别大佬发了部分技术指导。感觉写的不错。 阿里云…

【微信小程序——案例——本地生活(列表页面)】

案例——本地生活(列表页面) 九宫格中实现导航跳转——以汽车服务为案例(之后可以全部实现页面跳转——现在先实现一个) 在app.json中添加新页面 修改之前的九宫格view改为navitage 效果图: 动态设置标题内容—…

PTA(题目集三 题目 代码 C++ 注解)

目录 题目一: 代码: 题目二: 代码: 题目三: 代码: 题目四: 代码: 题目五: 代码: 题目六: 代码: 题目七: 代码…