RTMP协议发送H.264编码及AAC编码的音视频,实现摄像头直播

RTMP协议发送H.264编码及AAC编码的音视频,实现摄像头直播
摘要: RTMP协议发送H.264编码及AAC编码的音视频,实现摄像头直播  RTMP(Real Time Messaging Protocol)是专门用来传输音视频数据的流媒体协议,最初由Macromedia 公司创建,后来归Adobe公司所有,是一种私有协议,主要 ...

RTMP协议发送H.264编码及AAC编码的音视频,实现摄像头直播

  RTMP(Real Time Messaging Protocol)是专门用来传输音视频数据的流媒体协议,最初由Macromedia 公司创建,后来归Adobe公司所有,是一种私有协议,主要用来联系Flash Player和RtmpServer,如FMSRed5crtmpserver等。RTMP协议可用于实现直播、点播应用,通过FMLE(Flash Media Live Encoder)推送音视频数据至RtmpServer,可实现摄像头实时直播。不过,毕竟FMLE应用范围有限,想要把它嵌入到自己的程序中,还是要自己来实现RTMP协议的推送。本人实现了一个RTMPLiveEncoder,通过采集摄像头视频和麦克风音频,并进行H.264和AAC编码,然后发送到FMS和crtmpserver上,实现实时直播,可以通过flash player正常观看,目前效果良好,延迟时间在2秒左右。本文就介绍一下RTMPLiveEncoder的主要思路和关键点,以期对需要这方面技术的朋友有所帮助。

技术分析

  要实现RTMPLiveEncoder,需要以下四种关键技术:

  • 采集摄像头视频和麦克风音频
  • H264编码和AAC编码
  • 视频和音频数据封装为可被流媒体服务器识别的可播放流
  • RTMP协议实现报文发送

  其中,前两项技术在我之前的文章“采集音频和摄像头视频并实时H264编码和AAC编码”中已经介绍过了,这里就不再啰嗦了。

  把音视频数据封装为可播放流,这个是一个难点。仔细研究一下,你会发现,RTMP Packet中封装的音视频数据流,其实和FLV封装音频和视频数据的方式是相同的,所以,我们只需要按照FLV封装H264和AAC的方式,即可生成可播放流。

  我们再看一下RTMP协议。Adobe曾经发布过一份文档《RTMP Specification》,不过wikipedia指出这份文档隐藏了很多细节,单独根据它是无法正确实现RTMP的。不过,它还是有参考意义的。其实Adobe发布之前,RTMP协议就已经被破解的差不多了,现在也已经有比较完善的实现,比如:RTMPDump,它提供的是C语言的接口,这意味着可以很方便的在其他语言中调用。

程序框架

  与我之前写的“采集音频和摄像头视频并实时H264编码和AAC编码”这篇文章相同,采用DirectShow技术来实现音视频采集,音频编码和视频编码,在各自线程(AudioEncoderThread和VideoEncoderThread)中循环进行,RTMP的推送另起一个线程(RtmpThread)。两个编码线程实时编码音视频数据后,将数据交与Rtmp线程,由Rtmp线程循环封装为Rtmp Packet,然后发出去。

  线程之间的数据交换,通过一个队列DataBufferQueue来实现。AudioEncoderThread和VideoEncoderThread把数据指针post到DataBufferQueue之后,立即返回,这样就可以避免因为发送Rtmp报文的而影响到编码线程的正常执行时间。

    

  RtmpThread的主要工作就是发送音频数据流的解码信息头和视频数据流的解码信息头,并不断从DataBufferQueue中取出数据,封装为RTMP Packet,发送出去。流程如下列代码所示:(process_buf_queue_,即是上图中的DataBufferQueue)

librtmp

一、编译librtmp

  下载rtmpdump的代码,你会发现,它是一个地道的linux项目,除了一个简单的Makefile,其他什么都没有。好像librtmp不依赖于系统,我们可以不用费太多功夫,把它在windows上编译。不过,librtmp依赖于openssl和zlib,我们需要首先编译好它们。

  1. 编译openssl1.0.0e

  a) 下载并安装ActivePerl

  b) 下载并安装nasm(http://nasm.sourceforge.net/)

  c) 解压openssl压缩包

  d) 运行cmd命令行,切到openssl目录,分别执行以下命令

>perl Configure VC-WIN32 --prefix=c:\some\dir
>ms\do_nasm

  e) 运行Visual Studio Command Prompt(2010),切到openssl目录,分别执行以下命令。

>nmake -f ms\nt.mak
>nmake -f ms\nt.mak install

  f) 编译完毕后,即可在第一个命令所指定的目录下发现编译好的sdk。

  2. 编译zlib

  a) 解压zlib压缩包

  b) 运行Visual Studio Command Prompt(2010),切到openssl目录,分别执行以下命令

>cd contrib\masmx86
>bld_ml32.bat

  c) 回到zlib目录,进入contrib\vstudio\vc10目录,打开vs2010解决方案文件,

     在zlibstat工程属性中,去掉预编译宏 ZLIB_WINAPI

  d) 选择debug或release编译即可

  3. 编译librtmp

  a) 首先打开visual studio 2010,新建一个win32 console工程,指定为静态链接库

  b) 将librtmp的代码导入工程,把openssl、zlib的头文件和librtmp放在一起,把编译好的openssl和zlib的静态库放在一起

        

  c) 在工程设置中,添加之前编译好的openssl和zlib的库,编译即可。

    

二、librtmp的使用

  首先初始化RTMP结构

  开始之后,就要向RTMP Server发起握手连接报文

  连接成功,就可以开始循环发送报文了,这里需要指定时戳和数据类型(Audio、Video、Metadata)。这里有一点需要注意的是,在调用Send之前,buf中的数据,必须是已经封装好的H264或AAC数据流,具体见下面的介绍。

  关闭

  最后是释放

 

H264和AAC数据流

  本文提到过,RTMP推送的音视频流的封装形式和FLV格式相似,由此可知,向FMS推送H264和AAC直播流,需要首先发送"AVC sequence header"和"AAC sequence header",这两项数据包含的是重要的编码信息,没有它们,解码器将无法解码。

  AVC sequence header就是AVCDecoderConfigurationRecord结构,该结构在标准文档“ISO-14496-15 AVC file format”中有详细说明。

    

  AAC sequence header存放的是AudioSpecificConfig结构,该结构则在“ISO-14496-3 Audio”中描述。AudioSpecificConfig结构的描述非常复杂,这里我做一下简化,事先设定要将要编码的音频格式,其中,选择"AAC-LC"为音频编码,音频采样率为44100,于是AudioSpecificConfig简化为下表:

    

  这样,AVC sequence header和AAC sequence header的内容可以基本确定了,更详细的信息,大家可以去翻阅相关文档。接下来就是封装数据内容,然后交给librtmp发送。封装格式如下所示:

    

运行效果

  RtmpLiveEncoder开始运行

    

  用FMS自带的一个flash播放器播放

    

 

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

  HaibinDev软件工作室,合作请联系QQ。(转载请注明作者和出处~)

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

posted on 2012-11-07 14:32 小小程序员001 阅读(...) 评论(...) 编辑 收藏

转载于:https://www.cnblogs.com/musicfans/archive/2012/11/07/2819290.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/260265.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java消息顺序执行_Apache Flink:如何并行执行但保持消息顺序?

请在下面找到使用侧输出和插槽组进行本地扩展的示例 .package org.example/** Licensed to the Apache Software Foundation (ASF) under one* or more contributor license agreements. See the NOTICE file* distributed with this work for additional information* regardi…

python的字符串定界符可以使用_使用Template格式化Python字符串的方法

对Python字符串,除了比较老旧的%,以及用来替换掉%的format,及在python 3.6中加入的f这三种格式化方法以外,还有可以使用Template对象来进行格式化。from string import Template,可以导入Template类。实例化Template类…

【ES实战】ES6.7的tar包离线安装帮助手册

Elasticsearch6.7部署帮助手册 校验时间:2023年12月19日 文章目录 Elasticsearch6.7部署帮助手册安装前准备安装包安装要求锁定内存,修改最大文件描述符,最大线程数内核参数 部署规划端口规划用户规划目录规划 安装步骤每个服务器配置JDK配置文件master角色node角色…

jenkins 部署文档

Jenkins是一个非常出色的持续集成服务器,本文主要介绍在CentOS系统中Jenkins的基本安装配置方法,供参考。一. 软件包:1. 下载apache-maven-2.2.1-bin.tarhttp://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-2.2.1-bin.tar.gz…

牛人,多看看他们写的东西

计算机大师 Donald E. Knuth(高德纳) 算法大师,我最崇拜的计算机科学家,没有之一!不认识高爷爷的人别说自己是学计算机的。《The Art of Computer Programming》绝对是计算机科学的圣经。对高爷爷的崇敬,对…

System.Math.Min(System.Threading.Interlocked.Increment(i), i - 1)

System.Math.Min(System.Threading.Interlocked.Increment(i), i - 1) 在vb里面 等价于ii-1 在C#里面 等价于i-- 是有C#自动转VB时转换的转载于:https://www.cnblogs.com/YaDi/archive/2012/11/08/2759802.html

java快速查找中位数_用QuickSort快速查找中位数(median)

中位数(median)是一个排好序的元素中中间位置的元素,如果元素个数为偶数,则是中间两个元素的平均值。例如(3,1,5)的中位数是3,而(2,1,3,5)的中位数是2.5。查找中位数属于SelectionAlgorithms的一种。用快速排序可以做到每次divide之后&#x…

python安装mysql数据库_windows10安装mysql-8.0.13(zip安装)~Python安装mysql

windows10安装mysql-8.0.13(zip安装)安装环境说明系统版本:windows10mysql版本:mysql-8.0.13-winx64.zip下载地址:http://mirrors.163.com/mysql/Downloads/MySQL-8.0/mysql-8.0.13-winx64.zip解压安装包解压路径:D:\develop\soft…

centos 下使用sublime

CentOS 之 Sublime text3 安装及配置(不支持中文输入) sublime text 的界面友好,自动补全功能也不错。 (本来用vimphp_function.txt的形式进行补全的,但是配置后的补全不太满意,放弃了。 具体参见&#xff…

20121108团队博客(苏若)

PS:这本是属于昨晚的帖子,对不住忠仔。现在补上。 忠仔,终于交给了我一个实实在在的任务,很是欣喜,也很是忐忑,生怕自己不能及时完成任务。 好了,废话不多说,步入正题。 接下任务【画…

python 倒排索引 性能_python 实现倒排索引的方法

代码如下:#encoding:utf-8fin open(1.txt, r)建立正向索引:“文档1”的ID > 单词1:出现位置列表;单词2:出现位置列表;…………“文档2”的ID > 此文档出现的关键词列表。forward_index {}for line in fin:line…

pythonnet下载_Python for .NET

Python for .NET 是一个可以让 Python 程序员近乎无缝的集成 .NET 通用语言环境 CLR 和以及为 .NET 开发者提供一个强大的应用脚本工具。通过这个项目你可在 .NET 中完全使用 Python 来编写整个应用,使用 .NET 服务和组件。这个包并没有用 CLR 语言实现一个 Python&…

webService详解

什么是webService WebService,顾名思义就是基于Web的服务。它使用Web(HTTP)方式,接收和响应外部系统的某种请求。从而实现远程调用. 1:从WebService的工作模式上理解的话,它跟普通的Web程序(比如ASP、JSP等)并没有本…

读《有人负责,才有质量:写给在集市中迷失的一代》总结与感想

在大伙都在吹捧“市集”开发软件的方式的大浪潮下,作者看到了其中的不当之处,发现其中有许多的问题,因此写下这篇文章给予吹捧“市集”的人一个提醒,甚至警告。 在该文章里,作者认为“市集”里的“农民”不可能建造出和…

php 判断是否文件,利用PHP判断文件是否为图片的方法总结

前言在网页设计中,如果需要图片,我们通常拿到的是一个图片的文件名。仅仅通过文件名是无法判断该文件是否是一个图片文件的。或许有的人以为通过后缀名就可以判断,别忘了文件的后缀名是可以随便改动的。更何况,在 Linux 系统下是不…

textedit怎么插入数据_还在手动插入Excel交叉空白行?这个小技巧10秒搞定

导读:前几天有同学在后台提问,怎么快速在Excel中隔行插入一行或者多行空白行,其实在早期我们分享的小视频中有利用过类似的小技巧来制作工资条,今天我们用它来插入空白行。文/ 芒种学院指北针Hello,大家好,…

python制作安装包(setup.py)

1.制作setup.py from distutils.core import setupsetup(nameMyblog,version1.0,descriptionMy Blog Distribution Utilities,authorlujianxing,author_emaillujianxinglujianxing.com,urlhttp://blog.lujianxing.com,py_modules[foo] ) py_modules 定义 需要打包的模块名 2.创…

[Ruby]$: 是什么意思?

ruby comes with a set of predefined variables$: default search path (array of paths)其他Ruby特殊变量: $! 最近一次的错误信息 $ 错误产生的位置 $_ gets最近读的字符串 $. 解释器最近读的行数(line number) $& 最近一次与正则表达式匹配的字符串 $~ 作为…

rocketmq 启动_016【windows版Rocketmq】小白学习Rocketmq单机部署

以前都是听说MQ,或者在别人搭建好的基础上去使用,没有自己动手搭建过,就没有更深入去理解。现在机会来啦.啦啦.啦啦啦......引用自己的CSDN文章href"https://blog.csdn.net/chenzhong2010/article/details/106699590或点击左下角“阅读原…

WPF WebBrowser 加载 html ,出现安全警告, 运行 脚本和 activeX 控件,

对于你的问题&#xff0c;只需要在你的HTML首行添加如下代码即可隐藏安全提示条&#xff1a; <!-- saved from url(0014)about:internet --> 还有一个可选方案是使用Winform的WebBrowser控件&#xff0c;不需要更改HTML代码&#xff0c;也不会出现安全提示&#xff0c;需…