如何实现多路海康大华等RTSP数据转RTMP推送

一个好的转发模块，首先要低延迟！其次足够稳定、灵活、有状态反馈机制、资源占用低，跨平台，最好以接口形式提供，便于第三方系统集成。

以Windows平台为例，我们的考虑的点如下

1. 拉流：通过RTSP直播播放SDK的数据回调接口，拿到音视频数据；

2. 转推：通过RTMP直播推送SDK的编码后数据输入接口，把回调上来的数据，传给RTMP直播推送模块，实现RTSP数据流到RTMP服务器的转发；

3. 录像：如果需要录像，借助RTSP直播播放SDK，拉到音视频数据后，直接存储MP4文件即可；

4. 快照：如果需要实时快照，拉流后，解码调用播放端快照接口，生成快照，因为快照涉及到video数据解码，如无必要，可不必开启，不然会额外消耗性能。

5. 拉流预览：如需预览拉流数据，只要调用播放端的播放接口，即可实现拉流数据预览；

6. 数据转AAC后转发：考虑到好多监控设备出来的音频可能是PCMA/PCMU的，如需要更通用的音频格式，可以转AAC后，在通过RTMP推送；

7. 转推RTMP实时静音：只需要在传audio数据的地方，加个判断即可；

8. 拉流速度反馈：通过RTSP播放端的实时码率反馈event，拿到实时带宽占用即可；

9. 整体网络状态反馈：考虑到有些摄像头可能会临时或异常关闭，RTMP服务器亦是，可以通过推拉流的event回调状态，查看那整体网络情况，如此界定：是拉不到流，还是推不到RTMP服务器。

系统设计架构图

Windows转发demo分析

大牛直播SDK的转发demo，Windows平台，对应C++ demo工程：WIN-RelaySDK-CPP-Demo，如需下载demo源码，参看 Github

1. 拉流：拉流和播放有些类似，但不需要播放（也就是说不要解码，资源消耗非常低），在做过基础的参数配置之后（对应demo里面OpenPullHandle()），设置音视频数据回调，然后调用StartPullStream()即可：

1.1 基础参数设置：

bool nt_stream_relay_wrapper::OpenPullHandle(const std::string& url, bool is_rtsp_tcp_mode, bool is_mute)
{if ( pull_handle_ != NULL )return true;if ( url.empty() )return false;duration_ = 0;NT_HANDLE pull_handle = NULL;ASSERT( pull_api_ != NULL );if (NT_ERC_OK != pull_api_->Open(&pull_handle, render_wnd_, 0, NULL)){return false;}ASSERT(pull_handle != NULL);pull_api_->SetEventCallBack(pull_handle, this, &NT_Pull_SDKEventHandle);pull_api_->SetBuffer(pull_handle, 0);pull_api_->SetFastStartup(pull_handle, 1);pull_api_->SetRTSPTcpMode(pull_handle, is_rtsp_tcp_mode ? 1 : 0);pull_api_->SetMute(pull_handle, is_mute ? 1 : 0);if ( NT_ERC_OK != pull_api_->SetURL(pull_handle, url.c_str()) ){pull_api_->Close(pull_handle);pull_handle = NULL;return false;}if ( setting_pos_ >= 0ll ){pull_api_->SetPos(pull_handle, setting_pos_);}pull_handle_ = pull_handle;return true;
}

1.2 设置音视频数据回调：

	pull_api_->SetPullStreamVideoDataCallBack(pull_handle_, this, &SP_SDKPullStreamVideoDataHandle);pull_api_->SetPullStreamAudioDataCallBack(pull_handle_, this, &SP_SDKPullStreamAudioDataHandle);

1.3 开始拉流：

	auto ret = pull_api_->StartPullStream(pull_handle_);if ( NT_ERC_OK != ret ){if ( !is_playing_ ){pull_api_->Close(pull_handle_);pull_handle_ = NULL;}return false;}

拉流整体代码如下：

bool nt_stream_relay_wrapper::StartPull(const std::string& url, bool is_rtsp_tcp_mode, bool is_transcode_aac)
{if ( is_pulling_ )return false;if ( !OpenPullHandle(url, is_rtsp_tcp_mode) )return false;pull_api_->SetPullStreamVideoDataCallBack(pull_handle_, this, &SP_SDKPullStreamVideoDataHandle);pull_api_->SetPullStreamAudioDataCallBack(pull_handle_, this, &SP_SDKPullStreamAudioDataHandle);pull_api_->SetPullStreamAudioTranscodeAAC(pull_handle_, is_transcode_aac? 1: 0);auto ret = pull_api_->StartPullStream(pull_handle_);if ( NT_ERC_OK != ret ){if ( !is_playing_ ){pull_api_->Close(pull_handle_);pull_handle_ = NULL;}return false;}is_pulling_ = true;return true;
}

2. 停止拉流：

停止拉流流程比较简单，先判断是否在拉流状态，如果拉流，调用StopPullStream() 即可，如没有预览画面，调用Close()接口关闭拉流实例。

void nt_stream_relay_wrapper::StopPull()
{if ( !is_pulling_ )return;pull_api_->StopPullStream(pull_handle_);if ( !is_playing_ ){pull_api_->Close(pull_handle_);pull_handle_ = NULL;}is_pulling_ = false;
}

3. 拉流端预览：

拉流端预览，说白了就是播放拉流数据，流程比较简单，demo调用如下，如不需要播放声音，调用SetMute()，实时打开/关闭即可：

bool nt_stream_relay_wrapper::StartPlay(const std::string& url, bool is_rtsp_tcp_mode, bool is_mute)
{if ( is_playing_ )return false;if ( !OpenPullHandle(url, is_rtsp_tcp_mode, is_mute) )return false;pull_api_->SetMute(pull_handle_, is_mute ? 1 : 0);auto ret = pull_api_->StartPlay(pull_handle_);if ( NT_ERC_OK != ret ){if ( !is_pulling_ ){pull_api_->Close(pull_handle_);pull_handle_ = NULL;}return false;}is_playing_ = true;return true;
}

4. 拉流端关闭预览：

void nt_stream_relay_wrapper::StopPlay()
{if ( !is_playing_ )return;pull_api_->StopPlay(pull_handle_);if ( !is_pulling_ ){pull_api_->Close(pull_handle_);pull_handle_ = NULL;}is_playing_ = false;
}

5. 开始推流到RTMP服务器：

推流的流程，如之前所述，调用RTMP推送模块，然后数据源传编码后的音视频数据即可，下图的demo源码，同时展示了，RTSP流获取到后，转推RTMP的时候，数据解密的处理：

bool nt_stream_relay_wrapper::StartPush(const std::string& url)
{if ( is_pushing_ )return false;if ( url.empty() )return false;if ( !OpenPushHandle() )return false;auto push_handle = GetPushHandle();ASSERT(push_handle != nullptr);ASSERT(push_api_ != NULL);if ( NT_ERC_OK != push_api_->SetURL(push_handle, url.c_str(), NULL) ){if ( !is_started_rtsp_stream_ ){push_api_->Close(push_handle);SetPushHandle(nullptr);}return false;}// 加密测试 +++// push_api_->SetRtmpEncryptionOption(push_handle, url.c_str(), 1, 1);// NT_BYTE test_key[16] = {'1', '2', '3'};// push_api_->SetRtmpEncryptionKey(push_handle, url.c_str(), test_key, 16);// 加密测试 --if ( NT_ERC_OK != push_api_->StartPublisher(push_handle, NULL) ){if ( !is_started_rtsp_stream_ ){push_api_->Close(push_handle);SetPushHandle(nullptr);}return false;}// // test push rtsp ++// push_api_->SetPushRtspTransportProtocol(push_handle, 1);// // push_api_->SetPushRtspTransportProtocol(push_handle, 2);// push_api_->SetPushRtspURL(push_handle, "rtsp://player.daniulive.com:554/liverelay111.sdp");// push_api_->StartPushRtsp(push_handle, 0);// // test push rtsp--is_pushing_ = true;return true;
}

6. 传递转推RTMP数据：

void nt_stream_relay_wrapper::OnVideoDataHandle(NT_HANDLE handle, NT_UINT32 video_codec_id, NT_BYTE* data, NT_UINT32 size, NT_SP_PullStreamVideoDataInfo* info)
{if (!is_pushing_ && !is_started_rtsp_stream_)return;if ( pull_handle_ != handle )return;if (data == NULL)return;if (size < 1)return;if (info == NULL)return;std::unique_lock<std::recursive_mutex> lock(push_handle_mutex_);if (!is_pushing_ && !is_started_rtsp_stream_)return;if (push_handle_ == NULL)return;push_api_->PostVideoEncodedDataV2(push_handle_, video_codec_id,data, size, info->is_key_frame_, info->timestamp_, info->presentation_timestamp_);
}void nt_stream_relay_wrapper::OnAudioDataHandle(NT_HANDLE handle, NT_UINT32 auido_codec_id,NT_BYTE* data, NT_UINT32 size, NT_SP_PullStreamAuidoDataInfo* info)
{if (!is_pushing_ && !is_started_rtsp_stream_)return;if (pull_handle_ != handle)return;if (data == NULL)return;if (size < 1)return;if (info == NULL)return;std::unique_lock<std::recursive_mutex> lock(push_handle_mutex_);if (!is_pushing_ && !is_started_rtsp_stream_)return;if (push_handle_ == NULL)return;push_api_->PostAudioEncodedData(push_handle_, auido_codec_id, data, size,info->is_key_frame_, info->timestamp_, info->parameter_info_, info->parameter_info_size_);
}

7. 关闭实时RTMP转推

void nt_stream_relay_wrapper::StopPush()
{if ( !is_pushing_ )return;is_pushing_ = false;std::unique_lock<std::recursive_mutex> lock(push_handle_mutex_);if ( nullptr == push_handle_ )return;push_api_->StopPublisher(push_handle_);// // test push rtsp ++// push_api_->StopPushRtsp(push_handle_);// // test push rtsp--if ( !is_started_rtsp_stream_ ){push_api_->Close(push_handle_);push_handle_ = nullptr;}
}

以上就是RTSP或RTMP流转RTMP推送的流程，感兴趣的开发者，可做设计参考。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/553147.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

如何在RTSP/RTMP直播过程中加入SEI扩展数据发送和接收解析

如何在RTSP/RTMP直播过程中加入SEI扩展数据发送和接收解析

在直播系统中&#xff0c;除了直播音视频之外&#xff0c;有时候还想从主播端发布文本信息等&#xff0c;这些信息可以不通过视频传输通道发送给用户播放端&#xff0c;但如果传输的数据想和视频保持精准同步&#xff0c;那最好的办法就是这些信息和视频数据打包在一起传输&…
阅读更多...
如何拉取公网RTSP/RTMP流在内网多客户端播放

如何拉取公网RTSP/RTMP流在内网多客户端播放

好多情况下&#xff0c;一路RTSP或RTMP网络流过来后&#xff0c;想共享给更多局域网内的客户端播放&#xff0c;一般来说&#xff0c;有两种设计方案&#xff1a; 1. 拉取的RTSP或RTMP流&#xff0c;回调后的数据&#xff0c;转推RTMP服务器&#xff0c;内网部署一台RTMP服务器…
阅读更多...
轻量级RTSP服务存在的意义

轻量级RTSP服务存在的意义

为什么要设计轻量级RTSP服务 轻量级RTSP服务解决的核心痛点是避免用户或者开发者单独部署RTSP或者RTMP服务。 轻量级RTSP服务可满足内网无纸化/电子教室等内网超低延迟的低并发需求&#xff0c;避免让用户配置单独的服务器&#xff0c;大牛直播SDK在推送端发布了轻量级RTSP服…
阅读更多...
Windows平台RTMP/RTSP直播推送模块设计和使用说明

Windows平台RTMP/RTSP直播推送模块设计和使用说明

开发背景 好多开发者一直反馈&#xff0c;Windows平台&#xff0c;做个推屏或者推摄像头&#xff0c;推RTMP或者RTSP出去&#xff0c;不知道哪些功能是必须的&#xff0c;哪些设计是可有可无的&#xff0c;还有就是&#xff0c;不知道如何选技术方案&#xff0c;以下是基于我们…
阅读更多...
跨平台低延迟的RTMP/RTSP直播播放器设计实现

跨平台低延迟的RTMP/RTSP直播播放器设计实现

开发背景 2015年&#xff0c;当我们试图在市面上找一款专供直播播放使用的低延迟播放器&#xff0c;来配合测试我们的RTMP推送模块使用时&#xff0c;居然发现没有一款好用的&#xff0c;市面上的&#xff0c;如VLC或Vitamio&#xff0c;说白了都是基于FFMPEG&#xff0c;在点…
阅读更多...
如何实现RTMP推送Android Camera2数据

如何实现RTMP推送Android Camera2数据

Camera2简介 在Google 推出Android 5.0的时候, Android Camera API 版本升级到了API2(android.hardware.camera2), 之前使用的API1(android.hardware.camera)就被标为 Deprecated 了。 Camera API2相较于API1有很大不同, 并且API2是为了配合HAL3进行使用的, API2有很多API1不…
阅读更多...
面向内网无纸化会议/智慧教室/实时同屏，组播还是RTMP？

面向内网无纸化会议/智慧教室/实时同屏，组播还是RTMP？

一、背景 为满足内网无纸化/电子教室等内网超低延迟需求&#xff0c;避免让用户配置单独的服务器&#xff0c;我们研发了轻量级RTSP服务开发包。 单播不再赘述&#xff0c;这里重点介绍下我们的组播技术方案&#xff1a; 组播解决的主要痛点是服务器部署和带宽占用问题&…
阅读更多...
Windows平台下如何实现Unity3D下的RTMP推送

Windows平台下如何实现Unity3D下的RTMP推送

好多开发者苦于很难在unity3d下实现RTMP直播推送&#xff0c;本次以大牛直播SDK&#xff08;Github&#xff09;的Windows平台RTMP推送模块&#xff08;以推摄像头为例&#xff0c;如需推屏幕数据&#xff0c;设置相关参数即可&#xff09;为例&#xff0c;介绍下unity3d的RTMP…
阅读更多...
D3D还是GDI? Windows平台播放RTSP或RTMP渲染模式比较

D3D还是GDI? Windows平台播放RTSP或RTMP渲染模式比较

先说结论&#xff0c;Windows平台播放渲染这块&#xff0c;支持D3D的前提下&#xff0c;优先D3D&#xff0c;如果检测到不支持D3D&#xff0c;数据回调上来&#xff0c;GDI模式绘制。 相比GDI模式&#xff0c;D3D绘制更细腻&#xff0c;绘制效率更高&#xff0c;CPU占用低&…
阅读更多...
变废为宝：使用废旧手机实现实时监控方案

变废为宝：使用废旧手机实现实时监控方案

随着手机淘汰的速度越来越快&#xff0c;大多数手机功能性能很强劲就不再使用了&#xff0c;以大牛直播SDK现有方案为例&#xff0c;本文探讨下&#xff0c;如何用废旧手机实现实时监控方案&#xff08;把手机当摄像头做监控之用&#xff09;&#xff1a; 本方案需要准备一个手…
阅读更多...
轻量级RTSP服务和内置RTSP网关的区别和联系

轻量级RTSP服务和内置RTSP网关的区别和联系

好多开发者疑惑&#xff0c;什么是内置RTSP网关&#xff0c;和轻量级RTSP服务又有什么区别和联系&#xff1f;本文就以上问题&#xff0c;做个简单的介绍&#xff1a; 轻量级RTSP服务 为满足内网无纸化/电子教室等内网超低延迟需求&#xff0c;避免让用户配置单独的服务器&am…
阅读更多...
内网无纸化会议/智慧教室实时同屏RTSP组播技术方案思考

内网无纸化会议/智慧教室实时同屏RTSP组播技术方案思考

内网环境下&#xff0c;为了满足内网无纸化/电子教室等内网超低延迟需求&#xff0c;避免让用户配置单独的服务器&#xff0c;好多开发者希望有RTSP的技术方案&#xff0c;用于小并发场景&#xff0c;特别是在组网环境好的有线环境下&#xff0c;使用RTSP服务配合组播&#xff…
阅读更多...
Windows平台真实时毫秒级4K H264/H265直播技术方案探讨

Windows平台真实时毫秒级4K H264/H265直播技术方案探讨

背景 在刚提出4K视频的时候&#xff0c;大多数人都觉得没有必要&#xff0c;4K的出现&#xff0c;意味着更高的硬件规格和传输要求&#xff0c;1080P看的很爽、很清晰&#xff0c;完全满足了日常的需求。随着电视的尺寸越来越大&#xff0c;原本1080P成像已经无法满足人们对于…
阅读更多...
跨平台屏幕/摄像头RTMP推流模块设计要点

跨平台屏幕/摄像头RTMP推流模块设计要点

经常有企业或开发者有这样的疑惑&#xff0c;明明看到网上的demo&#xff0c;一个RTMP推送&#xff0c;五六个接口就搞定了&#xff0c;你们咋就搞得这么复杂&#xff1f; 以大牛直播SDK的&#xff08;Github&#xff09;Windows RTMP推流为例&#xff0c;我们的接口要100多个…
阅读更多...
Android平台Camera2数据如何对接RTMP推流到服务器

Android平台Camera2数据如何对接RTMP推流到服务器

1. Camera2架构 在Google 推出Android 5.0的时候, Android Camera API 版本升级到了API2(android.hardware.camera2), 之前使用的API1(android.hardware.camera)就被标为 Deprecated 了。 Camera API2相较于API1有很大不同, 并且API2是为了配合HAL3进行使用的, API2有很多API…
阅读更多...
IE浏览器下如何低延迟播放RTSP或RTMP流

IE浏览器下如何低延迟播放RTSP或RTMP流

首先&#xff0c;虽然本文是介绍IE浏览器下OCX控件播放RTSP或RTMP&#xff0c;但这种方式并不推荐&#xff0c;毕竟它只能用于IE浏览器环境下&#xff0c;局限太大&#xff0c;而且随着微软IE浏览器的更新&#xff0c;不确定后续支持情况。当然&#xff0c;话说回来&#xff0c…
阅读更多...
Windows平台RTMP播放器/RTSP播放器如何在播放窗口添加OSD文字叠加

Windows平台RTMP播放器/RTSP播放器如何在播放窗口添加OSD文字叠加

好多开发者在做Windows平台特别是单屏多画面显示时&#xff0c;希望像监控摄像机一样&#xff0c;可以在播放画面添加OSD台标&#xff0c;以实现字符叠加效果&#xff0c;大多开发者可很轻松的实现以上效果&#xff0c;针对此&#xff0c;本文以大牛直播SDK &#xff08;Github…
阅读更多...
Windows平台Unity3d下如何同时播放多路RTSP或RTMP流

Windows平台Unity3d下如何同时播放多路RTSP或RTMP流

好多开发者在做AR、VR或者教育类产品时&#xff0c;苦于如何在windows平台构建一个稳定且低延迟的RTSP或者RTMP播放器&#xff0c;如果基于Unity3d完全重新开发一个播放器&#xff0c;代价大、而且周期长&#xff0c;不适合快速出产品&#xff0c;我们认为当前最好的方式就是集…
阅读更多...
Vscode —— 解决Vscode终端无法使用npm的命令的问题

Vscode —— 解决Vscode终端无法使用npm的命令的问题

在cmd中可以正常执行npm -v等指令,但是在vs code终端中,无法执行npm -v,node -v等指令 出现报错 解决办法&#x1f447; 方法一&#xff1a;【右键单击Vscode】以【管理员身份运行】&#xff0c;【重启Vscode】 方法二&#xff1a;①【用户变量】的【path】添加npm所在路径的…
阅读更多...
浏览器播放RTSP视频流几种解决方案

浏览器播放RTSP视频流几种解决方案

方案一: H5 websocket_rtsp_proxy 实现视频流直播 Streamedian 提供了一种“html5_rtsp_player websock_rtsp_proxy”的技术方案&#xff0c;可以通过html5的video标签直接播放RTSP的视频流。 整个架构如下图所示&#xff0c;分为服务器端和浏览器端两部分&#xff1a; 方案…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023