Unity3D下Linux平台播放RTSP或RTMP流

背景

尽管Windows平台有诸多优势，Linux平台的发展还是势不可挡，特别实在传统行业，然而Linux生态构建，总是差点意思，特别是有些常用的组件，本文基于已有的Linux平台RTSP、RTMP播放模块，构建Unity下的RTSP和RTMP直播播放。

技术实现

实际上，Unity层面这块没什么好介绍的，和Windows、Android、iOS平台一样，调用原生的播放模块，回调解码后的数据，在Unity绘制，主要的技术难点，还在原生的处理，也就是拉流、解码、回调数据这块。

先上个只管感受图，本视频以Windows平台采集秒表计时器窗体，然后编码打包传输到RTMP服务，Unity3D的Linux平台RTMP播放器拉流播放，整体延迟毫秒级。

Linux平台，我们是回调的YUV的数据，也就是 NT_SP_E_VIDEO_FRAME_FROMAT_I420：

        /*定义视频帧图像格式*/public enum NT_SP_E_VIDEO_FRAME_FORMAT : uint{NT_SP_E_VIDEO_FRAME_FORMAT_RGB32 = 1, // 32位的rgb格式, r, g, b各占8, 另外一个字节保留, 内存字节格式为: bb gg rr xx, 主要是和windows位图匹配, 在小端模式下，按DWORD类型操作，最高位是xx, 依次是rr, gg, bbNT_SP_E_VIDEO_FRAME_FORMAT_ARGB = 2, // 32位的argb格式，内存字节格式是: bb gg rr aa 这种类型，和windows位图匹配NT_SP_E_VIDEO_FRAME_FROMAT_I420 = 3, // YUV420格式, 三个分量保存在三个面上}

开始播放之前，把回调设置下去：

       //video frame callback (YUV/RGB)videoctrl[sel].video_frame_call_back_ = new SP_SDKVideoFrameCallBack(NT_SP_SetVideoFrameCallBack);NTSmartPlayerSDK.NT_SP_SetVideoFrameCallBack(videoctrl[sel].player_handle_, (Int32)NT.NTSmartPlayerDefine.NT_SP_E_VIDEO_FRAME_FORMAT.NT_SP_E_VIDEO_FRAME_FROMAT_I420, window_handle_, videoctrl[sel].video_frame_call_back_);

视频帧结构：

    /*定义视频帧结构.*/[StructLayoutAttribute(LayoutKind.Sequential)]public struct NT_SP_VideoFrame{public Int32 format_;  // 图像格式, 请参考NT_SP_E_VIDEO_FRAME_FORMATpublic Int32 width_;   // 图像宽public Int32 height_;  // 图像高public Int64 timestamp_; // 时间戳, 一般是0,不使用, 以ms为单位的//具体的图像数据, argb和rgb32只用第一个, I420用前三个public IntPtr plane0_;public IntPtr plane1_;public IntPtr plane2_;public IntPtr plane3_;// 每一个平面的每一行的字节数，对于argb和rgb32，为了保持和windows位图兼容，必须是width_*4// 对于I420, stride0_ 是y的步长, stride1_ 是u的步长, stride2_ 是v的步长,public Int32 stride0_;public Int32 stride1_;public Int32 stride2_;public Int32 stride3_;}

具体回调处理：

   private void SDKVideoFrameCallBack(UInt32 status, IntPtr frame, int sel){//这里拿到回调frame，进行相关操作NT_SP_VideoFrame video_frame = (NT_SP_VideoFrame)Marshal.PtrToStructure(frame, typeof(NT_SP_VideoFrame));VideoFrame  u3d_frame = new VideoFrame();u3d_frame.width_  = video_frame.width_;u3d_frame.height_ = video_frame.height_;u3d_frame.timestamp_ = (UInt64)video_frame.timestamp_;int d_y_stride = video_frame.width_;int d_u_stride = (video_frame.width_ + 1) / 2;int d_v_stride = d_u_stride;int d_y_size = d_y_stride * video_frame.height_;int d_u_size = d_u_stride * ((video_frame.height_ + 1) / 2);int d_v_size = d_u_size;int u_v_height = ((u3d_frame.height_ + 1) / 2);u3d_frame.y_stride_ = d_y_stride;u3d_frame.u_stride_ = d_u_stride;u3d_frame.v_stride_ = d_v_stride;u3d_frame.y_data_ = new byte[d_y_size];u3d_frame.u_data_ = new byte[d_u_size];u3d_frame.v_data_ = new byte[d_v_size];CopyFramePlane(u3d_frame.y_data_, d_y_stride,video_frame.plane0_, video_frame.stride0_, u3d_frame.height_);CopyFramePlane(u3d_frame.u_data_, d_u_stride,video_frame.plane1_, video_frame.stride1_, u_v_height);CopyFramePlane(u3d_frame.v_data_, d_v_stride,video_frame.plane2_, video_frame.stride2_, u_v_height);lock (videoctrl[sel].frame_lock_ ){videoctrl[sel].cur_video_frame_ = u3d_frame;}}

Unity层拿到video frame后，刷新即可：

    private void UpdateProc(int sel){VideoFrame video_frame = null;lock (videoctrl[sel].frame_lock_){video_frame = videoctrl[sel].cur_video_frame_;videoctrl[sel].cur_video_frame_ = null;}if ( video_frame == null )return;if (!videoctrl[sel].is_need_get_frame_)return;if (videoctrl[sel].player_handle_ == IntPtr.Zero )return;if ( !videoctrl[sel].is_need_init_texture_){if (  video_frame.width_ != videoctrl[sel].video_width_|| video_frame.height_ != videoctrl[sel].video_height_|| video_frame.y_stride_ != videoctrl[sel].y_row_bytes_|| video_frame.u_stride_ != videoctrl[sel].u_row_bytes_|| video_frame.v_stride_ != videoctrl[sel].v_row_bytes_ ){videoctrl[sel].is_need_init_texture_ = true;}}if (videoctrl[sel].is_need_init_texture_){if (InitYUVTexture(video_frame, sel)){videoctrl[sel].is_need_init_texture_ = false;}}UpdateYUVTexture(video_frame, sel);}

UpdateYUVTexture相关实现：

    private void UpdateYUVTexture(VideoFrame video_frame, int sel){if (video_frame.y_data_ == null || video_frame.u_data_ == null || video_frame.v_data_ == null){Debug.Log("video frame with null..");return;}if (videoctrl[sel].yTexture_ != null){videoctrl[sel].yTexture_.LoadRawTextureData(video_frame.y_data_);videoctrl[sel].yTexture_.Apply();}if (videoctrl[sel].uTexture_ != null){videoctrl[sel].uTexture_.LoadRawTextureData(video_frame.u_data_);videoctrl[sel].uTexture_.Apply();}if (videoctrl[sel].vTexture_ != null){videoctrl[sel].vTexture_.LoadRawTextureData(video_frame.v_data_);videoctrl[sel].vTexture_.Apply();}}

相关Player封装：

/** SmartPlayerLinuxMono.cs** WebSite: https://daniusdk.com* Github: https://github.com/daniulive/SmarterStreaming*/public void Play(int sel){if (videoctrl[sel].is_running){Debug.Log("已经在播放..");return;}lock (videoctrl[sel].frame_lock_){videoctrl[sel].cur_video_frame_ = null;}OpenPlayer(sel);if (videoctrl[sel].player_handle_ == IntPtr.Zero)return;//设置播放URLNTSmartPlayerSDK.NT_SP_SetURL(videoctrl[sel].player_handle_, videoctrl[sel].videoUrl);/* ++ 播放前参数配置可加在此处 ++ */int play_buffer_time_ = 0;NTSmartPlayerSDK.NT_SP_SetBuffer(videoctrl[sel].player_handle_, play_buffer_time_);                 //设置buffer timeint is_using_tcp = 0;        //TCP模式NTSmartPlayerSDK.NT_SP_SetRTSPTcpMode(videoctrl[sel].player_handle_, is_using_tcp);int timeout = 10;NTSmartPlayerSDK.NT_SP_SetRtspTimeout(videoctrl[sel].player_handle_, timeout);int is_auto_switch_tcp_udp = 1;NTSmartPlayerSDK.NT_SP_SetRtspAutoSwitchTcpUdp(videoctrl[sel].player_handle_, is_auto_switch_tcp_udp);Boolean is_mute_ = false;NTSmartPlayerSDK.NT_SP_SetMute(videoctrl[sel].player_handle_, is_mute_ ? 1 : 0);                    //是否启动播放的时候静音int is_fast_startup = 1;NTSmartPlayerSDK.NT_SP_SetFastStartup(videoctrl[sel].player_handle_, is_fast_startup);              //设置快速启动模式Boolean is_low_latency_ = false;NTSmartPlayerSDK.NT_SP_SetLowLatencyMode(videoctrl[sel].player_handle_, is_low_latency_ ? 1 : 0);    //设置是否启用低延迟模式//设置旋转角度(设置0， 90， 180， 270度有效，其他值无效)int rotate_degrees = 0;NTSmartPlayerSDK.NT_SP_SetRotation(videoctrl[sel].player_handle_, rotate_degrees);int volume = 100;NTSmartPlayerSDK.NT_SP_SetAudioVolume(videoctrl[sel].player_handle_, volume);	//设置播放音量, 范围是[0, 100], 0是静音，100是最大音量, 默认是100// 设置上传下载报速度int is_report = 0;int report_interval = 1;NTSmartPlayerSDK.NT_SP_SetReportDownloadSpeed(videoctrl[sel].player_handle_, is_report, report_interval);/* -- 播放前参数配置可加在此处 -- *///video frame callback (YUV/RGB)videoctrl[sel].video_frame_call_back_ = new SP_SDKVideoFrameCallBack(NT_SP_SetVideoFrameCallBack);NTSmartPlayerSDK.NT_SP_SetVideoFrameCallBack(videoctrl[sel].player_handle_, (Int32)NT.NTSmartPlayerDefine.NT_SP_E_VIDEO_FRAME_FORMAT.NT_SP_E_VIDEO_FRAME_FROMAT_I420, window_handle_, videoctrl[sel].video_frame_call_back_);UInt32 flag = NTSmartPlayerSDK.NT_SP_StartPlay(videoctrl[sel].player_handle_);if (flag == DANIULIVE_RETURN_OK){videoctrl[sel].is_need_get_frame_ = true;Debug.Log("播放成功");}else{videoctrl[sel].is_need_get_frame_ = false;Debug.LogError("播放失败");}videoctrl[sel].is_running = true;}

调用到的OpenPlayer实现：

OpenPlayer主要是调用底层NT_SP_Open()接口，获取播放实例句柄，然后设置Event回调等。

    private void OpenPlayer(int sel){window_handle_ = IntPtr.Zero;if (videoctrl[sel].player_handle_ == IntPtr.Zero){videoctrl[sel].player_handle_ = new IntPtr();UInt32 ret_open = NTSmartPlayerSDK.NT_SP_Open(out videoctrl[sel].player_handle_, window_handle_, 0, IntPtr.Zero);if (ret_open != 0){videoctrl[sel].player_handle_ = IntPtr.Zero;Debug.LogError("调用NT_SP_Open失败..");return;}}videoctrl[sel].event_call_back_ = new SP_SDKEventCallBack(NT_SP_SDKEventCallBack);NTSmartPlayerSDK.NT_SP_SetEventCallBack(videoctrl[sel].player_handle_, window_handle_, videoctrl[sel].event_call_back_);videoctrl[sel].sdk_video_frame_call_back_ = new VideoControl.SetVideoFrameCallBack(SDKVideoFrameCallBack);videoctrl[sel].sdk_event_call_back_ = new VideoControl.SetEventCallBack(SDKEventCallBack);}

关闭播放：

    private void ClosePlayer(int sel){videoctrl[sel].is_need_get_frame_ = false;videoctrl[sel].is_need_init_texture_ = false;if (videoctrl[sel].player_handle_ == IntPtr.Zero){return;}UInt32 flag = NTSmartPlayerSDK.NT_SP_StopPlay(videoctrl[sel].player_handle_);if (flag == DANIULIVE_RETURN_OK){Debug.Log("停止成功");}else{Debug.LogError("停止失败");}videoctrl[sel].player_handle_ = IntPtr.Zero;videoctrl[sel].is_running = false;}

总结

Unity环境下的直播播放，Windows平台或者Android的比较多，用在Linux平台的少之又少，一方面Linux平台本身需求不大，另一方面，Linux平台这块，可参考的例程不多，实际上，如果已经完成Windows或Android平台下的核心功能实现，再移植到Linux下，非常方便。

Unity下，简单来说就是拉流解码回调，上层绘制，其实也没有那么复杂，需要注意的是DllImport的写法、之前C++结构体或枚举的转换、Unity3D对Linux的版本兼容等一些细节，对熟悉C#的开发者来说，不具备多大的技术难度。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/553005.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

std::jthread与std::thread区别

std::jthread与std::thread区别

​std::jthread是C20新引入的线程类，与 std::thread 类似，或者说，jthread是对thread进一步的封装，功能更强大​。 ​std::jthread的​j实际上是​joining的缩写​，​众所周知，std::thread在其生命周期结束…
阅读更多...
Win11如何调整任务栏大小 Win11调整任务栏大小的方法

Win11如何调整任务栏大小 Win11调整任务栏大小的方法

现在已经有很多小伙伴都已经安装Win11系统进行体验了，但有一些小伙伴在体验的时候想要更改任务栏大小却不知道如何操作，那么碰到这种问题应该怎么办呢?下面就和小编一起来看看有什么解决方法吧。 Win11调整任务栏大小的方法 1、win11的任务栏大小&…
阅读更多...
Unity3D平台实现全景实时RTMP|RTSP流渲染

Unity3D平台实现全景实时RTMP|RTSP流渲染

好多开发者的使用场景，需要在Windows特别是Android平台实现Unity3D的全景实时视频渲染，本文以Windows平台为例，简单介绍下具体实现： 如果是RTSP或RTMP流数据，实际上难点，主要在于拉取RTSP或RTMP流&#xf…
阅读更多...
C++17新特性之std::string_view

C++17新特性之std::string_view

std::string_view系C17标准发布后新增的内容，类成员变量包含两个部分：字符串指针和字符串长度，相比std::string, std::string_view涵盖了std::string的所有只读接口。如果生成的std::string无需进行修改操作，可以把std::string转换…
阅读更多...
谷歌浏览器该扩展程序未列在Chrome网上应用店中解决方法

谷歌浏览器该扩展程序未列在Chrome网上应用店中解决方法

很多用户在谷歌浏览器中安装扩展程序的时候会发现有些扩展程序安装后会显示红字“该扩展程序未列在Chrome网上应用店中”，然后插件未能正常启用，这让其很是苦恼，那么下面就来说一下如何解决这类插件安装的问题。 谷歌浏览器该扩展程序未列在…
阅读更多...
Android平台实现RTSP|RTMP转GB28181网关接入

Android平台实现RTSP|RTMP转GB28181网关接入

背景 在事先Android平台RTSP、RTMP转GB28181网关之前，我们已经实现了Android平台GB28181的接入，可实现Android平台采集到的音视频数据，编码后，打包按需发到GB28181服务平台。此外，拉流端，我们已经有了成熟…
阅读更多...
一句话解释C++指针和引用区别

一句话解释C++指针和引用区别

记住一句话就够了：指针三心二意，引用从一而终！ 指针是一个实体，而引用可理解为一个别名； ”sizeof(指针)”得到的是指针本身的大小，”sizeof(引用)”返回所指向的变量(对象)的大小。 引用一定不为空&…
阅读更多...
大地Win11 64位全新专业版系统V2021.08

大地Win11 64位全新专业版系统V2021.08

大地Win11 64位全新专业版系统V2021.08以微软官方原版作为母盘对系统进行了全面优化更新，用户使用更加流畅顺手，轻松体验到系统的优秀性能，适用目前市场最新机型以及老旧机型，多种安装方式供用户选择，且更新时间短无需…
阅读更多...
Unity3D下实现Linux平台RTMP推流（以采集Unity窗体和声音为例）

Unity3D下实现Linux平台RTMP推流（以采集Unity窗体和声音为例）

技术背景 随着物联网等行业的崛起，越来越多的传统行业如虚拟仿真、航天工业、工业仿真、城市规划等，对Linux下的生态构建，有了更大的期望，Linux平台下，可选的直播推拉流解决方案相对Windows和移动端，非常少…
阅读更多...
电脑公司Win11 64位全新旗舰版镜像V2021.08

电脑公司Win11 64位全新旗舰版镜像V2021.08

电脑公司Win11 64位全新旗舰版镜像V2021.08以微软官方原版作为母盘对系统进行了全面优化更新，用户使用更加流畅顺手，轻松体验到系统的优秀性能，适用目前市场最新机型以及老旧机型，多种安装方式供用户选择，且更新时间短…
阅读更多...
Android平台实现VR头显Unity下音视频数据RTMP推送

Android平台实现VR头显Unity下音视频数据RTMP推送

背景 随着技术发展的日新月异，虚拟现实产业已经从过去的探索期，自2020年起，慢慢过渡到高速发展期，随着5G时代的到来，大带宽高可靠低延迟网络环境，为虚拟现实产业提供了很好的网络保障，虚拟现实…
阅读更多...
如何快速区分C++左值和右值

如何快速区分C++左值和右值

C左值和右值，初学者经常傻傻分不清，可参看“C Primer”书中的描述，简单来说： 当一个对象被用作右值的时候，用的是对象的值（内容）；当对象被用作左值的时候，用的是对象的身…
阅读更多...
Win11将沿用Win10升级模式 并会有LTSC版本

Win11将沿用Win10升级模式 并会有LTSC版本

微软官方已经确认 Windows 11 将沿用 Windows 10 的升级模式，包括每月的安全更新、可选累积更新、紧急的带外更新、服务栈更新等等。此外，微软还确认将会有个长期服务渠道（LTSC）版本的 Windows 11。 在近日更新的官方支持文档中&…
阅读更多...
C++11特性之std:call_once介绍

C++11特性之std:call_once介绍

std:call_once是C11引入的新特性&#xff0c;如需使用&#xff0c;只需要#include <mutex>即可&#xff0c;简单来说std:call_once的作用&#xff0c;确保函数或代码片段在多线程环境下&#xff0c;只需要执行一次&#xff0c;常用的场景如Init()操作或一些系统参数的获取…
阅读更多...
2022年了，该学C++还是Java？

2022年了，该学C++还是Java？

最近好多朋友私信我&#xff0c;C好不好学&#xff1f;学C好还是Java好&#xff1f; 我的回答是&#xff1a;C不好学&#xff0c;但你觉得C不好学的话&#xff0c;Java也不好学。因为C难是难在语言本身&#xff0c;java难是难在各种框架和库。 C学习进阶比较陡, 对新手不友好&…
阅读更多...
Outlook怎么打印日历 Outlook日历打印教程

Outlook怎么打印日历 Outlook日历打印教程

Outlook中的日历想要打印出来&#xff0c;该怎么打印日历呢?下面我们就来看看详细的教程。 Outlook怎么打印日历? Outlook日历打印教程 1、下载安装outlook软件。 Outlook怎么打印日历? Outlook日历打印教程 2、双击打开outlook软件&#xff0c;登入邮箱账户。 Outlook…
阅读更多...
Android平台音视频RTMP推送|GB28181对接之动态水印设计

Android平台音视频RTMP推送|GB28181对接之动态水印设计

技术背景 随着移动单兵、智能车载、智慧安防、智能家居、工业仿真、GB28281技术对接等行业的发展&#xff0c;现场已经不再限于采集到视频数据编码打包发送或对接到流媒体服务端&#xff0c;大多场景对视频水印的要求越来越高&#xff0c;从之前的固定位置静态文字水印、png水…
阅读更多...
TIM怎么更新版本 TIM检查更新版本教程

TIM怎么更新版本 TIM检查更新版本教程

TIM是非常好用的软件&#xff0c;与传统的QQ比起来比较轻便&#xff0c;简洁大方&#xff0c;今天小编教大家怎样TIM检查更新。 TIM检查更新版本教程 首先&#xff0c;打开TIM&#xff0c;如下图所示&#xff0c;TIM是这个图标&#xff0c;如果在metro界面&#xff0c;就是第…
阅读更多...
探究C++11智能指针之std::unique_ptr

探究C++11智能指针之std::unique_ptr

背景 谈起C&#xff0c;它被公认为最难学的编程语言之一&#xff0c;不仅语法知识点广泛&#xff0c;细节内容之多&#xff0c;学习难度和学习周期也长&#xff0c;导致好多新入行的开发者对C“敬而远之”&#xff0c;甚至“从入门到放弃”。自C11开始&#xff0c;好多C程序员…
阅读更多...
C++17新特性之try_emplace与insert_or_assign

C++17新特性之try_emplace与insert_or_assign

由于std::map中&#xff0c;元素的key是唯一的&#xff0c;我们经常遇到这样的场景&#xff0c;向map中插入元素时&#xff0c;先检测map指定的key是否存在&#xff0c;不存在时才做插入操作&#xff0c;如果存在&#xff0c;直接取出来使用&#xff0c;或者key不存在时&#x…
阅读更多...
最新文章

Copyright @ 2022~2023