Windows平台RTMP/RTSP直播推送模块设计和使用说明

开发背景

好多开发者一直反馈，Windows平台，做个推屏或者推摄像头，推RTMP或者RTSP出去，不知道哪些功能是必须的，哪些设计是可有可无的，还有就是，不知道如何选技术方案，以下是基于我们设计的Windows平台RTSP、RTMP直播推送模块，设计和使用说明，供大家参考。

整体方案架构

Windows平台RTMP或RTSP推送，系采集端模块，主要完成，屏幕或者摄像头数据、麦克风或扬声器数据的采集，编码，然后按照特定格式打包，通过RTMP或者RTSP传输出去，实现直播目的。

对应设计架构图的“发布端”，编码后的音视频数据，按照协议打包后，推送到流媒体服务器（如RTMP服务器，自建服务，可以考虑SRS或者nginx服务器，如果是RTSP服务器，可以考虑苹果官方的darwin streaming server）。

这种方案的设计，一般是一对多设计模型，接收端接收RTMP或RTSP流，然后解析音视频数据，解码、同步音视频数据，并绘制，实现整体的直播解决方案。

以下是设计架构图：

模块设计

自有框架，易于扩展，自适应算法让延迟更低、采集编码传输效率更高；
所有功能以接口形式提供，所有状态，均有event回调，支持断网自动重连；
模块化设计，可和大牛直播RTSP或RTMP直播播放模块组合实现流媒体数据转发、连麦、一对一互动等场景；
推送叠加以层级模式提供，开发者可以自行组合数据源(如多摄像头/屏幕/水印叠加)；
支持外部YUV/RGB/H.264/AAC/SPEEX/PCMA/PCMU数据源接入；
所有参数均可通过SDK接口单独设置，亦可通过默认参数，傻瓜式设置；
推送、录像、内置轻量级RTSP服务模块完全分离，可单独使用亦可组合使用。

功能设计

[本地预览]支持摄像头/屏幕/合成数据实时预览功能；
[摄像头反转/旋转]支持摄像头水平反转、垂直反转、0°/90°/180°/270°旋转；
[摄像头采集]除常规YUV格式外，还支持MJPEG格式的摄像头采集；
[RTMP推流]超低延时的RTMP协议直播推流SDK（Windows平台特定机型硬编码支持RTMP扩展H.265推送）；
[视频格式]Windows支持H.264/H.265编码；
[音频格式]支持AAC编码和Speex编码；
[音频编码]支持Speex推送、Speex编码质量设置；
[软硬编码参数配置]支持gop间隔、帧率、bit-rate设置；
[软编码参数配置]支持软编码profile、软编码速度、可变码率设置；
[多实例推送]支持多实例推送(如同时推送屏幕/摄像头和外部数据)；
[RTMP扩展H.265]Windows/Android推送SDK支持RTMP扩展H.265推送，Windows针对摄像头采集软编码，使用H.265可变码率，带宽大幅节省，效果直逼传统H.265编码摄像头；
[多分辨率支持]支持摄像头或屏幕多种分辨率设置；
[Windows推屏]支持屏幕裁剪、窗口采集、屏幕/摄像头数据合成等多种模式推送；
[事件回调]支持各种状态实时回调；
[水印]Windows平台支持文字水印、png水印、实时遮挡；
[复杂网络处理]支持断网重连等各种网络环境自动适配；
[动态码率]支持根据网络情况自动调整推流码率；
[实时静音]支持推送过程中，实时静音/取消静音；
[实时快照]支持推流过程中，实时快照；
[纯音频推流]支持仅采集音频流并发起推流功能；
[纯视频推流]支持特殊场景下的纯视频推流功能；
[降噪]支持环境音、手机干扰等引起的噪音降噪处理、自动增益、VAD检测；
[外部编码前视频数据对接]支持YUV数据对接；
[外部编码前音频数据对接]支持PCM对接；
[外部编码后视频数据对接]支持外部H.264数据对接；
[外部编码后音频数据对接]外部AAC/PCMA/PCMU/SPEEX数据对接；
[扩展录像功能]完美支持和录像SDK组合使用；
[服务器兼容]支持支持自建服务器(如Nginx、SRS)或CDN。

集成和使用说明

demo说明

Windows平台RTMP/RTSP直播推送模块对外提供C++/C#两套接口，对外提供32/64位库，C++和C#接口一一对应，C#接口比C++接口增加前缀NT_PB_。
WIN-PublisherSDK-CPP-Demo：推送端SDK对应的C++接口的demo；
WIN-PublisherSDK-CSharp-Demo：推送端SDK对应的C#接口的demo；
推送端模块支持Win7及以上系统。
本demo基于VS2013开发。

C++头文件：

[类型定义]nt_type_define.h
[Log定义]smart_log.h
[Log定义]smart_log_define.h
[音视频类型定义]nt_common_media_define.h
[base code定义]nt_base_code_define.h
[publisher接口]nt_smart_publisher_define.h
[publisher接口]nt_smart_publisher_sdk.h

C#头文件：

[Log定义]smart_log.cs
[Log定义]smart_log_define.cs
[base code定义]nt_base_code_define.cs
[publisher接口]nt_smart_publisher_define.cs
[publisher参数定义]nt_smart_publisher_sdk.cs

相关Lib：

SmartLog.dll
SmartLog.lib
SmartPublisherSDK.dll
SmartPublisherSDK.lib
avcodec-56.dll
avdevice-56.dll
avfilter-5.dll
avformat-56.dll
avutil-54.dll
postproc-53.dll
swresample-1.dll
swscale-3.dll

集成步骤

把lib目录下debug/release库拷贝到需要集成的工程对应的debug或release目录下（确保32位/64位库debug/release目录一一对应）；

lib目录如下：

1. 32位debug库：debug
2. 32位release库：release
3. 64位debug库：x64\debug
4. 64位release库：x64\release

2. 相关cs头文件，加入需要集成的工程；

3. 在需要集成的工程，右键->Properties->Application->Assembly name，写入“SmartPulisherDemo”。

功能详解

考虑到Windows平台推送端SDK功能相对复杂，以问答式：

1视频采集设置

1. 屏幕和摄像头相互切换：用于在线教育或者无纸化等场景，推送或录像过程中，随时切换屏幕或摄像头数据（切换数据源），如需实时切换，点击页面“切换到摄像头”按钮即可；

2. 设置遮盖层，用于设定一个长方形或正方形区域（可自指定区域大小），遮盖不想给用户展示的部分；

3. 水印：添加PNG水印，支持推送或录像过程中，随时添加、取消水印；

4. 摄像头叠加到屏幕：意在用于同屏过程中，主讲人摄像头悬浮于屏幕之上（可指定叠加坐标），实现双画面展示，推送或录像过程中，可以随时取消摄像头叠加；

5. 屏幕叠加到摄像头：同4，效果展示，实际根据需求实现；

6. 采集桌面：可以通过点击“选择屏幕区域”获取采集区域，并可在采集过程中，随时切换区域位置，如不设定，默认全屏采集；

7. 使用DXGI采集屏幕，采集时停用Aero；

8. 采集窗口：可设定需要采集的窗口，窗口放大或缩小，推送端会自适应码率和分辨率；

9. 采集帧率(帧/秒)：默认屏幕采集8帧，可根据实际场景需求设定到期望帧率；

10. 缩放屏幕大小缩放比：用于高清或超高清屏，通过设定一定的比例因子，缩放屏幕采集分辨率；

11. 采集摄像头：可选择需要采集的摄像头、采集分辨率、帧率、是否需要水平或者垂直反转、是否需要旋转；

追加提问：

问题[确认数据源]：采集桌面还是摄像头？如果桌面，全屏还是部分区域？

回答：

如果是摄像头：可以选择摄像头列表，然后分辨率、帧率。

如果是屏幕：默认帧率是5帧，可以根据实际场景调整，选取屏幕区域，可以实时拉取选择需要采集或录像区域；

如果是叠加模式：可选择摄像头叠加到屏幕，还是屏幕叠加到摄像头；

更高需求的用户，可以设置水印或应用层遮盖。

问题：如果是摄像头，采集到的摄像头角度不对怎么办？

回答：我们支持摄像头镜像和翻转设置，摄像头可通过SDK接口轻松实现水平/垂直翻转、镜像效果。

2 视频码率控制

我选可变码率还是平均码率？

回答：可变码率的优势在于，如果屏幕或摄像头变化不大，码率超低，特别是H.265编码，平均码率，码率比较均匀，需设置平均码率+最大码率，一般摄像头采集建议选择可变码率，屏幕采集选择平均码率，如需采用可变码率，请取消“使用平均码率”选项。

265编码还是H.264编码？

回答：Windows 64位库支持H.265编码，如果推RTMP流，需要服务器支持RTMP H.265扩展，播放器SDK，也需要同步支持RTMP H.265扩展播放。

如果是轻量级RTSP服务SDK对接的话，只需要播放器支持RTSP H.265即可。

如果推摄像头数据，建议采用可变码率+H.265编码。

如何设置码率参数更合理？

回答：

关键帧间隔：一般来说，设置到帧率的2-4倍，比如帧率20，关键帧间隔可以设置到40-80；

平均码率：可以点击“获取视频码率默认值”，最大码率是平均码率的2倍；

视频质量：如果使用可变码率，建议采用大牛直播SDK默认推荐视频质量值；

编码速度：如高分辨率，建议1-3，值越小，编码速度越快；

H.264 Profile：默认baseline profile，可根据需要，酌情设置High profile；

NOTE：点击“推送”或“录像”或启动内置RTSP服务SDK之前，请务必设置视频码率，如不想手动设置，请点击“获取视频码率默认值”！！！

3 音频采集设置

问答式：采集音频吗？如果采集，采集麦克风还是扬声器的，亦或混音？

回答：

如果想采集电脑输出的音频（比如音乐之类），可以选择“采集扬声器”；

如果想采集麦克风音频，可以选择“采集麦克风”，并选择相关设备；

如果两个都想采集，可以两个都选择，混音输出。

4 音频编码

问题：是AAC还是SPEEX？

回答：我们默认是AAC编码模式，如果需要码率更低，可以选择SPEEX编码模式，当然我们的AAC编码码率也不高。

5 音频处理

问题：我想过滤背景噪音怎么办？

回答：选中“噪音抑制”，“噪音抑制“请和“自动增益控制”组合使用，“端点检测(VAD)”可选设置。

问题：我想做一对一互动怎么办？

回答：选中“回音消除”，可以和“噪音抑制”、“自动增益控制”组合使用。

问题：我推送或者录像过程中，随时静音怎么办？

回答：推送过程中，随时选择或取消选择“静音”功能。

6多路推送

问题：我想同时推送到多个url怎么办(比如一个内网服务器，一个外网服务器)？

回答：同时填写多个url，然后点推送即可。

7 截图(快照)

问题：我想推送或者录像过程中，截取当前图像怎么办？

回答：那就设置好截图路径，推送或录像过程中，随时点击“截图”。

8 录像

问题：我还想录像，怎么办？

回答：设置录像文件存放目录，文件前缀、单个文件大小，是否加日期、时间，随时录制即可，此外，我们的SDK还支持录像过程中，暂停录像，恢复录像。

9 实时预览

问题：我还想看看视频特别是合成后的效果，怎么办？

回答：点击页面的“预览”按钮，就可以看到。

接口调用时序(以C#为例)

如需下载demo源码工程，可以到 Github 下载 “Windows平台RTMP|RTSP推送SDK、内置RTSP服务SDK、录像SDK”，C++或者C#的都有。

1 初始化

NT_PB_Init

如需配置log路径，请在NT_PB_Init之前，做如下设置（目录可自行指定）：

// 设置日志路径(请确保目录存在)

//String log_path = "D:\\pulisherlog";

//NTSmartLog.NT_SL_SetPath(log_path);

2 Open

NT_PB_Open

3 设置回调事件

NT_PB_SetEventCallBack：设置事件回调，如果想监听事件的话，建议调用Open成功后，就调用这个接口
NT_PB_SetVideoPacketTimestampCallBack：设置视频包时间戳回调
NT_PB_SetPublisherStatusCallBack：设置推送状态回调

4 设置屏幕裁剪

NT_PB_SetScreenClip：设置屏幕裁剪
NT_PB_MoveScreenClipRegion：移动屏幕剪切区域，这个接口只能推送或者录像中调用

5 屏幕选取工具

NT_PB_OpenScreenRegionChooseTool：打开一个屏幕选取工具的toolHandle
NT_PB_MoveScreenClipRegion：移动屏幕剪切区域，这个接口只能推送或者录像中调用
NT_PB_AllocateImage：分配Image, 分配后，SDK内部会初始化这个结构体, 失败的话返回NULL
NT_PB_FreeImage：释放Image, 注意一定要调用这个接口释放内存，如果在你自己的模块中释放，Windows会出问题的
NT_PB_CloneImage：克隆一个Image，失败返回NULL
NT_PB_CopyImage：拷贝Image, 会先释放dst的资源，然后再拷贝
NT_PB_SetImagePlane：给图像一个面设置数据，如果这个面已经有数据，将会释放掉再设置
NT_PB_LoadImage：加载PNG图片

6 设置屏幕采集参数

NT_PB_EnableDXGIScreenCapturer：允许使用DXGI屏幕采集方式, 这种方式需要win8及以上系统才支持
NT_PB_DisableAeroScreenCapturer：采集屏幕时停用Aero, 这个只对win7有影响，win8及以上系统, 微软已经抛弃了Aero Glass效果
NT_PB_CheckCapturerWindow：判断顶层窗口能否能被捕获, 如果不能被捕获的话返回NT_ERC_FAILED（采集窗口）
NT_PB_SetCaptureWindow：设置要捕获的窗口的句柄（采集窗口）

7 设置摄像头采集参数

NT_PB_StartGetVideoCaptureDeviceImage：获取句柄，且保存句柄
NT_PB_FlipVerticalVideoCaptureDeviceImage：上下反转设备图像
NT_PB_FlipHorizontalVideoCaptureDeviceImage：水平反转设备图像
NT_PB_RotateVideoCaptureDeviceImage：旋转设备图像, 顺时针旋转
NT_PB_GetVideoCaptureDeviceNumber：获取摄像头数量
NT_PB_GetVideoCaptureDeviceInfo：返回摄像头设备信息
NT_PB_GetVideoCaptureDeviceCapabilityNumber：返回摄像头能力数
NT_PB_GetVideoCaptureDeviceCapability:返回摄像头能力
NT_PB_DisableVideoCaptureResolutionSetting:

在多个实例推送多路时，对于一个摄像头来说,所有实例只能共享摄像头，那么只有一个实例可以改变摄像头分辨率，其他实例使用这个缩放后的图像；

在使用多实例时，调用这个接口禁止掉实例的分辨率设置能力.只留一个实例能改变分辨，如果不设置，行为未定义；

这个接口必须在 SetLayersConfig, AddLayerConfig 之前调用。

NT_PB_StartVideoCaptureDevicePreview: 启动摄像头预览
NT_PB_FlipVerticalCameraPreview：上下反转摄像头预览图像
NT_PB_FlipHorizontalCameraPreview：水平反转摄像头预览图像
NT_PB_RotateCameraPreview：旋转摄像头预览图像, 顺时针旋转
NT_PB_VideoCaptureDevicePreviewWindowSizeChanged：告诉SDK预览窗口大小改变
NT_PB_StopVideoCaptureDevicePreview：停止摄像头预览
NT_PB_GetVideoCaptureDeviceImage：调用这个接口可以获取摄像头图像
NT_PB_StopGetVideoCaptureDeviceImage：停止获取摄像头图像
NT_PB_SetVideoCaptureDeviceBaseParameter：设置摄像头信息
NT_PB_FlipVerticalCamera上下反转摄像头图像
NT_PB_FlipHorizontalCamera：水平反转摄像头图像

NT_PB_RotateCamera：旋转摄像头图像, 顺时针旋转

8 视频合成图层类型

public enum NT_PB_E_LAYER_TYPE : int

{

NT_PB_E_LAYER_TYPE_SCREEN = 1, // 屏幕层

NT_PB_E_LAYER_TYPE_CAMERA = 2, // 摄像头层

NT_PB_E_LAYER_TYPE_RGBA_RECTANGLE = 3, // RGBA矩形

NT_PB_E_LAYER_TYPE_IMAGE = 4, // 图片层

NT_PB_E_LAYER_TYPE_EXTERNAL_VIDEO_FRAME = 5, // 外部视频数据层

NT_PB_E_LAYER_TYPE_WINDOW = 6, // 窗口层

}

9 音视频源类型

/*定义Video源选项*/

public enum NT_PB_E_VIDEO_OPTION : uint

{

NT_PB_E_VIDEO_OPTION_NO_VIDEO = 0x0,

NT_PB_E_VIDEO_OPTION_SCREEN = 0x1, // 采集屏幕

NT_PB_E_VIDEO_OPTION_CAMERA = 0x2, // 摄像头采集

NT_PB_E_VIDEO_OPTION_LAYER = 0x3, // 视频合并，比如桌面叠加摄像头等

NT_PB_E_VIDEO_OPTION_ENCODED_DATA = 0x4, // 已经编码的视频数据，目前支持H264

NT_PB_E_VIDEO_OPTION_WINDOW = 0x5, // 采集窗口

}

/*定义Auido源选项*/

public enum NT_PB_E_AUDIO_OPTION : uint

{

NT_PB_E_AUDIO_OPTION_NO_AUDIO = 0x0,

NT_PB_E_AUDIO_OPTION_CAPTURE_MIC = 0x1, // 采集麦克风音频

NT_PB_E_AUDIO_OPTION_CAPTURE_SPEAKER = 0x2, // 采集扬声器

NT_PB_E_AUDIO_OPTION_CAPTURE_MIC_SPEAKER_MIXER = 0x3, // 麦克风扬声器混音

NT_PB_E_AUDIO_OPTION_ENCODED_DATA = 0x4, // 编码后的音频数据，目前支持AAC, speex宽带(wideband mode)

}

10 视频编码接口

NT_PB_SetVideoEncoderType：设置编码类型, 当前支持h264和h265(注意:h265只有64位sdk库支持, 在32位库上设置会失败)；
NT_PB_SetVideoQuality：设置视频质量, 范围[0-20], 默认是10, 值越小质量越好，但码率会越大
NT_PB_SetVideoQualityV2：设置视频质量, 范围[1-50], 值越小视频质量越好,但码率会越大. 请优先考虑默认值；
NT_PB_SetFrameRate：设置帧率
NT_PB_SetVideoMaxBitRate：设置最大视频码率, 单位kbps
NT_PB_AddVideoEncoderBitrateGroupItem：

* 在一些特殊场景下, 视频分辨率会改变, 如果设置一个固定码率的的话,当视频分辨率变大的时候会变的模糊,变小的话又会浪费码率

* 所以提供可以设置一组码率的接口,满足不同分辨率切换的需求

* 规则: 比如设置两组分辨率 640*360, 640*480, 那么当分辨率小于等于640*360时都使用640*360的码率,

* 当分辨率大于640*360且小于等于640*480时，就使用640*480的码率,如果分辨率大于640*480 那就使用640*480的分辨率

* 为了设置的更准确, 建议多划分几组, 让区间变小

* 调用这个接口每次设置一组,设置多组就调用多次

* item对应 NT_PB_VideoEncoderBitrateGroupItem

NT_PB_ClearVideoEncoderBitrateGroup：清除视频码率组
NT_PB_SetVideoKeyFrameInterval：设置关键帧间隔, 比如1表示所有帧都是关键帧，10表示每10帧里面一个关键帧，25表示每25帧一个关键帧
NT_PB_SetVideoEncoderProfile：设置H264 profile，1: H264 baseline(默认值). 2: H264 main. 3. H264 high
NT_PB_SetVideoEncoderSpeed：设置H264编码速度，speed: 范围是 1 到 6, 值越小，速度越快，质量也越差
NT_PB_SetVideoCompareSameImage：设置是否对图像进行相同比较,相同图像比较一般在采集桌面时有一定好处，可能能降低码率
NT_PB_SetVideoMaxKeyFrameInterval：设置视频最大关键帧间隔, 这个接口一般不使用，这里是用来配合SetVideoCompareSameImage接口的，比如开启图像比较后，SDK发现连续20s图像都是相同的，但播放端需要收到关键帧才能解码播放，所以需要一个限制

11 音频编码接口

NT_PB_GetAuidoInputDeviceNumber：获取系统音频输入设备数
NT_PB_GetAuidoInputDeviceName：获取音频输入设备名称
NT_PB_SetPublisherAudioCodecType：设置推送音频编码类型，type: 1:使用AAC编码， 2:使用speex编码, 其他值返回错误
NT_PB_SetPublisherSpeexEncoderQuality：设置推送Speex编码质量
NT_PB_SetAuidoInputDeviceId：设置音频输入设备ID
NT_PB_IsCanCaptureSpeaker：检查是否能捕获扬声器音频

12 音频处理接口

NT_PB_SetEchoCancellation：设置回音消除
NT_PB_SetNoiseSuppression：设置音频噪音抑制
NT_PB_SetAGC：设置音频自动增益控制
NT_PB_SetVAD：设置端点检测(Voice Activity Detection (VAD))

13 图层合成等接口

NT_PB_SetLayersConfig：设置视频合成层，传入的是一个数组，请正确填充每一层
NT_PB_ClearLayersConfig：清除所有层配置，注意这个接口只能在推送或者录像之前调用，否则结果未定义
NT_PB_AddLayerConfig：增加层配置，注意这个接口只能在推送或者录像之前调用，否则结果未定义
NT_PB_EnableLayer：动态禁止或者启用层
NT_PB_UpdateLayerConfigV2：更新层相关配置, 注意不是层的所有字段都可以更新，只是部分可以更新，并且有些层没有字段可以更新，传入的参数，SDK只选择能更新的字段更新，不能更新的字段会被忽略
NT_PB_UpdateLayerRegion：修改图层
NT_PB_PostLayerImage：给index层投递Image数据，目前主要是用来把rgb和yuv视频数据传给相关层
NT_PB_SetParam：万能接口, 设置参数，大多数问题，这些接口都能解决
NT_PB_GetParam：万能接口, 得到参数，大多数问题，这些接口都能解决

14 RTMP推送-设置推送RTMP Url

NT_PB_SetURL：rtmp推送url设置

15 RTMP推送-启动推送RTMP流

NT_PB_StartPublisher

16 RTMP推送-停止推送RTMP流

NT_PB_StopPublisher：注意，此接口和NT_PB_StartPublisher配套使用

17 RTSP推送-设置传输方式(TCP/UDP)

NT_PB_SetPushRtspTransportProtocol：设置推送rtsp传输方式，一般服务器可同时支持RTSP TCP或UDP传输模式，部分服务器只支持TCP或UDP模式。其中，transport_protocol: 1表示UDP传输rtp包; 2表示TCP传输rtp包. 默认是1, UDP传输。