live555关于RTSP协议交互流程

RTP在和h264

RTP在和h265

RTP载荷AAC

live555闭环双向链表

概要

        rtsp在交互的过程中用到很多协议:tcp,udp,rtp,rtcp,sdp等协议；该篇文章主要分析在live555中这些协议是什么时候被创建的，什么时候被使用的等协议相关流程。

TCP：服务器与客户端进行协商(OPTION DESCRIBE SETUP PLAY)；

UDP/TCP：协议是rtsp服务器用来想客户端推流；当然rtsp向客户端推流也可以使用tcp协议；那么就rtsp而言使用udp推流和使用tcp推流有什么区别呢？

UDP推流

        tcp连接进行rtsp信令交互；

        创建新的udp套接字来发送rtp包；

        创建新的udp套接字来发送rtcp包；

TCP推流

        tcp连接进行rtsp信令交互；

        复用rtsp的tcp连接发送rtp和rtcp包；

嵌入式开发一般使用udp推流，实时性相对较高；

RTP：对视频流(h264/h265)/音频流(AAC/MP3)裸流进行封装，用于网络传输；

RTCP：服务器和客户端用来管理流媒体协议；

TCP交互协商

在程序创建RTSPServer类对象时就会创建用于信令协商的TCP协议，见如下代码：

//创建RTSPServer类对象
RTSPServer* rtspServer = RTSPServer::createNew(*env, 8554, authDB);
//createNew实现
RTSPServer*
RTSPServer::createNew(UsageEnvironment& env, Port ourPort,UserAuthenticationDatabase* authDatabase,unsigned reclamationSeconds) {int ourSocketIPv4 = setUpOurSocket(env, ourPort, AF_INET);int ourSocketIPv6 = setUpOurSocket(env, ourPort, AF_INET6);if (ourSocketIPv4 < 0 && ourSocketIPv6 < 0) return NULL;return new RTSPServer(env, ourSocketIPv4, ourSocketIPv6, ourPort, authDatabase, reclamationSeconds);
}

        从源码可以看出创建RTSPServer类对象的时候会创建ipv4和ipv6两种套接字,因此理论上来说live555实现的rtsp服务器支持ipv4和ipv6两种网络传输。

//RTSPServer构造函数
RTSPServer::RTSPServer(UsageEnvironment& env,int ourSocketIPv4, int ourSocketIPv6, Port ourPort,UserAuthenticationDatabase* authDatabase,unsigned reclamationSeconds): GenericMediaServer(env, ourSocketIPv4, ourSocketIPv6, ourPort, reclamationSeconds),fHTTPServerSocketIPv4(-1), fHTTPServerSocketIPv6(-1), fHTTPServerPort(0),fClientConnectionsForHTTPTunneling(NULL), // will get created if neededfTCPStreamingDatabase(HashTable::create(ONE_WORD_HASH_KEYS)),fPendingRegisterOrDeregisterRequests(HashTable::create(ONE_WORD_HASH_KEYS)),fRegisterOrDeregisterRequestCounter(0), fAuthDB(authDatabase),fAllowStreamingRTPOverTCP(True),fOurConnectionsUseTLS(False), fWeServeSRTP(False) {
}
//GenericMediaServer构造函数
GenericMediaServer
::GenericMediaServer(UsageEnvironment& env, int ourSocketIPv4, int ourSocketIPv6, Port ourPort,unsigned reclamationSeconds): Medium(env),fServerSocketIPv4(ourSocketIPv4), fServerSocketIPv6(ourSocketIPv6),fServerPort(ourPort), fReclamationSeconds(reclamationSeconds),fServerMediaSessions(HashTable::create(STRING_HASH_KEYS)),fClientConnections(HashTable::create(ONE_WORD_HASH_KEYS)),fClientSessions(HashTable::create(STRING_HASH_KEYS)),fPreviousClientSessionId(0),fTLSCertificateFileName(NULL), fTLSPrivateKeyFileName(NULL) {ignoreSigPipeOnSocket(fServerSocketIPv4); // so that clients on the same host that are killed don't also kill usignoreSigPipeOnSocket(fServerSocketIPv6); // ditto// Arrange to handle connections from others:env.taskScheduler().turnOnBackgroundReadHandling(fServerSocketIPv4, incomingConnectionHandlerIPv4, this);env.taskScheduler().turnOnBackgroundReadHandling(fServerSocketIPv6, incomingConnectionHandlerIPv6, this);
}

        在GenericMediaServer构造函数中会把创建的fServerSocketIPv4和fServerSocketIPv6这两个套接字插入到双向闭环链表中等待doEventLoop循环处理，对应的处理函数分别为：incomingConnectionHandlerIPv4， incomingConnectionHandlerIPv6；最终都会调用incomingConnectionHandlerOnSocket函数；

void GenericMediaServer::incomingConnectionHandlerOnSocket(int serverSocket) {struct sockaddr_storage clientAddr;SOCKLEN_T clientAddrLen = sizeof clientAddr;int clientSocket = accept(serverSocket, (struct sockaddr*)&clientAddr, &clientAddrLen);if (clientSocket < 0) {int err = envir().getErrno();if (err != EWOULDBLOCK) {envir().setResultErrMsg("accept() failed: ");}return;}ignoreSigPipeOnSocket(clientSocket); // so that clients on the same host that are killed don't also kill usmakeSocketNonBlocking(clientSocket);increaseSendBufferTo(envir(), clientSocket, 50*1024);#ifdef DEBUGenvir() << "accept()ed connection from " << AddressString(clientAddr).val() << "\n";
#endif// Create a new object for handling this connection:(void)createNewClientConnection(clientSocket, clientAddr);
}
//createNewClientConnection函数实现
GenericMediaServer::ClientConnection*
RTSPServer::createNewClientConnection(int clientSocket, struct sockaddr_storage const& clientAddr) {return new RTSPClientConnection(*this, clientSocket, clientAddr, fOurConnectionsUseTLS);
}

        在doEventLoop循环中会议中accept监视tcp连接，如果有客户端连接就会创建客户端连接类RTSPClientConnection；最终会把客户端套接字clientSocket传递给ClientConnection构造函数；

GenericMediaServer::ClientConnection
::ClientConnection(GenericMediaServer& ourServer,int clientSocket, struct sockaddr_storage const& clientAddr,Boolean useTLS): fOurServer(ourServer), fOurSocket(clientSocket), fClientAddr(clientAddr), fTLS(envir()) {fInputTLS = fOutputTLS = &fTLS;// Add ourself to our 'client connections' table:fOurServer.fClientConnections->Add((char const*)this, this);if (useTLS) {// Perform extra processing to handle a TLS connection:fTLS.setCertificateAndPrivateKeyFileNames(ourServer.fTLSCertificateFileName,ourServer.fTLSPrivateKeyFileName);fTLS.isNeeded = True;fTLS.tlsAcceptIsNeeded = True; // call fTLS.accept() the next time the socket is readable}// Arrange to handle incoming requests:resetRequestBuffer();envir().taskScheduler().setBackgroundHandling(fOurSocket, SOCKET_READABLE|SOCKET_EXCEPTION, incomingRequestHandler, this);
}
//incomingRequestHandler函数最终调用
void GenericMediaServer::ClientConnection::incomingRequestHandler() {if (fInputTLS->tlsAcceptIsNeeded) { // we need to successfully call fInputTLS->accept() first:if (fInputTLS->accept(fOurSocket) <= 0) return; // either an error, or we need to try again laterfInputTLS->tlsAcceptIsNeeded = False;// We can now read data, as usual:}int bytesRead;if (fInputTLS->isNeeded) {bytesRead = fInputTLS->read(&fRequestBuffer[fRequestBytesAlreadySeen], fRequestBufferBytesLeft);} else {struct sockaddr_storage dummy; // 'from' address, meaningless in this casebytesRead = readSocket(envir(), fOurSocket, &fRequestBuffer[fRequestBytesAlreadySeen], fRequestBufferBytesLeft, dummy);}handleRequestBytes(bytesRead);//该函数实现了对 OPTION DESCRIBE SETUP等各种信令的处理逻辑
}

        在构造函数中setBackgroundHandling会把客户端套接字fOurSocket和对应的处理函数incomingRequestHandler添加到闭环双链表中，在doEventLoop中循环遍历，客户端有信令交互就调用相关的处理函数；至此用于协商的TCP协议处理流程就结束了。

关于live555的闭环双向链表参考我的另一篇文章：live555的核心数据结构值之闭环双向链表-CSDN博客

UDP流媒体传输

        UDP流媒体传输服务器需要创建两个四个UDP套接字，用于传输音频RTP，音频RTCP，视频RTP，视频RTCP；该文档是以H264的传输为例所以只介绍视频RTP端口，视频RTCP端口的创建过程，音频类似；

        RTP,RTCP端口是在SETUP信令处理函数handleCmd_SETUP中被创建，该函数最终调用了getStreamParameters函数:

subsession->getStreamParameters(fOurSessionId, fOurClientConnection->fClientAddr,clientRTPPort, clientRTCPPort,fStreamStates[trackNum].tcpSocketNum, rtpChannelId, rtcpChannelId,&fOurClientConnection->fTLS,destinationAddress, destinationTTL, fIsMulticast,serverRTPPort, serverRTCPPort,fStreamStates[trackNum].streamToken);

        该函数将客户端的RTP端口：clientRTPPort和RTCP端口：clientRTCPPort都进行了处理；这两个端口是客户端发送SETUP信令时携带的消息；告诉服务器RTP RTCP包改往哪里发；getStreamParameters也创建了服务器的RTP RTCP端口：serverRTPPort, serverRTCPPort；

getStreamParameters内部调用了createGroupsock函数:

void OnDemandServerMediaSubsession ::getStreamParameters(...)
{...if (clientRTPPort.num() != 0 || tcpSocketNum >= 0){ // Normal case: Create destinationsportNumBits serverPortNum;if (clientRTCPPort.num() == 0){// We're streaming raw UDP (not RTP). Create a single groupsock:NoReuse dummy(envir()); // ensures that we skip over ports that are already in usefor (serverPortNum = fInitialPortNum;; ++serverPortNum){serverRTPPort = serverPortNum;rtpGroupsock = createGroupsock(nullAddress(destinationAddress.ss_family), serverRTPPort);if (rtpGroupsock->socketNum() >= 0)break; // success}udpSink = BasicUDPSink::createNew(envir(), rtpGroupsock);}else{// Normal case: We're streaming RTP (over UDP or TCP).  Create a pair of// groupsocks (RTP and RTCP), with adjacent port numbers (RTP port number even).// (If we're multiplexing RTCP and RTP over the same port number, it can be odd or even.)NoReuse dummy(envir()); // ensures that we skip over ports that are already in usefor (portNumBits serverPortNum = fInitialPortNum;; ++serverPortNum){serverRTPPort = serverPortNum;//创建RTP端口(rtp的UDP套接字)rtpGroupsock = createGroupsock(nullAddress(destinationAddress.ss_family), serverRTPPort);if (rtpGroupsock->socketNum() < 0){delete rtpGroupsock;continue; // try again}if (fMultiplexRTCPWithRTP){// Use the RTP 'groupsock' object for RTCP as well:serverRTCPPort = serverRTPPort;rtcpGroupsock = rtpGroupsock;}else{// Create a separate 'groupsock' object (with the next (odd) port number) for RTCP://RTCP端口号在RTP端口号的基础上加1serverRTCPPort = ++serverPortNum;//创建RTCP端口(rtcp的UDP套接字)rtcpGroupsock = createGroupsock(nullAddress(destinationAddress.ss_family), serverRTCPPort);if (rtcpGroupsock->socketNum() < 0){delete rtpGroupsock;delete rtcpGroupsock;continue; // try again}}break; // success}unsigned char rtpPayloadType = 96 + trackNumber() - 1; // if dynamicrtpSink = mediaSource == NULL ? NULL: createNewRTPSink(rtpGroupsock, rtpPayloadType, mediaSource);if (rtpSink != NULL){if (fParentSession->streamingUsesSRTP){rtpSink->setupForSRTP(fMIKEYStateMessage, fMIKEYStateMessageSize);}if (rtpSink->estimatedBitrate() > 0)streamBitrate = rtpSink->estimatedBitrate();}}...
}

        由代码可以看出serverRTPPort的初始值是fInitialPortNum；而fInitialPortNum在创建OnDemandServerMediaSubsession对象时有个默认值6970；如果没有设置端口号则使用默认端口号；

        上面代码可以看出而RTCP端口号是在RTP的端口号的基础上加1

OnDemandServerMediaSubsession(UsageEnvironment& env, Boolean reuseFirstSource,portNumBits initialPortNum = 6970,Boolean multiplexRTCPWithRTP = False);

        当第二个客户端连接时，依然是从6970开始创建所需的RTP RTCP端口号，但是createGroupsock会发现6970 6971端口号被占用，于是返回-1；继续for循环将端口号累加；

 for (portNumBits serverPortNum = fInitialPortNum;; ++serverPortNum){serverRTPPort = serverPortNum;rtpGroupsock = createGroupsock(nullAddress(destinationAddress.ss_family), serverRTPPort);if (rtpGroupsock->socketNum() < 0){delete rtpGroupsock;continue; // try again}...}

//fInitialPortNum为基数6970；

第一个客户端：rtp:6970 rtcp:6971

第二个客户端：6970 6971 被占用createGroupsock返回-1；因此for循环continue继续累加++serverPortNum； rtp:6972 rtcp:6973

......

那么怎么自定义端口号呢？

        我们在做rtsp服务器的时候都会创建一个类用于实现createNewStreamSource虚函数该类继承于OnDemandServerMediaSubsession；而类的构造函数里会执行OnDemandServerMediaSubsession的构造函数；所以如果你想要自己定义服务器的RTP端口号只需在执行OnDemandServerMediaSubsession构造函数是传入参数即可：

H264LiveVideoServerMediaSubssion::H264LiveVideoServerMediaSubssion(UsageEnvironment &env, Boolean reuseFirstSource): OnDemandServerMediaSubsession(env, reuseFirstSource, 1234) {}

        TCP流媒体传输使用的时信令交互的套接字，这里不做解释；关于流媒体裸流怎么打包成RTP的参考上面的文章；

该文章在持续更新，望持续关注；

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/45934.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

WPF学习(3) -- 控件模板

WPF学习(3) -- 控件模板

一、操作过程 二、代码 <Window x:Class"学习.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xaml"xmlns:d"http://schemas.microsoft.com/expressio…
阅读更多...
树莓派pico入坑笔记，esp01/01s使用

树莓派pico入坑笔记，esp01/01s使用

目录 关于树莓派pico和circuitpython的更多玩法&#xff0c;请看树莓派pico专栏 说明 关于at指令 WiFi的at指令 UDP的at指令 样例程序 调试助手端输入指令 sta端程序 效果 进阶使用 库函数说明 样例代码 关于树莓派pico和circuitpython的更多玩法&#xff0c;请看树…
阅读更多...
【随手记】python大规模数据读取

【随手记】python大规模数据读取

题目是MT3055 交换排列 python大规模数据读取用这个sys.stdin.read。 import sys input sys.stdin.read data input().split()这个是题解。 import heapqclass UnionFind:def __init__(self, size):self.parent list(range(size))def find(self, x):if self.parent[x] x:…
阅读更多...
秋招突击——7/12——复习{每日温度、完全平方数、无重复最长子串}——新作{字节面试——控制多线程按照顺序输出}

秋招突击——7/12——复习{每日温度、完全平方数、无重复最长子串}——新作{字节面试——控制多线程按照顺序输出}

文章目录 引言复习每日温度复习实现参考学习 完全平方数复习实现参考学习 无重复字符的最长子串复习实现参考学习 新作控制多线程输出Java实现线程——不使用锁实现使用synchronized关键实现——使用锁实现使用synchronized、wait和notify关键字实现 总结 引言 今天又要面试字…
阅读更多...
Memcached：高性能分布式内存缓存的深度解析

Memcached：高性能分布式内存缓存的深度解析

一、璀璨登场&#xff1a;Memcached的基本概念 在浩瀚的数据处理世界中&#xff0c;Memcached犹如一颗璀璨的星辰&#xff0c;以其独特的魅力照亮了动态Web应用的加速之路。作为Memory Cache Daemon的简写&#xff0c;Memcached自诞生之初便肩负着优化性能、减轻数据库负担的重…
阅读更多...
安全防御，防火墙配置NAT转换智能选举综合实验

安全防御，防火墙配置NAT转换智能选举综合实验

一、实验拓扑图 二、实验需求 1、办公区设备可以通过电信链路和移动链路上网(多对多的NAT&#xff0c;并且需要保留一个公网IP不能用来转换) 2、分公司设备可以通过总公司的移动链路和电信链路访问到Dmz区的http服务器 3、多出口环境基于带宽比例进行选路&#xff0c;但是&…
阅读更多...
DP(3) | 0-1背包 | Java | LeetCode 1049, 494, 474 做题总结（474未完）

DP(3) | 0-1背包 | Java | LeetCode 1049, 494, 474 做题总结（474未完）

1049. 最后一块石头的重量 II 和 LC 416.分割等和子集 类似 思路&#xff08;我没有思路&#xff09;&#xff1a; 两块石头相撞&#xff0c;这里没有想到的一个点是&#xff0c;相撞的两个石头要几乎相似 以示例1为例&#xff0c;stones [2,7,4,1,8,1]&#xff0c;如果从左到…
阅读更多...
R 绘图 - 中文支持

R 绘图 - 中文支持

R 绘图 - 中文支持 R 是一种广泛使用的统计和数据分析编程语言&#xff0c;它提供了强大的绘图功能。然而&#xff0c;R 的默认设置并不直接支持中文&#xff0c;这可能会在使用 R 进行绘图时造成困扰&#xff0c;尤其是当需要在图表中添加中文标签或标题时。本文将介绍如何在…
阅读更多...
Collections：专为集合框架而生的工具类

Collections：专为集合框架而生的工具类

Collections 是 JDK 提供的一个工具类&#xff0c;位于 java.util 包下&#xff0c;提供了一系列的静态方法。 排序操作 reverse(List list)&#xff1a;反转顺序shuffle(List list)&#xff1a;洗牌&#xff0c;将顺序打乱sort(List list)&#xff1a;自然升序sort(List lis…
阅读更多...
信道估计算法

信道估计算法

Least Square Criteria 模型 输入导频序列&#xff0c; x ( n ) , n 0 , 1 , ⋯ , N − 1 x(n),n0,1,\cdots,N-1 x(n),n0,1,⋯,N−1 加性噪声序列&#xff1a; ω ( n ) , n 0 , 1 , ⋯ , N − 1 \omega(n), n 0, 1, \cdots, N-1 ω(n),n0,1,⋯,N−1 输出序列&#xff0c;…
阅读更多...
ls命令学习记录2

ls命令学习记录2

1.用不同的颜色显示内容 ls --color 除了使用-F选项在文件和文件夹名称后面附加特殊的符号&#xff0c;还可以让shell用不同的颜色显示内容&#xff0c;这样就能够用另一种方法把不同的内容进行分类&#xff0c;将它们区分开来。 $ ls --color adblock_filters.txt fixm3u …
阅读更多...
用 netsh wlan show profile 命令查看历史连接过的 wifi

用 netsh wlan show profile 命令查看历史连接过的 wifi

netsh wlan show profile 命令是 Windows 命令行工具中 netsh 的一部分&#xff0c;netsh 是一个强大的网络配置工具。wlan 子命令用于管理和显示无线网络配置。通过 netsh wlan show profile 命令&#xff0c;你可以查看存储在系统中的无线网络配置文件。这些配置文件包含了连…
阅读更多...
java中遍历数组的三种方式

java中遍历数组的三种方式

文章目录 遍历数组的三种方式1.for循环(1)遍历一维数组(2)遍历二维数组 2.foreach遍历(1).遍历一维数组(2).遍历二维数组 3.Arrays里的toString方法(1).遍历一维数组(2).遍历二维数组 遍历数组的三种方式 1.for循环 (1)遍历一维数组 int[] arr {1,3,2,4,5}; for (int i 0;i…
阅读更多...
(算法)硬币问题

(算法)硬币问题

问题&#xff1a;有1元&#xff0c;5元&#xff0c;10元&#xff0c;50元&#xff0c;100元&#xff0c;500元的硬币各有C1,C5,C10.C50,C100,C500个。 现在要用这些硬币来支付A元&#xff0c;最小需要多少枚硬币&#xff1f; 该题使用递归算法&#xff0c;利用局部最优解来推导…
阅读更多...
最小二乘是什么？

最小二乘是什么？

最小二乘法&#xff08;Least Squares Method&#xff09;是一种统计方法&#xff0c;用于通过最小化观测数据与模型预测值之间的误差平方和来拟合数据。这种方法广泛应用于回归分析中&#xff0c;尤其是在线性回归模型中。 基本原理 最小二乘法的基本思想是找到模型参数&…
阅读更多...
数学建模中的辅助变量、中间变量、指示变量

数学建模中的辅助变量、中间变量、指示变量

在数学建模中&#xff0c;除了决策变量外&#xff0c;还有一些其他类型的变量&#xff0c;如中间变量、辅助变量和指示变量。每种变量在模型中都有特定的用途和意义。以下是对这些变量的详细解释&#xff1a; 1. 决策变量&#xff08;Decision Variables&#xff09; 定义&am…
阅读更多...
求职笔记day3

求职笔记day3

运动量3.5万步。五园连通未完成。 未考试&#xff0c;朋友建议按代码随想录的框架先刷对应的知识点。 代码随想录 (programmercarl.com) 704. 二分查找 - 力扣&#xff08;LeetCode&#xff09; 单词倒排_牛客题霸_牛客网 (nowcoder.com)
阅读更多...
5Python的Pandas：数据结构

5Python的Pandas：数据结构

Pandas是基于强大的NumPy库开发的&#xff0c;它继承了NumPy中的一些数据结构&#xff0c;也继承了NumPy的高效计算特性。 1.Python的数据类型 Python 提供了多种数据类型&#xff0c;用于存储和操作不同类型的数据。以下是一些主要的数据类型&#xff1a; 数值类型&#xff…
阅读更多...
解答|服务器只能开22端口可以申请IP地址SSL证书吗？

解答|服务器只能开22端口可以申请IP地址SSL证书吗？

IP地址SSL证书&#xff0c;是一种专门颁发给公网IP地址的SSL证书&#xff0c;而不是常见的基于域名的SSL证书。SSL证书主要用于保障数据在客户端&#xff08;如用户的浏览器&#xff09;和服务器之间传输时的加密性和安全性&#xff0c;以防止数据被截取或篡改。 服务器只能开…
阅读更多...
翁恺-C语言程序设计-07-1. 换个格式输出整数

翁恺-C语言程序设计-07-1. 换个格式输出整数

07-1. 换个格式输出整数 让我们用字母B来表示“百”、字母S表示“十”&#xff0c;用“12…n”来表示个位数字n&#xff08;<10&#xff09;&#xff0c;换个格式来输出任一个不超过3位的正整数。例如234应该被输出为BBSSS1234&#xff0c;因为它有2个“百”、3个“十”、以…
阅读更多...
最新文章

Copyright @ 2022~2023