[webrtc] rtcp模块中rtt时间计算

RTT指 round-trip time,即计算AB两端的往返时延

这里可以分成两个问题:

如何在A端估算A和B之间的RTT时间?

如何在B端估算A和B之间的RTT时间?

 

本文参考资料:
rfc 3550
rfc 3611
webrtc issue https://code.google.com/p/webrtc/issues/detail?id=1613
以及解决版本
https://code.google.com/p/webrtc/source/detail?r=4898
https://code.google.com/p/webrtc/source/detail?r=5063

 

 

一、假设A -> B 发送视频. 那么如何在A端估算A->B之间的RTT时间?

RFC 3550 http://tools.ietf.org/html/rfc3550#section-6.4.1
6.4.1 SR: Sender Report RTCP Packet
中描述了如何在发送端计算RTT时间.
大概过程如下:
A 发送 SR 包, 并记录SR包的发送时间. 记为send_time
B 接收到 A的SR包后, 记录下最后一次接受到SR包的时间. 记为last_recv_time
... (B等待发送rtcp包)
B 发送 RR包, 计算从[last_recv_time] 到 当前时间的延时. 记录为delay_since_last_SR. 附加到RR包中.
A 收到 B的RR包后, 计算RTT
RTT = send_time - delay_since_last_SR - last_recv_time

对应到webrtc中的实现.

何时发送rtcp ?
ModuleRtpRtcpImpl::Process
if (rtcp_sender_.TimeToSendRTCPReport()) {
rtcp_sender_.SendRTCP(GetFeedbackState(), kRtcpReport);
}
在RTCPSender::TimeToSendRTCPReport 详细说明了RTCP的发送频率.
每次发送RTCP时都会计算出下一次发送rtcp的时间, 即_nextTimeToSendRTCP.
对于 RR和SR包. 计算如下.
RTCPSender::PrepareRTCP
....
if( rtcpPacketTypeFlags & kRtcpRr ||
rtcpPacketTypeFlags & kRtcpSr)
{
// generate next time to send a RTCP report
// seeded from RTP constructor
int32_t random = rand() % 1000;
int32_t timeToNext = RTCP_INTERVAL_AUDIO_MS;

if(_audio)
{
timeToNext = (RTCP_INTERVAL_AUDIO_MS/2) +
(RTCP_INTERVAL_AUDIO_MS*random/1000);
}else
{
uint32_t minIntervalMs = RTCP_INTERVAL_AUDIO_MS;
if(_sending)
{
// Calculate bandwidth for video; 360 / send bandwidth in kbit/s.
uint32_t send_bitrate_kbit = feedback_state.send_bitrate / 1000;
if (send_bitrate_kbit != 0)
minIntervalMs = 360000 / send_bitrate_kbit;
}
if(minIntervalMs > RTCP_INTERVAL_VIDEO_MS)
{
minIntervalMs = RTCP_INTERVAL_VIDEO_MS;
}
timeToNext = (minIntervalMs/2) + (minIntervalMs*random/1000);
}
_nextTimeToSendRTCP = _clock->TimeInMilliseconds() + timeToNext;
}
依赖于随机值, 而且音视频的时间也不同.


A -> 发送SR包.
ModuleRtpRtcpImpl::Process
RTCPSender::SendRTCP
RTCPSender::PrepareRTCP
RTCPSender::BuildSR
PrepareRTCP 中通过_sending(是否是发送端) 状态判定发送SR或RR. SR包中含有发送时的NTP时间戳.
BuildSR中
_lastSendReport 记录NTP时间的中间32位. 可以标识SR包, 也就是B回应RR包中report block的LSR字段(last SR timestamp ), 通过LSR可以查找_lastRTCPTime.
_lastRTCPTime记录RTCP_NUMBER_OF_SR个数的SR发送时间.
这两个数组是一一对应的.
_lastRTCPTime[0] = Clock::NtpToMs(NTPsec, NTPfrac);
_lastSendReport[0] = (NTPsec << 16) + (NTPfrac >> 16);

最后SendToNetwork.


B -> 接收到SR包.
ModuleRtpRtcpImpl::IncomingRtcpPacket
RTCPReceiver::IncomingRTCPPacket
RTCPReceiver::HandleSenderReceiverReport
在HandleSenderReceiverReport 中保存 SR包中的NTP时间戳
_remoteSenderInfo.NTPseconds = rtcpPacket.SR.NTPMostSignificant;
_remoteSenderInfo.NTPfraction = rtcpPacket.SR.NTPLeastSignificant;
并记录SR包接到时的NTP时间戳
_clock->CurrentNtp(_lastReceivedSRNTPsecs, _lastReceivedSRNTPfrac);


B -> 发送RR包
获取回馈状态, 并发送给A
ModuleRtpRtcpImpl::Process()
if (rtcp_sender_.TimeToSendRTCPReport()) {
rtcp_sender_.SendRTCP(GetFeedbackState(), kRtcpReport);
}

ModuleRtpRtcpImpl::GetFeedbackState()
ModuleRtpRtcpImpl::LastReceivedNTP

state.last_rr_ntp_secs 和state.last_rr_ntp_frac
即为上一次接收到SR包时, 记录的_clock->CurrentNtp(_lastReceivedSRNTPsecs, _lastReceivedSRNTPfrac); 时间戳.
state.remote_sr 通过_remoteSenderInfo.NTPseconds 和 _remoteSenderInfo.NTPfraction, 取中间32位算出.

RTCPSender::PrepareReport
在这里计算延时, 填充到report block中.

// get our NTP as late as possible to avoid a race
_clock->CurrentNtp(*ntp_secs, *ntp_frac);

// Delay since last received report
uint32_t delaySinceLastReceivedSR = 0;
if ((feedback_state.last_rr_ntp_secs != 0) ||
(feedback_state.last_rr_ntp_frac != 0)) {
// get the 16 lowest bits of seconds and the 16 higest bits of fractions
uint32_t now=*ntp_secs&0x0000FFFF;
now <<=16;
now += (*ntp_frac&0xffff0000)>>16;

uint32_t receiveTime = feedback_state.last_rr_ntp_secs&0x0000FFFF;
receiveTime <<=16;
receiveTime += (feedback_state.last_rr_ntp_frac&0xffff0000)>>16;

delaySinceLastReceivedSR = now-receiveTime;
}
report_block->delaySinceLastSR = delaySinceLastReceivedSR;
report_block->lastSR = feedback_state.remote_sr;

report_block->delaySinceLastSR 即为 从接到SR包到发送RR包之间的延时.
report_block->lastSR 即SR包中NTP时间戳的中间32位. (在A端_lastSendReport数组中记录).

A 收到 B的RR包
ModuleRtpRtcpImpl::IncomingRtcpPacket
RTCPReceiver::IncomingRTCPPacket
RTCPReceiver::HandleSenderReceiverReport
RTCPReceiver::HandleReportBlock
通过 lastSR 到sender模块中取出SR包的发送时间.
uint32_t sendTimeMS =
_rtpRtcp.SendTimeOfSendReport(rtcpPacket.ReportBlockItem.LastSR);

计算RTT .

uint32_t delaySinceLastSendReport =
rtcpPacket.ReportBlockItem.DelayLastSR;

// local NTP time when we received this
uint32_t lastReceivedRRNTPsecs = 0;
uint32_t lastReceivedRRNTPfrac = 0;

_clock->CurrentNtp(lastReceivedRRNTPsecs, lastReceivedRRNTPfrac);

// time when we received this in MS
uint32_t receiveTimeMS = Clock::NtpToMs(lastReceivedRRNTPsecs,
lastReceivedRRNTPfrac);

// Estimate RTT
uint32_t d = (delaySinceLastSendReport & 0x0000ffff) * 1000;
d /= 65536;
d += ((delaySinceLastSendReport & 0xffff0000) >> 16) * 1000;

int32_t RTT = 0;

if (sendTimeMS > 0) {
RTT = receiveTimeMS - d - sendTimeMS;
....
}

注意delay since last SR (DLSR) 的单位是1/65536秒.


二、另外一个问题, 那么如何在B端估算A和B之间的RTT时间?

如果是互相视频聊天的话, A和B都是发送端, 自然都可以计算出RTT.
但是B如果仅仅是接收者的话, 仅仅依靠RFC3550协议是无法计算RTT时间的.
需要参考rfc 3611协议, 实现section4.5 的 DLRR Report Block 即可. http://tools.ietf.org/html/rfc3611#section-4.5

webrtc 在bug 1613 https://code.google.com/p/webrtc/issues/detail?id=1613
中讨论该问题. 并在版本 https://code.google.com/p/webrtc/source/detail?r=4898
和https://code.google.com/p/webrtc/source/detail?r=5063 中修复.

具体实现和SR非常类似.
1. 开启XR协议 ModuleRtpRtcpImpl::SetRtcpXrRrtrStatus(true)

webrtc的示例loopback 程序中可以这样启动
receive_config.rtp.rtcp_xr.receiver_reference_time_report = true;

接受者(B)发送RTCP时, 附加kRtcpXrReceiverReferenceTime
发送者(A)发送RTCP时, 附加kRtcpXrDlrrReportBlock

RTCPSender::PrepareRTCP
if (xrSendReceiverReferenceTimeEnabled_ && !_sending)
{
rtcpPacketTypeFlags |= kRtcpXrReceiverReferenceTime;
}
if (feedback_state.has_last_xr_rr)
{
rtcpPacketTypeFlags |= kRtcpXrDlrrReportBlock;
}

B在发送kRtcpXrReceiverReferenceTime, 在last_xr_rr_ map中记录 NTP时间戳中间32位(key) 和 发送时间(value).

A 收到XR_RR包后
在处理kRtcpXrReceiverReferenceTimeCode
RTCPReceiver::HandleXrReceiveReferenceTime

_remoteXRReceiveTimeInfo.lastRR = RTCPUtility::MidNtp(
packet.XRReceiverReferenceTimeItem.NTPMostSignificant,
packet.XRReceiverReferenceTimeItem.NTPLeastSignificant);
_clock->CurrentNtp(_lastReceivedXRNTPsecs, _lastReceivedXRNTPfrac);

记录lastRR和收到XR_RR包的时间.

A 发送RTCP时, 会检查是否收到过xr_rr包.
ModuleRtpRtcpImpl::GetFeedbackState()
state.has_last_xr_rr = LastReceivedXrReferenceTimeInfo(&state.last_xr_rr);

bool RTCPReceiver::LastReceivedXrReferenceTimeInfo(
RtcpReceiveTimeInfo* info) const {
assert(info);
CriticalSectionScoped lock(_criticalSectionRTCPReceiver);
if (_lastReceivedXRNTPsecs == 0 && _lastReceivedXRNTPfrac == 0) {
return false;
}

info->sourceSSRC = _remoteXRReceiveTimeInfo.sourceSSRC;
info->lastRR = _remoteXRReceiveTimeInfo.lastRR;

// Get the delay since last received report (RFC 3611).
uint32_t receive_time = RTCPUtility::MidNtp(_lastReceivedXRNTPsecs,
_lastReceivedXRNTPfrac);

uint32_t ntp_sec = 0;
uint32_t ntp_frac = 0;
_clock->CurrentNtp(ntp_sec, ntp_frac);
uint32_t now = RTCPUtility::MidNtp(ntp_sec, ntp_frac);

info->delaySinceLastRR = now - receive_time;
return true;
}
计算出 从接到last_xr_rr 到当前的延时.
然后发送 kRtcpXrDlrrReportBlock 出去.

B 收到XR_SR后
RTCPReceiver::HandleXrDlrrReportBlock
计算出RTT时间. 保存在xr_rr_rtt_ms_


rtp_rtcp_impl_unittest.cc 测试程序.
TEST_F(RtpRtcpImplTest, RttForReceiverOnly)

 

转载于:https://www.cnblogs.com/lingdhox/p/5746210.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/247157.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Deep learning Reading List

本文转自&#xff1a; http://jmozah.github.io/links/ http://www.datakit.cn/blog/2014/12/31/Deep_learning_Reading_List.html 文章来自J Mohamed Zahoor的深度学习阅读书单。 Following is a growing list of some of the materials i found on the web for Deep Learning…

商户网站使用第三方支付的大致原理和实现

如果把商户网站使用第三方支付平台(比如支付宝)的原理搞清楚&#xff0c;那编程就变得简单多了。 整个过程大致这样&#xff1a; 1、商户与支付宝签约。2、在商户网站购买商品&#xff0c;填写数量&#xff0c;确定购买后跳转到结账页面。结账页面可能包括订单号、定单状态(已支…

Awesome Deep Vision

本文转自&#xff1a;https://github.com/kjw0612/awesome-deep-vision http://jiwonkim.org/awesome-deep-vision/ A curated list of deep learning resources for computer vision, inspired by awesome-php and awesome-computer-vision. Maintainers - Jiwon Kim, Heesoo …

GitHub 新出的 Actions 是什么? 用他做自动测试?

体验分享 本文一个尝鲜的体验分享, 并没有太复杂的技巧, 做了一个最少代码的例子展示, 让每个人都可以把action用起来, 如果路过的大牛有高级技巧请留言分享, 我会补充. 下面正文开始. 是什么? 是一个免费的操作系统容器(Linux/Windows/macOS), 我们可以让他预装开发环境(node…

caffe框架翻译-理解(转载)

本文转自&#xff1a; http://dirlt.com/caffe.html http://blog.csdn.net/songyu0120/article/details/468170851 caffe http://caffe.berkeleyvision.org/ 1.1 setup 安装需要下面这些组件。这些组件都可以通过apt-get获得。 libgoogle-glog-dev # gloglibgflags-dev # gfla…

贾扬清分享_深度学习框架caffe

本文转自&#xff1a; http://www.datakit.cn/blog/2015/06/12/online_meet_up_with_yangqing_jia.html http://www.ifight.me/187/ Caffe是一个清晰而高效的深度学习框架&#xff0c;其作者是博士毕业于UC Berkeley的 贾扬清&#xff0c;目前在Google工作。本文是根据机器学习…

iOS多线程理解

在iOS开发中&#xff0c;线程的创建与管理已经被Apple进行了很好的封装&#xff0c;但是在开发者实际开发中会滥用GCD,导致整个代码混乱不堪&#xff0c;因此在这里需要对iOS开发中的多线程开发进行整理。 1. 主线程完成耗时操作&#xff0c;会导致UI卡顿&#xff0c;因此耗时…

Java生鲜电商平台-SpringCloud微服务架构中分布式事务解决方案

Java生鲜电商平台-SpringCloud微服务架构中分布式事务解决方案 说明&#xff1a;Java生鲜电商平台中由于采用了微服务架构进行业务的处理&#xff0c;买家&#xff0c;卖家&#xff0c;配送&#xff0c;销售&#xff0c;供应商等进行服务化&#xff0c;但是不可避免存在分布式事…

批量提取 caffe 特征 (python, C++, Matlab)(待续)

本文参考如下&#xff1a; Instant Recognition with Caffe Extracting Features Caffe Python特征提取 caffe 练习4 —-利用python批量抽取caffe计算得到的特征——by 香蕉麦乐迪 caffe 练习3 用caffe提供的C函数批量抽取图像特征——by 香蕉麦乐迪 caffe python批量抽…

iOS单例初步理解

iOS单例初步理解 在iOS开发中&#xff0c;系统自带的框架中使用了很多单例&#xff0c;非常方便用户&#xff08;开发者&#xff0c;使用比如[NSApplication sharedApplication] 等&#xff09;&#xff0c;在实际的开发中&#xff0c;有时候也需要设计单例对象&#xff0c;为…

python面向对象之类的成员

面向对象之类的成员 细分类的组成成员 类大致分为两块区域&#xff1a; 第一部分&#xff1a;静态字段 第二部分&#xff1a;动态方法 class Animal:type_name "动物类" # 静态变量&#xff08;静态字段&#xff09;__feature "活的" # 私有静态变量…

python元类、反射及双线方法

元类、反射及双线方法 元类 print(type(abc)) print(type(True)) print(type(100)) print(type([1, 2, 3])) print(type({name: 太白金星})) print(type((1,2,3))) print(type(object))class A:passprint(isinstance(object,type)) print(isinstance(A, type)) type元类是获取该…

iOS中的多线程一般使用场景

在IOS开发中为提高程序的运行效率会将比较耗时的操作放在子线程中执行&#xff0c;iOS系统进程默认启动一个主线程&#xff0c;用来响应用户的手势操作以及UI刷新&#xff0c;因此主线程又叫做UI线程。 前面的Blog说明了NSThread以及GCD处理并发线程以及线程安全&#xff08;线…

iOS中如何优化Cell中图片的下载性能

在iOS开发中使用最为常见的是UITableView&#xff0c;其中UITabelViewCell中下载图片&#xff0c;会影响用户下拉刷新UI,导致卡顿&#xff0c;用户体验不好&#xff0c;在这篇blog中&#xff0c;我将以一个例子来说明如何优化UITableView下载图片 1.使用懒加载方式&#xff0c…

【Yoshua Bengio 亲自解答】机器学习 81 个问题及答案(最全收录)

本文转自&#xff1a;http://mp.weixin.qq.com/s?__bizMzI3MTA0MTk1MA&mid401958262&idx1&sn707f228cf5779a31f0933af903516ba6&scene1&srcid0121zzdeFPtgoRoEviZ3LZDG#rd 译者&#xff1a;张巨岩 王婉婷 李宏菲 戴秋池 这是 Quora 的最新节目&#xf…

Java生鲜电商平台-SpringCloud微服务架构中网络请求性能优化与源码解析

Java生鲜电商平台-SpringCloud微服务架构中网络请求性能优化与源码解析 说明&#xff1a;Java生鲜电商平台中&#xff0c;由于服务进行了拆分&#xff0c;很多的业务服务导致了请求的网络延迟与性能消耗&#xff0c;对应的这些问题&#xff0c;我们应该如何进行网络请求的优化与…

XCode7 创建framework

1.新建一个静态库工程. file→ new→ project, 弹出框中选择iOS→ framework & library中的cocoa touch static library.点击Next,输入product name: TestFramework, 点击Next→ 点击Create. 2.删除向导所生成工程中的Target. 点击工程名→ 点击TARGETS → 右键Delete. …

基础js逆向练习-登录密码破解(js逆向)

练习平台&#xff1a;逆向账号密码 https://login1.scrape.center/ 直接打开平台&#xff0c;输入密码账号&#xff0c;抓包找到加密的参数携带的位置&#xff0c;这边我们找到的是一个叫token的加密参数&#xff0c;这个参数的携带是一个密文 我们首先考虑一下搜索这个加密的…

python之socket

socket套接字 什么叫socket socket是处于应用层与传输层之间的抽象层,他是一组操作起来非常简单的接口(接受数据)此接口接受数据之后,交由操作系统.socket在python中就是一个模块. socket两个分类 基于文件类型的套接字家族 套接字家族的名字&#xff1a;AF_UNIX unix一切皆文件…

iOS----JSON解析

在iOS开发中与服务器进行数据交互操作&#xff0c;操作过程中使用最为常见的格式为JSON与XML,其中JSON较为清量,因此本篇blog就讲解一下如何在iOS中进行JSON解析。 1.建立HTTP请求 &#xff08;1&#xff09;创建URL NSString *URLStr [NSString stringWithFormat:”http:/…