今天我们来继续讲音视频是怎么保持同步的。
常用同步策略
前面已经说了,实现音视频同步,在播放时,需要进行选定一个重要参考时钟,读取帧上的时间戳,同时企业根据的参考时钟来动态管理调节播放。它是目前已知的是,时间标记PTS,那么参考时钟一般有三种选择:
将视频进行同步到音频上:就是以音频的播放速度为基准来同步视频。
将音频同步到视频:它根据视频的播放速度对音频进行同步。
外部的视频和音频同步的时钟:选择外部时钟参考,视频和音频播放的快时钟作为标准。
当播放源比参考系统时钟慢,则加快其播放速度,或者直接丢弃;快了,则延迟可以播放。
这三个都是最基本的策略,考虑到人的敏感度比视频的声音更强,音频调节将带来不吸引人的体验,而音频播放时钟线性增长,它通常是在一个参考音频时钟的时钟,同步视频音频。
调整政策简单地阻止早期或晚期到达延迟或速度高达过程中,有时是不够的。
对于从阶段广播,尤其是TS实时流,由于视频解码依靠第一I帧,和音频可以是实时的输出,这种情况可能出现更先进的音频视频PTS PTS,同步这种情况下,它势必导致更明显的慢速同步。
音视频同步简单示例代码
代码引用ffplay实现,同时添加自己的修改。基准时钟同步到所述样本代码的音频,视频音频:
获取企业当前要显示的video PTS,减去上一帧进行视频PTS,则得出上一帧通过视频应该研究显示的时长delay;
当前视频PTS与当前音频PTS比较,音频和视频的diff之间的间隙的基准时钟;
获取信息同步进行阈值sync_threshold,为一帧通过视频发展差距,范围为10ms-100ms;
差分小于sync_threshold,认为不需要同步;否则,延迟差分值是正确的延迟;正确的
如果不是sync_threshold多,背后的音频和视频,你需要减少延迟,从而使当前帧显示为尽快。
因为这很可能跟上视频解码,再怎么调整延迟是没用的。
如果没有超过sync_threshold,且视频发展快于音频,那么需要不断加大delay,让当前帧延迟数据显示。
会延迟*2慢慢调整间隙,这是轻轻调整间隙,因为直接延迟diff,会让图片滞后。
如果很长一段时间之前,视频显示器本身,所以直接到位延迟+DIFF步进调节,因为这种情况,然后慢慢调整并没有太大的意义。
考虑到渲染的耗时,还需进行分析调整。frame_timer系统是一个时间显示,frame_timer+对延迟curr_time,接下去的显示时间延迟是必需的当前帧的。
以上就是音视频是怎么保持同步的全部内容啦。