音视频同步 - 以音频时间为基
上图介绍:
- 该图是以音频的时间为基,对视频播放时间的延迟控制方案,只调整视频的播放延时。
- delayTime是视频播放的延迟时间,初始值是1 / FPS * 1000 (ms),如果FPS为25帧率,初始值即为40ms。为理解同步过程,明确一点,delayTime是会不断调整的,并不是一直40ms。
- 以上的time_base,结构体是AVStream::time_base。
- Step2中展示的是diff(音视频播放时差)处于不同范围时,对应不同的视频播放延迟时间(delayTime)。
流程:
Step1:判断 音频帧 or 视频帧 快 ?
时间差(diff) = 音频播放时间 - 视频播放时间;
Step2:当diff > 0 ms 时,说明音频帧比视频帧快:
音频帧比视频帧快,视频帧应该追赶音频帧,所以应该减少视频帧的延迟时间。
diff(音视频播放时差)处于不同范围的处理情况:
音视频播放时差范围 |
---|
3ms - 500ms |
500ms - 10000ms |
> 10000ms |
(1)3ms - 500ms:
视频帧慢了3ms - 500ms,将上一次delayTime乘以2/3,达到减少视频延迟时间的效果。
delayTime = delayTime * 2 / 3
当diff处于3 - 500 ms这个范围,视频延迟时间(delayTime)要求,不能低于默认延迟时间(defaultDelayTime,25帧则为40ms)的一半,也不能大于默认延迟时间的两倍。
- 如果delayTime小于默认延迟时间的一半,将delayTime调整为默认延迟时间(defaultDelayTime)的2/3。
- 如果delayTime大于默认延迟时间两倍,将delayTime调整为默认延迟时间(defaultDelayTime)的两倍。
(2)500ms - 10000ms:
视频帧慢了500ms - 10000ms,将delayTime设置为0。
(3)diff > 10000ms
视频帧和音频帧差距很大了,无法通过追赶达到同步,应该将视频缓存队列清空,直接引入最新鲜的视频帧。
Step2:当diff < 0 ms 时,说明音频帧比视频帧快:
音频帧比视频帧慢,视频帧应该等一下音频帧,所以应该增加视频帧的延迟时间。
diff(音视频播放时差)处于不同范围的情况:
(1)3ms - 500ms:
视频帧快了3ms - 500ms,将上一次delayTime乘以3/2,达到增加视频延迟时间的效果。
delayTime = delayTime * 3 / 2
当diff处于3 - 500 ms这个范围,视频延迟时间(delayTime)要求,不能低于默认延迟时间(defaultDelayTime,25帧则为40ms)的一半,也不能大于默认延迟时间的两倍。
- 如果delayTime小于默认延迟时间的一半,将delayTime调整为默认延迟时间(defaultDelayTime)的2/3。
- 如果delayTime大于默认延迟时间两倍,将delayTime调整为默认延迟时间(defaultDelayTime)的两倍。
(2)500ms - 10000ms:
视频帧快了500ms - 10000ms,将delayTime以两倍 defaultDelayValue时间进行延时。
(3)diff > 10000ms
视频帧和音频帧差距很大了,无法通过追赶达到同步,应该将音频缓存队列清空,直接引入最新鲜的音频帧。