视频插针调研

视频插针

  • 1、评估指标
  • 2、准确度
  • 3、实时
  • 4、视频流处理
  • 3、实时
  • RIFE视频插帧测试

1、评估指标

参考：https://blog.csdn.net/weixin_43478836/article/details/104159648
https://blog.csdn.net/weixin_43605641/article/details/118088814

PSNR和SSIM
PSNR数值越大表示失真越小。，因为数值越大代表MSE越小。MSE越小代表两张图片越接近，失真就越小。
SSIM≤1，SSIM 越大，两张图像越相似。

PSNR（峰值信噪比，Peak Signal-to-Noise Ratio），用于衡量两张图像之间差异，例如压缩图像与原始图像，评估压缩图像质量；复原图像与ground truth，评估复原算法性能等。
SSIM（结构相似性，Structural Similarity）基于人眼会提取图像中结构化信息的假设，比传统方式更符合人眼视觉感知。

但是 PSNR 和 SSIM 都只适合画面复杂度低或完全对齐的图像，例如下图是同一地点的不同时期卫星图像及其重叠显示，对人眼来说相似度高，但由于没对齐导致 SSIM 很低。

2、准确度

参考：https://github.com/zdyshine/Video-Frame-Interpolation-Summary/blob/main/2023_before.md
https://zhuanlan.zhihu.com/p/362525023

在这里插入图片描述
在这里插入图片描述

3、实时

RIFE
IFRNet：CVPR 2022｜上海交大&腾讯优图提出IFRNet：视频插帧新范式&新SOTA

CAIN ncnn Vulkan - 只能用于 0.5 时刻点（两帧插一帧）的 AI 视频补帧算法
rife-ncnn-vulkan - 只能用于 0.5 时刻点（两帧插一帧）的 AI 视频补帧算法（速度较快，效果非常好）
DAIN ncnn Vulkan - 支持任意时刻点插帧的 AI 视频补帧算法（速度最慢，占用最高，效果非常好）

谷歌的FILM: Frame Interpolation for Large Motion
https://github.com/google-research/frame-interpolation?tab=readme-ov-file

4、视频流处理

OpenCV、Kafka 和 Spark 技术
所谓视频流，就是一种视频数据信息的传输方式，使用这种方式，用户可以在没有接到完整的数据信息前就能处理那些已接收的信息。这种一边接收，一边处理的方式，很好地解决了视频数据信息在网络上的传输问题。使用者可以不必等待太长的时间，就能收看到视频数据信息。并且在此之后一边播放，一边接收，根本不会感觉到文件没有传完。
视频流是指将视频内容以连续的流式方式传输或播放，而不需要等待整个视频文件下载完毕。视频流使用户能够实时观看视频，而无需等待全部内容下载到本地设备。这种流式传输方式适用于各种视频应用，包括在线视频播放、视频会议、实时转播和直播流等。
视频流：
实时观看：视频流允许用户实时观看视频内容，而不需要等待整个视频文件下载完毕。视频数据以连续的流式方式传输到观众设备，观众可以在数据传输的同时观看内容。
连续性：视频流是连续的数据流，它们通常分为小段，每个段都可以独立下载和播放。观众可以随时开始观看视频，并且可以在观看过程中继续下载后续段。
动态自适应：视频流通常支持动态自适应，可以根据观众的网络带宽和设备性能实时调整视频质量和码率，以提供更好的观看体验。

opencv-python视频流基本操作【视频流是由一帧一帧的图像构成的，我们对视频流的处理，本质上就是对图像的处理，因此这里我们只说明从相机中读取视频，从 …

5、预测视频的动态部分，生成i帧
视频预测是一项复杂的时间序列预测任务。

3、实时

RIFE
IFRNet：CVPR 2022｜上海交大&腾讯优图提出IFRNet：视频插帧新范式&新SOTA
IFRNet
CAIN ncnn Vulkan - 只能用于 0.5 时刻点（两帧插一帧）的 AI 视频补帧算法
rife-ncnn-vulkan - 只能用于 0.5 时刻点（两帧插一帧）的 AI 视频补帧算法（速度较快，效果非常好）
DAIN ncnn Vulkan - 支持任意时刻点插帧的 AI 视频补帧算法（速度最慢，占用最高，效果非常好）

谷歌的FILM: Frame Interpolation for Large Motion （只有图片demo）效果可以
https://github.com/google-research/frame-interpolation?tab=readme-ov-file

EMA-VFI （只有图片demo）效果可以

VFIformer （要训练，只有图片）

集成工具
AaronFeng753/Waifu2x-Extension-GUI: Video, Image and GIF upscale/enlarge(Super-Resolution) and Video frame interpolation. Achieved with Waifu2x, Real-ESRGAN, Real-CUGAN, RTX Video Super Resolution VSR, SRMD, RealSR, Anime4K, RIFE, IFRNet, CAIN, DAIN, and ACNet. (github.com)

1、 实时插帧算法对比
实时插针算法主要有：RIFE、IFRNet、DAIN、CAIN，他们的性能对比如下：
在这里插入图片描述

评估指标：PSNR、SSIM和FPS
PSNR（峰值信噪比，Peak Signal-to-Noise Ratio），用于衡量两张图像之间差异，例如压缩图像与原始图像，评估压缩图像质量；复原图像与ground truth，评估复原算法性能等。PSNR数值越大表示失真越小。，因为数值越大代表MSE越小。MSE越小代表两张图片越接近，失真就越小。
SSIM（结构相似性，Structural Similarity）基于人眼会提取图像中结构化信息的假设，比传统方式更符合人眼视觉感知。SSIM≤1，SSIM 越大，两张图像越相似。
FPS是图像领域中的定义，是指画面每秒传输帧数，通俗来讲就是指动画或视频的画面数

2、 设备要求
2GB 以上显存, 4GB 左右的空余运行内存以及4GB+的磁盘剩余空间

3、 测试结果
RIFE
视频分辨率1280x720
1.没量化
在这里插入图片描述
2.开启fp16量化
在这里插入图片描述

3.开启scale=0.5
在这里插入图片描述

显卡v100占用
在这里插入图片描述
参考：
https://zhuanlan.zhihu.com/p/362525023
https://github.com/zdyshine/Video-Frame-Interpolation-Summary/blob/main/2023_before.md

RIFE视频插帧测试

1、环境部署
#拉取镜像
docker pull nvcr.io/nvidia/pytorch:23.12-py3
#创建docker
docker run --gpus all --cpus 48 --shm-size 16G --memory 500gb --privileged=true -itd --name rife_test
#git拉取源码
git clone https://github.com/megvii-research/ECCV2022-RIFE.git
#安装运行相关包
cd ECCV2022-RIFE
pip3 install -r requirements.txt

2、运行推理
插帧命令
插一帧：python3 inference_video.py --exp=1 --video=video.mp4
插两帧：python3 inference_video.py --exp=2 --video=video.mp4
参数说明：
python3 inference_video.py --exp=2 --video=video.mp4 --fps=60 --scale=0.5
exp：插多少帧
video：输入视频路径
fp16：是否使用半精度
scale：压缩视频质量（如果您的视频具有非常高的分辨率，例如 4K，我们建议设置 --scale=0.5（默认为 1.0）。如果您在视频上生成无序模式，请尝试设置 --scale=2.0。此参数控制光流模型的过程分辨率）

3、对比展示
对比方法：
对比方法：对比视频的流畅度，用ffmpeg将多个视频拼接在一起对比（会有压缩）,高帧率的硬件不支持（测试设备最高支持60Hz）
横向2个视频排列命令：ffmpeg -i 0.mp4 -i 1.mp4 -filter_complex “[0:v]pad=iw2:ih1[a];[a][1:v]overlay=w” out.mp4
4个视频排列命令：ffmpeg -i 0.mp4 -i 1.mp4 -i 2.mp4 -i 3.mp4 -filter_complex “[0:v]pad=iw2:ih2[a];[a][1:v]overlay=w[b];[b][2:v]overlay=0:h[c];[c][3:v]overlay=w:h” out.mp4

展示效果如下：

4、速度对比
对比方法：
1、同一显卡不同参数推理速度对比
2、不同显卡推理速度对比
V100显卡不同参数测试如下图：
1.没量化，推理速度20fps左右
2.开启fp16量化，推理速度25fps左右
3.开启scale=0.5，推理速度28fps左右

4.显卡占用,1G显存左右
2080TiV100显卡不同参数测试如下图：
1.没量化,推理速度17fps左右

2.fp16量化，推理速度22fps左右

3.scale=0.5量化，推理速度31fps左右
测试结论：V100和2080ti显卡的算力差不多，推理需要显存1G左右，在没有量化 的情况下推理速度最高20fps左右，量化情况下推理速度最高30fps。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/804023.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

面试准备 集合 List

面试准备 集合 List

ArrayList 底层实现 使用Object[] 动态数组进行存储 特性 支持存储null值非线程安全支持快速访问 初始化方法 无参–返回一个空的列表（DEFAULTCAPACITY_EMPTY_ELEMENTDATA）指定初始容量： new ArrayList(20);指定集合 new ArrayList(col…
阅读更多...
Opencv驱动摄像头

Opencv驱动摄像头

Opencv驱动摄像头&#xff0c;此段代码只能驱动电脑自带摄像头&#xff0c;目前没有分析出为何不能驱动另外连接的相机&#xff01; #include<iostream> #include<opencv2\core.hpp> #include<opencv2\highgui.hpp> #include<opencv2\imgproc.hpp> #i…
阅读更多...
ubuntu下NTFS分区无法访问挂载-解决办法！

ubuntu下NTFS分区无法访问挂载-解决办法！

Ubuntu系统下&#xff0c;有的时候发现&#xff0c;挂载的NTFS文件系统硬盘无法访问。点击弹出类似问题&#xff1a; Error mounting /dev/sda1 at /media/root/新加卷: Command-line mount -t "ntfs" -o "uhelperudisks2,nodev,nosuid,uid0,gid0" "/…
阅读更多...
Linux下的C语言文件编程

Linux下的C语言文件编程

概念引入 window &#xff0c;linux如何修改一个文件&#xff0c;比如写一个word文档&#xff1a; 打开/创建文件 -->编辑文件 -->保存文件 -->关闭文件 我们需要使用代码自动化完成以上操作: 操作系统(linux)给我们提供了一系列的API: 打开&#xff1a; open 读写:…
阅读更多...
【攻防世界】mfw（.git文件泄露）

【攻防世界】mfw（.git文件泄露）

首先进入题目环境&#xff0c;检查页面、页面源代码、以及URL&#xff1a; 发现页面无异常。 使用 dirsearch 扫描网站&#xff0c;检查是否存在可访问的文件或者文件泄露&#xff1a; 发现 可访问界面/templates/ 以及 .git文件泄露&#xff0c;故使用 GItHack 来查看泄露的 …
阅读更多...
C语言奇技淫巧之--用宏定义替换函数名的另外一种思路

C语言奇技淫巧之--用宏定义替换函数名的另外一种思路

时间有限&#xff0c;简要记录原理。 快速回忆要点&#xff1a; #if definde(FEATURE_A) #define myfunc _myfunc #endif int myfunc(int a, int b) 场景&#xff1a; 假设某个功能函数针对不同的makefile配置需要有不同的函数名字&#xff0c;通常做法如下&#xff1a; #if …
阅读更多...
传统方法（OpenCV）_车道线识别

传统方法（OpenCV）_车道线识别

一、思路 基于OpenCV的库&#xff1a;对视频中的车道线进行识别 1、视频处理&#xff1a;视频读取 2、图像转换&#xff1a;图像转换为灰度图 3、噪声去除&#xff1a;高斯模糊对图像进行去噪&#xff0c;提高边缘检测的准确性 4、边缘检测&#xff1a;Canny算法进行边缘检测…
阅读更多...
状态模式（行为型）

状态模式（行为型）

目录 一、前言 二、状态模式 三、总结 一、前言 状态模式(State Pattern&#xff09;是一种行为型设计模式&#xff0c;它允许一个对象在其内部状态改变时改变它的行为。对象看起来好像修改了它的类&#xff0c;但实际上&#xff0c;由于状态模式的引入&#xff0c;行为的变…
阅读更多...
Python单元测试pytest捕获日志输出

Python单元测试pytest捕获日志输出

使用pytest进行单元测试时&#xff0c;遇到了需要测试日志输出的情况&#xff0c;查看了文档 https://docs.pytest.org/en/latest/how-to/capture-stdout-stderr.html https://docs.pytest.org/en/latest/how-to/logging.html 然后试了一下&#xff0c;捕捉logger.info可以用…
阅读更多...
CentOS 7.9 额外安装一个Python3.x版本详细教程

CentOS 7.9 额外安装一个Python3.x版本详细教程

Centos7默认的python版本是2.7&#xff0c;根据需要我们额外安装一个Python3.x版本。 1、安装基础环境 yum update -yyum -y groupinstall "Development tools"yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel psmisc …
阅读更多...
ArchiveBo

ArchiveBo

目录 1、 ArchiveBo 2、 BackResponseBo 3、 RelationshipVoKey 3.1、 * 内容主键 3.2、 * 项目主键
阅读更多...
大语言模型及提示工程在日志分析任务中的应用 | 顶会IWQoS23 ICPC24论文分享

大语言模型及提示工程在日志分析任务中的应用 | 顶会IWQoS23 ICPC24论文分享

本文是根据华为技术专家陶仕敏先生在2023 CCF国际AIOps挑战赛决赛暨“大模型时代的AIOps”研讨会闪电论文分享环节上的演讲整理成文。 BigLog&#xff1a;面向统一日志表示的无监督大规模预训练方法 BigLog: Unsupervised Large-scale Pre-training for a Unified Log Represen…
阅读更多...
【azure笔记 1】容器实例管理python sdk封装

【azure笔记 1】容器实例管理python sdk封装

容器实例管理python sdk封装 测试结果 说明 这是根据我的需求写的&#xff0c;所以有些参数是写死的&#xff0c;比如cpu核数和内存&#xff0c;你可以根据你的需要自行修改。前置条件&#xff1a; 当前环境已安装python3.8以上版本和azure cli并且已经登陆到你的账户 依赖安…
阅读更多...
学习java第三十八天

学习java第三十八天

Spring事务传播行为&#xff1a; PROPAGATION_REQUIRED(默认) 如果当前没有事务&#xff0c;就新建一个事务&#xff0c;如果已经存在一个事务中&#xff0c;加入到这个事务中 PROPAGATION_SUPPORTS 支持当前事务&#xff0c;如果当前没有事务&#xff0c;就以非事务方式执行…
阅读更多...
RocketMQ之Topic和Tag最佳实践

RocketMQ之Topic和Tag最佳实践

一、Topic是什么&#xff1f;它的作用&#xff1f; Topic即主题&#xff0c;是消息队列中用于对消息进行分类和组织的一种机制&#xff0c;它有以下三种作用&#xff1a; 标识消息分类&#xff1a;RocketMQ的主题用于对消息进行分类和组织。通过为不同类型的消息分配不同的主题…
阅读更多...
Python八股文：基础知识Part1

Python八股文：基础知识Part1

1. 不用中间变量交换 a 和 b 这是python非常方便的一个功能可以这样直接交换两个值 2. 可变数据类型字典在for 循环中进行修改 这道题在这里就是让我们去回答输出的内容&#xff0c;这里看似我们是在for循环中每一次加入了都在list中加入了一个字典&#xff0c;然后字典的键值…
阅读更多...
本地项目提交 Github

本地项目提交 Github

工具 GitIdeaGithub 账号 步骤 使用注册好的 Github 账号&#xff0c;登陆 Github&#xff1b; 创建 Repositories (存储库)&#xff0c;注意填写图上的红框标注&#xff1b; 创建完成之后&#xff0c;找到存储库的 ssh 地址或 https 地址&#xff0c;这取决于你自己的配置…
阅读更多...
TiDB 组件 GC 原理及常见问题

TiDB 组件 GC 原理及常见问题

本文详细介绍了 TiDB 的 Garbage Collection&#xff08;GC&#xff09;机制及其在 TiDB 组件中的实现原理和常见问题排查方法。 TiDB 底层使用单机存储引擎 RocksDB&#xff0c;并通过 MVCC 机制&#xff0c;基于 RocksDB 实现了分布式存储引擎 TiKV&#xff0c;以支持高可用分…
阅读更多...
云服务运维

云服务运维

监控指标介绍 服务器监控 CPU状态&#xff1a;cpu使用率、负载 内存状态&#xff1a;应用内存使用率、物理内存使用量 磁盘状态&#xff1a;分区大小、使用趋势 IO状态&#xff1a;IOPS、MBPS、每秒读写速率、await 网卡状态&#xff1a;网络出入流量Bps、pps、丢包率、TCP状…
阅读更多...
C语言-教案习题巩固（难度跟题目序号无关，选择性去练习）

C语言-教案习题巩固（难度跟题目序号无关，选择性去练习）

1,将一个一位数组a[10]中的元素值按逆序重新存放.假定数组中原来元素顺序为:1,3,5,7,9,8,6,4,2,0,按逆序重新存放后元素的值位:0,2,4,6,8,9,7,5,3,1。要求&#xff1a;在程序中将数组初值初始化&#xff0c;输出逆序重新存放后元素的值。 2&#xff0c;给定2维数组如下&#x…
阅读更多...
最新文章

Copyright @ 2022~2023