【人脸检测 FPS 1000+】ubuntu下libfacedetection tensorrt部署

  • TensorRT系列之 Windows10下yolov8 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolov8 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolov7 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolov6 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolov5 tensorrt模型加速部署

  • TensorRT系列之 Linux下 yolox tensorrt模型加速部署

  • TensorRT系列之 Linux下 u2net tensorrt模型加速部署

  • 更多（点我进去）…

    文章目录

    • ubuntu下libfacedetection-tensorrt模型部署
      • 一、Ubuntu18.04环境配置
      • 1.1 安装工具链和opencv
      • 1.2 安装Nvidia相关库
        • 1.2.1 安装Nvidia显卡驱动
        • 1.2.2 安装 cuda11.3
        • 1.2.3 安装 cudnn8.2
        • 1.2.4 下载 tensorrt8.4.2.4
        • 1.2.5 下载仓库TensorRT-Alpha并设置
      • 二、libfacedetection 环境安装与onnx导出
      • 三、利用tensorrt编译onnx模型
      • 四、编译执行libfacedetection -tensorrt工程
      • 五、结束语

ubuntu下libfacedetection-tensorrt模型部署

libfacedetection的仓库：https://github.com/ShiqiYu/libfacedetection，其训练代码仓库：https://github.com/ShiqiYu/libfacedetection.train 下面简介下其代码仓库：

  • libfacedetection的作者是深圳大学于仕琪 老师，现在好像在南方科技大学任教，使用opencv超过7年的人肯定都认识于老师。
  • libfacedetection是一个基于cnn的图像人脸检测的开源库。CNN模型已在C源文件中转换为静态变量。源代码不依赖于任何其他库。你所需要的只是一个c++编译器。你可以用c++编译器在Windows、Linux、ARM和任何平台上编译源代码。
  • SIMD指令用于加快检测速度。如果您使用Intel CPU或NEON for ARM，则可以启用AVX2。
  • 模型文件在src/facedetectcnn-data.cpp (c++数组)和OpenCV Zoo中的模型(ONNX)中提供。您可以使用ONNX模型在openv_dnn /中尝试我们的脚本(c++和Python)。在这里查看网络架构。
  • OpenCV DNN不支持最新版本的动态输入形状的YuNet。请确保您的输入形状与ONNX模型中的输入形状完全相同，以便使用OpenCV DNN运行最新的YuNet。
  • Examples /detect-image.cpp和Examples /detect-camera.cpp展示了如何使用这个库。

该库由libfacedetection.train进行训练。本文提供libfacedetection-tensorrt加速方法。
有源码！有源码！有源码！
在这里插入图片描述
下图右边是libfacedetection 部署之后，tensorrt部署效果，和python推理结果一致。在这里插入图片描述

libfacedetection : Offical( left ) vs Ours( right )

以下是tensorrt加速效果，仔细看左上角时间开销，是有1000FPS的，然而还有手段能够进一步加速。
在这里插入图片描述

tensorrt加速效果

一、Ubuntu18.04环境配置

如果您对tensorrt不是很熟悉，请务必保持下面库版本一致。
请注意: Linux系统安装以下库，务必去进入系统bios下，关闭安全启动(设置 secure boot 为 disable)

1.1 安装工具链和opencv

sudo apt-get update 
sudo apt-get install build-essential 
sudo apt-get install git
sudo apt-get install gdb
sudo apt-get install cmake

sudo apt-get install libopencv-dev  
# pkg-config --modversion opencv

1.2 安装Nvidia相关库

注：Nvidia相关网站需要注册账号。

1.2.1 安装Nvidia显卡驱动

ubuntu-drivers devices
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-470-server # for ubuntu18.04
nvidia-smi

1.2.2 安装 cuda11.3

  • 进入链接: https://developer.nvidia.com/cuda-toolkit-archive
  • 选择：CUDA Toolkit 11.3.0(April 2021)
  • 选择：[Linux] -> [x86_64] -> [Ubuntu] -> [18.04] -> [runfile(local)]

    在网页你能看到下面安装命令，我这里已经拷贝下来：
wget https://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run
sudo sh cuda_11.3.0_465.19.01_linux.run

cuda的安装过程中，需要你在bash窗口手动作一些选择，这里选择如下：

  • select：[continue] -> [accept] -> 接着按下回车键取消Driver和465.19.01这个选项，如下图(it is important!) -> [Install]

    在这里插入图片描述
    bash窗口提示如下表示安装完成
#===========
#= Summary =
#===========#Driver:   Not Selected
#Toolkit:  Installed in /usr/local/cuda-11.3/
#......

把cuda添加到环境变量：

vim ~/.bashrc

把下面拷贝到 .bashrc里面

# cuda v11.3
export PATH=/usr/local/cuda-11.3/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.3/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/usr/local/cuda-11.3

刷新环境变量和验证

source ~/.bashrc
nvcc -V

bash窗口打印如下信息表示cuda11.3安装正常

nvcc: NVIDIA (R) Cuda compiler driver<br>
Copyright (c) 2005-2021 NVIDIA Corporation<br>
Built on Sun_Mar_21_19:15:46_PDT_2021<br>
Cuda compilation tools, release 11.3, V11.3.58<br>
Build cuda_11.3.r11.3/compiler.29745058_0<br>

1.2.3 安装 cudnn8.2

  • 进入网站：https://developer.nvidia.com/rdp/cudnn-archive
  • 选择： Download cuDNN v8.2.0 (April 23rd, 2021), for CUDA 11.x
  • 选择： cuDNN Library for Linux (x86_64)
  • 你将会下载这个压缩包: “cudnn-11.3-linux-x64-v8.2.0.53.tgz”
# 解压
tar -zxvf cudnn-11.3-linux-x64-v8.2.0.53.tgz

将cudnn的头文件和lib拷贝到cuda11.3的安装目录下：

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

1.2.4 下载 tensorrt8.4.2.4

本教程中，tensorrt只需要下载\、解压即可，不需要安装。

  • 进入网站： https://developer.nvidia.cn/nvidia-tensorrt-8x-download
  • 把这个打勾： I Agree To the Terms of the NVIDIA TensorRT License Agreement
  • 选择: TensorRT 8.4 GA Update 1
  • 选择: TensorRT 8.4 GA Update 1 for Linux x86_64 and CUDA 11.0, 11.1, 11.2, 11.3, 11.4, 11.5, 11.6 and 11.7 TAR Package
  • 你将会下载这个压缩包: “TensorRT-8.4.2.4.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz”
# 解压
tar -zxvf TensorRT-8.4.2.4.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz
# 快速验证一下tensorrt+cuda+cudnn是否安装正常
cd TensorRT-8.4.2.4/samples/sampleMNIST
make
cd ../../bin/

导出tensorrt环境变量(it is important!)，注：将LD_LIBRARY_PATH:后面的路径换成你自己的！后续编译onnx模型的时候也需要执行下面第一行命令

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/xxx/temp/TensorRT-8.4.2.4/lib
./sample_mnist

bash窗口打印类似如下图的手写数字识别表明cuda+cudnn+tensorrt安装正常
在这里插入图片描述

1.2.5 下载仓库TensorRT-Alpha并设置

git clone https://github.com/FeiYull/tensorrt-alpha

设置您自己TensorRT根目录:

git clone https://github.com/FeiYull/tensorrt-alpha
cd tensorrt-alpha/cmake
vim common.cmake
# 在文件common.cmake中的第20行中，设置成你自己的目录，别和我设置一样的路径eg:
# set(TensorRT_ROOT /root/TensorRT-8.4.2.4)

二、libfacedetection 环境安装与onnx导出

推理的时候是支持多batch推理的，可以直接从网盘下载onnx文件[weiyun]:weiyun or google driver :

# 下载libfacedetection 源码
git clone https://github.com/ShiqiYu/libfacedetection.train
git checkout  a3bc97c7e85bb206c9feca97fbd541ce82cfa3a9  # 一定要执行

官方仓库提供了onnx导出指令，同时它也提供了导出后的onnx文件，如下图，本文直接使用第三个动态onnx文件。
在这里插入图片描述

三、利用tensorrt编译onnx模型

将你的onnx模型放到这个路径:tensorrt-alpha/data/libfacedetection

cd tensorrt-alpha/data/libfacedetection 
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:~/TensorRT-8.4.2.4/lib

编译onnx模型指令，其中参数 --minShapes=input:1x3x120x120中，1表示batch_size，3表示通道，120X120表示图像宽高，minShapes表示最小输入尺寸。同理，optShapes和maxShapes表示最优和最大输入尺寸。

../../../../TensorRT-8.4.2.4/bin/trtexec --onnx=alpha_yunet_yunet_final_dynamic_simplify.onnx --saveEngine=alpha_yunet_yunet_final_dynamic_simplify.trt --buildOnly --minShapes=input:1x3x120x120 --optShapes=input:4x3x320x320 --maxShapes=input:8x3x2000x2000

四、编译执行libfacedetection -tensorrt工程

使用命令行编译下代码

git clone https://github.com/FeiYull/tensorrt-alpha
cd tensorrt-alpha/libfacedetection 
mkdir build
cd build
cmake ..
make -j10

按照需求执行推理，支持推理一张图片、在线推理视频文件，或者在线从摄像头获取视频流并推理。

# infer image
./app_libfacedetction  --model=../../data/libfacedetction/alpha_yunet_yunet_final_dynamic_simplify.trt  --batch_size=1  --img=../../data/6406401.jpg  --show --savePath# infer video
./app_libfacedetction  --model=../../data/libfacedetction/alpha_yunet_yunet_final_dynamic_simplify.trt  --batch_size=4  --video=../../data/people.mp4  --show# infer camera
./app_libfacedetction  --model=../../data/libfacedetction/alpha_yunet_yunet_final_dynamic_simplify.trt  --batch_size=2  --cam_id=0  --show

例如：以下是libfacedetection 推理视频流效果。
在这里插入图片描述

五、结束语

libfacedetection 的tensorrt部署到这里结束。都看到这里了，觉得可以请点赞收藏，有条件的去仓库点个star，仓库：https://github.com/FeiYull/tensorrt-alpha
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/122034.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

《SpringBoot项目实战》第一篇—接口参数的一些弯弯绕绕

《SpringBoot项目实战》第一篇—接口参数的一些弯弯绕绕

系列文章导航 第一篇—接口参数的一些弯弯绕绕 第二篇—接口用户上下文的设计与实现 第三篇—留下用户调用接口的痕迹 第四篇—接口的权限控制 第五篇—接口发生异常如何统一处理 本文参考项目源码地址&#xff1a;summo-springboot-interface-demo 前言 大家好&#xff01;…
阅读更多...
Notepad++安装插件和配置快捷键

Notepad++安装插件和配置快捷键

Notepad是一款轻量级、开源的文件编辑工具&#xff0c;可以编辑、浏览文本文件、二进制文件、.cpp、.java、*.cs等文件。Notepad每隔1个月&#xff0c;就有一个新版本&#xff0c;其官网是&#xff1a; https://github.com/notepad-plus-plus/notepad-plus-plus。这里介绍其插件…
阅读更多...
Harmony 个人中心（页面交互、跳转、导航、容器组件）

Harmony 个人中心（页面交互、跳转、导航、容器组件）

个人中心 前言正文一、创建工程二、登录① 更换启动页面② 拓展修饰符③ 页面跳转④ 等待进度条 三、导航栏四、首页① 轮播图② 网格列表 五、我的① 带参数跳转 六、源码 前言 今天是1024&#xff0c;祝各位程序员们&#xff0c;钱多事少离家近&#xff0c;不秃也强bug黄。在…
阅读更多...
mac系统u盘启动盘制作教程，更新至macOS Sonoma 14

mac系统u盘启动盘制作教程，更新至macOS Sonoma 14

mac系统怎么制作装系统的u盘,如果您要在多台电脑上安装 macOS&#xff0c;而又不想每次都下载安装器&#xff0c;这时可引导安装器就会很有用。一起来看苹果电脑u盘启动盘制作教程吧。 Macos系统安装包合集包揽macos 10.15&#xff0c;macos 11和苹果最新系统等多个版本 1、A…
阅读更多...
H5游戏分享-全民找房祖名qmxzfzm

H5游戏分享-全民找房祖名qmxzfzm

H5游戏分享-全民找房祖名qmxzfzm 一开始就比较简单 后面就会越来越难&#xff0c;而且也有时间限制 游戏的源码 <!DOCTYPE html> <html><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width,ini…
阅读更多...
嵌入式实时操作系统的设计与开发（消息）

嵌入式实时操作系统的设计与开发（消息）

消息 从概念上讲&#xff0c;消息机制和邮箱机制很类似&#xff0c;区别在于邮箱一般只能容纳一条消息&#xff0c;而消息则会包含一系列的消息。 系统定义了一个全局变量g_msgctr_header&#xff0c;通过它可以查找到任一已创建的消息容器。 每一个消息容器都可以根据其参数…
阅读更多...
C++之左值、右值、std::forward、std::move总结(二百五十)

C++之左值、右值、std::forward、std::move总结(二百五十)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 人生格言&#xff1a; 人生…
阅读更多...
Android Studio 导出 jar

Android Studio 导出 jar

AS版本&#xff1a;Android Studio Giraffe | 2022.3.1 Patch 1 1、File——New Module——Android Library 2、mylibrary——main——新建功能类 3、mylibrary——build.gradle——android {}内复制以下代码——Sync Now //Copy类型 tasks.register(makeJar, Copy) { //删…
阅读更多...
react-高阶组件

react-高阶组件

一、什么是高阶组件 高阶组件&#xff08; Higher-Order Component&#xff0c;HOC &#xff09;是一个以组件作为参数&#xff0c;返回一个新组件的函数。 高阶组件最大的特点就是复用组件逻辑高阶组件本身并不是 React 的 API&#xff0c;而是React组件的一种设计模式&…
阅读更多...
自动驾驶，从“宠儿”走进“淘汰赛”

自动驾驶，从“宠儿”走进“淘汰赛”

从“一步到位”到场景、技术降维。从拼落地路径&#xff0c;到拼雷达、算力&#xff0c;再到如今的性价比之争&#xff0c;自动驾驶似乎变得愈发“接地气”。 作者|斗斗 编辑|皮爷 出品|产业家 比起去年&#xff0c;黄文欢和张放今年显得更加忙碌。 “自动驾驶赛道&…
阅读更多...
windows下-mysql环境配置，以及使用navicat可视化数据库，便捷撰写sql语句。

windows下-mysql环境配置，以及使用navicat可视化数据库，便捷撰写sql语句。

文章目录 MySQL 连接到本地MySQL 下载MySQL连接基本SQL操作语句创建并查看数据库删除数据库修改数据库插入、删除、修改数据 图形化界面展示数据库 Navicat 基础操作连接本地的mysql数据库撰写sql语句 MySQL 连接到本地 MySQL 下载 直接系统自带应用商城下载&#xff0c;安装最…
阅读更多...
MySQL 多表查询 事务 索引

MySQL 多表查询 事务 索引

目录 多表查询简介内连接查询 join on外连接查询 left join、right join子连接查询标量子查询列子查询 (in、not in)行子查询表子查询 多表查询案例 事务事务介绍操作 start transaction、commit、rollback事务四大特性(面试题) 索引索引介绍索引原理索引语法 index 上次学习了…
阅读更多...
【高阶数据结构】并查集和图

【高阶数据结构】并查集和图

目录 1.数据结构--并查集 2.数据结构--图 1.图的基础概念 2.图的简单实现 2.1.邻接矩阵的图实现 2.2.邻接表的图实现 2.3.图的DFS和BFS 2.4.最小生成树 2.4.1.Kruskal(克鲁斯卡尔算法) 2.4.2.Prim&#xff08;普里姆算法&#xff09; 2.5.最短路径 2.5.1.Dijkstra(…
阅读更多...
soc的复位reset/rst问题

soc的复位reset/rst问题

本节不去讨论同步复位与异步复位以及异步复位的reset_release&#xff0c;这些问题可参考&#xff1a;芯片设计进阶之路——Reset深入理解——cy413026 本机主要回答一下几个问题。 1.片外的reset信号特别是按键reset怎么防止错误抖动的影响&#xff1f; 常见的处理方法包括两…
阅读更多...
大数据-Storm流式框架（三）--Storm搭建教程

大数据-Storm流式框架（三）--Storm搭建教程

一、两种搭建方式 1、storm单节点搭建 2、完全分布式搭建 二、storm单节点搭建 准备 下载地址&#xff1a;Index of /dist/storm 1、环境准备&#xff1a; Java 6 Python 2.6.6 2、上传、解压安装包 3、在storm目录中创建logs目录 mkdir logs 启动 ./storm help …
阅读更多...
解决cloudflare pages部署静态页面发生404错误的问题

解决cloudflare pages部署静态页面发生404错误的问题

cloudflare pages是一个非常方便的部署静态页面的sass工具。 但是很多人部署上去以后&#xff0c;访问服务会报404错误。什么原因&#xff1f; 原因如下图所示&#xff1a; 注意这个Build output directory, 这个是部署的关键&#xff01; 这个Build output directory目录的…
阅读更多...
ETL工具Kettle

ETL工具Kettle

1 Kettle的基本概念 一个数据抽取过程&#xff0c;主要包括创建一个作业&#xff08;Job&#xff09;&#xff0c;每个作业由一个或多个作业项&#xff08;Job Entry&#xff09;和连接作业项的作业跳&#xff08;Job Hop&#xff09;组成。每个作业项可以是一个转换&#xff…
阅读更多...
TSINGSEE青犀基于AI视频识别技术的平安校园安防视频监控方案

TSINGSEE青犀基于AI视频识别技术的平安校园安防视频监控方案

一、背景需求 因学校频频出治安事件&#xff0c;所以必须要加强学校的安防工作&#xff0c;目前来看&#xff0c;大部分校园都建设了视频监控来预防保障校园安全。但是传统的视频监控系统&#xff0c;主要通过设备来录像以及人员时时监控来进行。这种监管方式效率十分低下&…
阅读更多...
使用canal实现数据实时同步

使用canal实现数据实时同步

canal canal [kə’nl]&#xff0c;译意为水道/管道/沟渠&#xff0c;主要用途是基于 MySQL 数据库增量日志解析&#xff0c;提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署&#xff0c;存在跨机房同步的业务需求&#xff0c;实现方式主要是基于业务 trigger…
阅读更多...
【API篇】八、Flink窗口函数

【API篇】八、Flink窗口函数

文章目录 1、增量聚合之ReduceFunction2、增量聚合之AggregateFunction3、全窗口函数full window functions4、增量聚合函数搭配全窗口函数5、会话窗口动态获取间隔值6、触发器和移除器7、补充 //窗口操作 stream.keyBy(<key selector>).window(<window assigner>)…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023