课程链接:https://edu.csdn.net/course/detail/39320
PyTorch版的YOLOv8支持高性能的实时实例分割。
TensorRT是针对英伟达GPU的加速工具。
ONNX (Open Neural Network Exchange) 作为一个开放的网络模型中间表示(IR)格式,提供了跨框架兼容性。可以方便不同的框架轻松地交换模型,有助于框架之间的互操作性。
本课程讲述如何对YOLOv8实例分割的PyTorch权重文件转成ONNX格式并进行TensorRT加速部署。
相比与直接使用TensorRT API构建推理引擎,本方法更具灵活性,可用于修改YOLOv8网络架构后的模型部署。
课程亮点包括:
- YOLOv8实例分割的PyTorch权重文件转成ONNX,再转成TensorRT 推理引擎
- 支持在GPU上端到端TensorRT加速部署,包括预处理(图像resize, 归一化)、网络推理、后处理(非极大抑制) 均在GPU上执行
- 支持FP16加速
- 提供C++和Python的TensorRT加速命令接口
- 分别在Windows和Ubuntu系统上做YOLOv8的ONNX转换及TensorRT部署演示
- 支持图片、图片文件夹、视频文件的TensorRT的加速推理
- 提供YOLOv8的ONNX转换及TensorRT加速部署代码和代码解析文档
实测推理速度提高2倍以上。
课程内容包括:
- 原理篇(YOLOv8网络架构与组件、TensorRT基础、ONNX基础、CUDA编程方法)
- 实践篇(Windows和Ubuntu系统上的ONNX模型转换及TensorRT加速部署流程演示)
- 代码解析篇(YOLOv8的ONNX模型转换及TensorRT加速的代码解析)