文章目录 1. 执行图构建1.1 执行图构建1.2 执行图推理1.3 推理案例1.3.1 节点和engine的构建1.3.2 利用engine推理 2. onnx解析并创建执行图2.1 onnx 转执行图并推理2.2 完整的代码 前面几节已经介绍如何将带有复杂算子如 spconv导出 onnx,接下来如何对导出的onnx进行推理。带复杂算子的模型推理,利用已有的推理引擎比如 TensorRT, 是无法实现推理的。因此需要自行解析onnx进行单独推理,通过构建相对简单的执行图,即可实现推理,此时就不需要依赖任何其他的推理引擎。 1. 执行图构建