C++libtorch实现模型部署推理
模型
- 全连接模型：公开mnist手写识别数字的十分类
- 卷积模型：自行采集的鲜花四分类
部署
语言环境：C++
对比Python
python是解释性语言，效率很慢，安全性很低
系统开发一般是java、C/C++，python无法直接部署到系统上
pytorch部署
原生部署，不会丢失精度
环境
下载torch-c+±cpu-release版本，下载点击
注意：debug版本用于模型开发
opencv-c++版本，传送门：Releases - OpenCV
推荐安装带星号版本的windows版本
下载CLion，并配置环境，具体步骤可参考之前笔记传送门：安装CLion配置opencv和torch环境
模型打包
torch.jit进行打包
traced_model = jit.trace(model, data)
traced_model.save("model.pt")
C++实现推理
全连接模型推理
#include <opencv2/opencv.hpp>
#include <torch/torch.h>
#include <torch/script.h>
#include <vector>
#include <string>int main() {cv::Mat image = cv::imread("img/0.jpg",cv::IMREAD_GRAYSCALE);torch::Tensor tensor_image = torch::from_blob(image.data,{1,image.rows*image.cols},torch::kByte).toType(torch::kFloat);tensor_image /= 255.;// std::cout<<tensor_image<<std::endl;auto model = torch::jit::load("model/mnist.pt");std::vector<torch::jit::IValue> inputs;inputs.push_back(tensor_image);auto rst = model.forward(inputs).toTensor();std::cout<< rst << std::endl;std::cout<< torch::argmax(rst,1) << std::endl;
}
卷积模型推理
#include <torch/script.h> // 包含TorchScript头文件
#include <torch/torch.h>
#include <opencv2/opencv.hpp>
#include <iostream>
#include <memory>int main() {// 加载模型torch::jit::script::Module module;module = torch::jit::load("model/model.pt");// 读取并处理图像cv::Mat image = cv::imread("img/flower_1.jpg");// 根据模型输入大小调整cv::resize(image, image, cv::Size(224, 224)); // 将BGR转换为RGBcv::cvtColor(image, image, cv::COLOR_BGR2RGB); // 转换图像为Tensortorch::Tensor img_tensor = torch::from_blob(image.data,{1, 3, image.rows, image.cols},torch::kByte);// 转换为浮点img_tensor = img_tensor.to(torch::kFloat); // 归一化到[0, 1]img_tensor = img_tensor.div(255.0); // 准备输入std::vector<torch::jit::IValue> inputs;inputs.push_back(img_tensor);// 执行模型推理at::Tensor output = module.forward(inputs).toTensor();// 输出结果std::cout << "Model output: " << output << '\n';return 0;
}
鲜花四分类模型输出四个结果如下，即为成功转换模型
