模型部署:C++libtorch实现全连接模型10分类和卷积模型ResNet18的四分类的模型部署推理

C++libtorch实现模型部署推理

模型

  • 全连接模型:公开mnist手写识别数字的十分类
  • 卷积模型:自行采集的鲜花四分类

部署

语言环境:C++

对比Python

python是解释性语言,效率很慢,安全性很低

系统开发一般是java、C/C++,python无法直接部署到系统上

pytorch部署

原生部署,不会丢失精度

环境

下载torch-c+±cpu-release版本,下载点击

注意:debug版本用于模型开发

opencv-c++版本,传送门:Releases - OpenCV

推荐安装带星号版本的windows版本

下载CLion,并配置环境,具体步骤可参考之前笔记传送门:安装CLion配置opencv和torch环境

模型打包

torch.jit进行打包

traced_model = jit.trace(model, data)
traced_model.save("model.pt")

C++实现推理

全连接模型推理
#include <opencv2/opencv.hpp>
#include <torch/torch.h>
#include <torch/script.h>
#include <vector>
#include <string>int main() {cv::Mat image = cv::imread("img/0.jpg",cv::IMREAD_GRAYSCALE);torch::Tensor tensor_image = torch::from_blob(image.data,{1,image.rows*image.cols},torch::kByte).toType(torch::kFloat);tensor_image /= 255.;//    std::cout<<tensor_image<<std::endl;auto model = torch::jit::load("model/mnist.pt");std::vector<torch::jit::IValue> inputs;inputs.push_back(tensor_image);auto rst = model.forward(inputs).toTensor();std::cout<< rst << std::endl;std::cout<< torch::argmax(rst,1) << std::endl;
}
卷积模型推理
#include <torch/script.h> // 包含TorchScript头文件
#include <torch/torch.h>
#include <opencv2/opencv.hpp>
#include <iostream>
#include <memory>int main() {// 加载模型torch::jit::script::Module module;module = torch::jit::load("model/model.pt");// 读取并处理图像cv::Mat image = cv::imread("img/flower_1.jpg");// 根据模型输入大小调整cv::resize(image, image, cv::Size(224, 224));  // 将BGR转换为RGBcv::cvtColor(image, image, cv::COLOR_BGR2RGB); // 转换图像为Tensortorch::Tensor img_tensor = torch::from_blob(image.data,{1, 3, image.rows, image.cols},torch::kByte);// 转换为浮点img_tensor = img_tensor.to(torch::kFloat); // 归一化到[0, 1]img_tensor = img_tensor.div(255.0); // 准备输入std::vector<torch::jit::IValue> inputs;inputs.push_back(img_tensor);// 执行模型推理at::Tensor output = module.forward(inputs).toTensor();// 输出结果std::cout << "Model output: " << output << '\n';return 0;
}

鲜花四分类模型输出四个结果如下,即为成功转换模型
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/864208.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在 CentOS 上安装 Docker Engine

前言 Docker 是啥之类的就不必多说了&#xff0c;直接上安装步骤。 官网安装教程地址&#xff1a;https://docs.docker.com/engine/install/centos/ 1.Uninstall old versions &#xff08;卸载旧版本&#xff09; Older versions of Docker went by docker or docker-engin…

NLP特征提取的惊人历史演变

NLP特征提取的惊人演变 1.理解特征提取2. 文本表示的演变2.1.词袋的简单性2.2. N-Gram 模型的进步2.3. TF-IDF 的崛起 3. 深入研究词嵌入3.1.探索 Word2Vec3.2.深入了解 GloVe3.3.深入研究 FastText 4. 上下文嵌入的影响4.1 ELMo 的突破4.2 理解 BERT 的机制4.3 Transformer的出…

44 - 50题高级字符串函数 / 正则表达式 / 子句 - 高频 SQL 50 题基础版

目录 1. 相关知识点2.例子2.44 - 修复表中的名字2.45 - 患某种疾病的患者2.46 - 删除重复的电子邮箱2.47 - 第二高的薪水2.48 - 按日期分组销售产品2.49 - 列出指定时间段内所有的下单产品2.50 - 查找拥有有效邮箱的用户 1. 相关知识点 相关函数 函数含义concat()字符串拼接upp…

Ollama中文版部署

M1部署Ollama Ollama中文网站: Featured - 精选 - Ollama中文网 下载网址: Download Ollama on macOS 安装后运行llma3模型: ollama run llama3:8b 界面使用: GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI) 部署open-webui: do…

两个li标签之间有空格这是什么原因

<li> 标签之间出现的空格可能由多种原因造成。以下是一些常见的原因&#xff1a; HTML源代码中的空格&#xff1a;如果你在HTML源代码中直接在两个 <li> 标签之间输入了空格或制表符&#xff08;Tab&#xff09;&#xff0c;这些空格可能会被浏览器渲染出来。不过&…

烟台网站建设前需要了解哪些

在进行烟台网站建设之前&#xff0c;需要了解以下几个重要的方面&#xff1a; 1. 目标和定位&#xff1a;在建设网站之前&#xff0c;需要明确网站的目标和定位。是为了展示公司业务&#xff0c;还是为了销售产品&#xff0c;或者是为了提供信息和服务等。根据不同的目标和定位…

界面组件DevExpress WPF v24.1 - 增强的可访问性 UI自动化

DevExpress WPF拥有120个控件和库&#xff0c;将帮助您交付满足甚至超出企业需求的高性能业务应用程序。通过DevExpress WPF能创建有着强大互动功能的XAML基础应用程序&#xff0c;这些应用程序专注于当代客户的需求和构建未来新一代支持触摸的解决方案。 DevExpress WPF控件日…

mqtt介绍和环境安装

Mqtt介绍 MQTT是机器对机器(M2M)/物联网(IoT)连接协议。它被设计为一个极其轻量级的发布/订阅消息传输协议。对于需要较小代码占用空间和/或网络带宽非常宝贵的远程连接非常有用&#xff0c;是专为受限设备和低带宽、高延迟或不可靠的网络而设计。 下载一个开源的emqx服务器和…

造一个交互式3D火山数据可视化

本文由ScriptEcho平台提供技术支持 项目地址&#xff1a;传送门 使用 Plotly.js 创建交互式 3D 火山数据可视化 应用场景 本代码用于将火山数据库中的数据可视化&#xff0c;展示火山的高度、类型和状态。可用于地质学研究、教育和数据探索。 基本功能 该代码使用 Plotly…

【代码随想录——单调栈】

1.每日温度 func dailyTemperatures(temperatures []int) []int {stack : list.New()//入栈&#xff1a;stack.PushBack()//出栈&#xff1a;stack.Remove(stack.Back())dp : make([]int, len(temperatures))for i : 0; i < len(temperatures); i {if stack.Len() 0 {stack…

深入解析Linux的使用(上)

深入解析Linux的使用&#xff08;上&#xff09; Linux作为一种开源操作系统&#xff0c;广泛应用于服务器、桌面计算机和嵌入式设备。它以稳定、安全和高效著称。对于新手来说&#xff0c;学习如何使用Linux是一个非常有价值的技能。本文将带你从基础开始&#xff0c;逐步深入…

期末考试后,老师如何高效把成绩发给家长

期末考试终于结束了&#xff0c;老师们是不是感觉松了一口气呢&#xff1f;但是&#xff0c;成绩发布这个环节可不能马虎哦&#xff01;今天&#xff0c;我就来跟大家分享一下如何高效地把成绩发给家长&#xff0c;让这个环节变得既轻松又高效&#xff01; 先把最高效的方式告诉…

ROS2用c++开发参数节点通信

1.创建节点 cd chapt4/chapt4_ws/ ros2 pkg create example_parameters_rclcpp --build-type ament_cmake --dependencies rclcpp --destination-directory src --node-name parameters_basic --maintainer-name "joe" --maintainer-email "1027038527qq.com&…

网安小贴士(1)等级保护

一、定义 等保&#xff0c;即信息安全等级保护&#xff0c;根据信息系统在国家安全、经济建设、社会生活中的重要程度&#xff0c;以及信息系统遭到破坏后对国家安全、社会秩序、公共利益以及公民、法人和其他组织的合法权益的危害程度&#xff0c;将信息系统分为五个不同的安全…

Mybatis中支持缓存的query与不支持缓存的query

mybatis拦截器中&#xff0c;通常添加两个query的签名方法&#xff0c;如下&#xff1a; Intercepts({Signature(type Executor.class,method "query",args {MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class}),Signature(type Exec…

aforg.net简单应用举例

AForge.NET 是一个基于 C# 的开源框架&#xff0c;它提供了一系列用于图像处理、计算机视觉、神经网络、遗传算法、机器人等领域的类库和工具。以下是一个简单的 AForge.NET 应用示例&#xff0c;涉及图像处理中的边缘检测功能。 假设我们想要对一张图片进行边缘检测&#xff…

【Python机器学习】模型评估与改进——留一法交叉验证

留一法也是一种常见的交叉验证方法。 我们可以将留一法交叉验证看作是每折只包含单个样本的k折交叉验证。对于每次划分&#xff0c;选择单个数据点作为测试集。这种方法可能非常耗时&#xff0c;特征是对于大型数据&#xff0c;但是小型数据集上有时可以给出更好的估计结果&am…

HarmonyOS Next开发学习手册——显示图片 (Image)

开发者经常需要在应用中显示一些图片&#xff0c;例如&#xff1a;按钮中的icon、网络图片、本地图片等。在应用中显示图片需要使用Image组件实现&#xff0c;Image支持多种图片格式&#xff0c;包括png、jpg、bmp、svg和gif&#xff0c;具体用法请参考 Image 组件。 Image通过…

Python 算法交易实验75 QTV200后续想法梳理

说明 在第一步获取数据源&#xff0c;然后进入Mongo(第一个数据节点)开始&#xff0c;QTV200的数据流体系就开始动了。后续用多少时间完成不太好确定&#xff0c;短则数周&#xff0c;长则数月。毕竟有过第一版实验的基础&#xff0c;应该还是可以做到的。 下面就是天马行空&…

Spring Cloud Sentinel

官网代码案例: 注意&#xff1a; 1. 引入依赖 <dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId> </dependency> 2. 配置文件application.yml spring:cloud:sent…