【Kuiperinfer】笔记01 项目预览与环境配置

学习目标

  • 实现一个深度学习推理框架
  • 设计、编写一个计算图
  • 实现常见的算子，例如卷积、池化、全连接
  • 学会如何进行算子的优化加速
  • 使用自己的推理框架推理常见模型，检查结果是否能够和torch对齐

什么是推理框架？

推理框架用于对已经训练完成的模型进行加载，并根据模型文件中的网络结构和权重参数，对输入图像进行预测。

推理框架没有反向传播，因为推理过程中权重不需要更新。这也是和训练框架的最大的不同。

推理框架的运行流程可参照下图：

在这里插入图片描述

技术全景

KuiperInfer包括以下几个模块：

  1. Operator：计算图中的计算节点，包括：
    • 存储输入输出的张量，用于存放各层的输入输出
    • 节点的类型和名称，名称是唯一的，用于区分任意一个节点，例如Convolution
    • 节点的参数信息，例如卷积步长、卷积核大小
    • 节点的权重信息，例如weight, bias
  2. Graph：多个Operator串联得到的有向无环图，规定了节点的执行顺序
  3. Layer：运算的具体执行者，首先读入输入张量中的数据，然后对输入帐量进行计算，并将结果放入输出张量中
  4. Tensor：存放多维数据，方便在节点中传递，该结构同时也封装矩阵运算

在这里插入图片描述

环境配置

主要库：

  1. 数学计算：Armadillo，该库是Open Blas的封装
  2. 加速库：OpenMP
  3. 单元测试：Google Test
  4. 性能测试：Google Benchmark

第二次开课提供了docker镜像，更省事一些。

什么是Docker

为什么使用Docker

出现背景：不同的电脑的环境配置不同，导致在一个系统上运行正常的程序，在另一个系统上不能正常运行。

解决这个问题的一个方法是，构建和源系统一样的虚拟机，这种方法通常会占用大量内存来支持Guest OS。与之相对，Docker在这方面省略了大量内存占用。且Docker允许在不同的容器之间共享和重用数据空间，也方便在不同平台之间移植。

Docker是什么

Docker是用于自动化部署应用程序到轻量级的容器中的工具，使得应用可以在不同的运行环境中高效运行。

容器（container）是一种软件包，包含所有运行依赖。

在这里插入图片描述

Docker为每个软件都对应在容器中提供其依赖的框架（framework），使得不同框架的软件，甚至冲突框架的软件，可以在同一宿主机上运行，甚至可以进行数据共享。

Docker是如何工作的

  • Docker是安装在宿主机上的基础引擎，主要功能是build和运行容器
  • 使用client-server架构
  • Client和Server使用REST API交互
  • Client运行指令，指令通过REST API转译，发送到Server
  • Server检查Client请求，在操作系统上响应操作

在这里插入图片描述

Win环境下Docker环境配置

首先安装Docker，进入Docker官网，点击选择products中的Docker DeskTop下载并安装。注意安装后需要重启，记得提前关闭其他应用并保存。

打开Docker DestTop，我我这里出现卡starting的问题，推测可能是Hyper-V的原因，查阅Microsoft手册，首先尝试在powershell中启用Hyper-V

Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Hyper-V -All

提示Microsoft-Hyper-V未知，说明没安装，尝试安装。将下面的文本存入一个cmd文件中，管理员身份运行，然后重启

pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

再次启动Docker-DeskTop，这次没有卡住。

验证安装，命令行中输入：

docker run hello-world

出现以下文本，说明安装成功

Hello from Docker!
This message shows that your installation appears to be working correctly.To generate this message, Docker took the following steps:1. The Docker client contacted the Docker daemon.2. The Docker daemon pulled the "hello-world" image from the Docker Hub.(amd64)3. The Docker daemon created a new container from that image which runs theexecutable that produces the output you are currently reading.4. The Docker daemon streamed that output to the Docker client, which sent itto your terminal.To try something more ambitious, you can run an Ubuntu container with:$ docker run -it ubuntu bashShare images, automate workflows, and more with a free Docker ID:https://hub.docker.com/For more examples and ideas, visit:https://docs.docker.com/get-started/

现在开始拉环境

  1. 拉取镜像

    docker pull registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:datawhale

  2. 克隆课程代码

    git clone https://github.com/zjhellofss/kuiperdatawhale.git

  3. 创建并运行容器

    x docker run -it -p 7860:22 registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:datawhale /bin/bash

  4. 使用ssh连接容器

    ssh -p 7860 me@127.0.0.1

    如果连不上的话可以在Docker DeskTop里面重启一下容器试试。

VS配置Docker

先补一点自己不熟悉的知识：

  1. CMake. CMake是一个跨平台build system，用于在不同平台上创建build。
  2. Visual Studio with CMake. VS内嵌了CMake，可以创建CMake的项目，会自动检测CMakeLists.txt文件，并生成必要的项目文件。
  3. VS使用Docker，调试 > 选项 > 跨平台 > 连接管理器 > 添加。Win平台本机启动的docker主机名为127.0.0.1，端口、用户名和密码按照自己设置的填入即可。在跨平台 > 开发容器中，设置用于运行容器的主机为127.0.0.1

因为这个docker是Linux的，所以需要在VS installer中，安装用于Linux的C++开发组件，参考：https://devblogs.microsoft.com/cppblog/build-c-applications-in-a-linux-docker-container-with-visual-studio/。

不装这个的话，即使能够连接到docker，也不能设置调试主机为docker容器。

  1. 设置调试主机为docker容器

  2. 配置新的debuger

    在这里插入图片描述

  3. 尝试生成，出现新的错误：无法创建目录，mkdir 退出代码: 1，推测是用户权限问题。

    定位，在docker容器中，打开终端管理，su me登录me账户，尝试在./root/home/me文件夹下创建文件，报Permission denied，说明me用户没有足够权限。

    切root账户，在根目录下，chown -R me home，一定要给home的权限，否则还是不能mkdir

  4. cmake没找到ninja，在debug高级配置中，改用Unix Makefiles，镜像里是没装Ninja的，且这个CMakefile.txt也不支持Ninja，如果不小心用Ninja生成过一次，那改Unix Makefiles也还会报错，需要重新clone

  5. 编译完成后，就可以直接run了；course 1跑Google Test会提示FAILED，是因为axby.cpp中有三个函数需要自己实现。

整理一下使用VS配置环境的关键问题：

  1. 用户权限要给到home文件夹，确保在docker控制台，使用me用户（或者自己创建的用户）能够在home路径下创建文件
  2. 在选项 > 跨平台 > 开发容器中，连接配置好的远程容器，如果容器是Linux环境，则需要先安装Linux组件；设置调试主机为该容器，在管理配置中设置新的CMake配置，修改配置中的主机为该容器，修改generator为UNIX Makefiles。

编写单元测试

使用GoogleTest编写单元测试，测试armadillo的计算接口。接口可参考armadillo的手册。

在test/test1.cpp中，包含了对加减乘和点积运算的接口，作业要求实现axby.cpp中的接口。

查手册找算子，对照实现即可。

  1. 实现 y = w × x + b y = w \times x + b y=w×x+b​

    void Axby(const arma::fmat &x, const arma::fmat &w, const arma::fmat &b,arma::fmat &y) {y = w * x + b;// 把代码写这里 完成y = w * x + b的运算
}

  2. 实现 y = e − x y = e^{-x} y=e−x​

    void EPowerMinus(const arma::fmat &x, arma::fmat &y) {// 把代码写这里 完成y = e^{-x}的运算arma::fmat E(224, 224, arma::fill::value(arma::datum::e));y = pow(E, -x);
}

  3. 实现 Y = a × x + y Y = a \times x + y Y=a×x+y​

    void Axpy(const arma::fmat &x, arma::fmat &Y, float a, float y) {// 编写Y = a * x + yY = a * x + y;
}

编译运行，PASSED。

参考

  • 【Kuiperinfer】：https://github.com/zjhellofss/kuiperdatawhale
  • 作者B站主页：https://space.bilibili.com/1822828582?spm_id_from=333.337.search-card.all.click
  • 【What Is Docker】：https://www.youtube.com/watch?v=rOTqprHv1YE
  • 【Armadillo Docs】：https://arma.sourceforge.net/docs.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/688541.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【完全二叉树节点数！】【深度优先】【广度优先】Leetcode 222 完全二叉树的节点个数

【完全二叉树节点数！】【深度优先】【广度优先】Leetcode 222 完全二叉树的节点个数

【完全二叉树】【深度优先】【广度优先】Leetcode 222 完全二叉树的节点个数 :star:解法1 按照完全二叉树解法2 按照普通二叉树：深度优先遍历 后序 左右中解法3 按照普通二叉树：广度优先遍历 层序遍历 ---------------🎈🎈题目链接…
阅读更多...
Linux进程概念 (下) 地址空间

Linux进程概念 (下) 地址空间

前言 中篇讲了进程为什么要有优先级，以及环境变量和通过代码获得环境变量 本篇主要讲解什么是地址空间 ， 地址空间是怎么设计的？为什么要有地址空间？ 程序地址空间 先看下图 验证上图的正文代码至堆的地址是不是从低地址向高地…
阅读更多...
python-自动化篇-运维-网络-IP

python-自动化篇-运维-网络-IP

文章目录 IP自我介绍IPy安装模块windowsLinux IPy介绍支持大多数 IP 地址格式IPv4 地址IPv6 地址网络掩码和前缀 派生网络地址将地址转换为字符串使用多个网络多网络计算方法 IP自我介绍 IP地址规划是网络设计中非常重要的一个环节，规划的好坏会直接影响路由协议算…
阅读更多...
红队攻防之office文件钓鱼制作ppt钓鱼

红队攻防之office文件钓鱼制作ppt钓鱼

为众人抱薪者，不可使其冻毙于风雪；为自由开路者，不可使其困顿于荆棘。 PPT手势触发 这种攻击则利用的是鼠标轨迹来进行操作，比如鼠标点击、鼠标移动等。 首先，创建一个普通的PPTX文件，随便填入一些内容&…
阅读更多...
Shell脚本条件语句

Shell脚本条件语句

1.条件测试 文件测试与整数测试 test命令 测试表达式是否成立，若成立返回0，不成立返回其他数值 格式1：test 条件表达式 格式2：[ 条件表达式 ] 测试 是否成功使用 $? 操作符： -d：测试是否为目…
阅读更多...
【计算机网络】P2P应用

【计算机网络】P2P应用

将会在两个例子中得出结果 1，对等文件分发 ；2，大型对等方社区中的服务器 P2P文件分发 自拓展性 直接成因是：对等方除了是比特的消费者外还是它们的重新分发者BitTorrent 一个用于文件分发的P2P协议洪流 torrent 参与一个特定文件…
阅读更多...
Python——列表

Python——列表

一、列表的特性介绍 列表和字符串⼀样也是序列类型的数据 列表内的元素直接⽤英⽂的逗号隔开，元素是可变的，所以列表是可变的数据类型，⽽字符串不是。 列表的元素可以是 Python 中的任何类型的数据对象。如：字符串、…
阅读更多...
VQ35 评论替换和去除（char_length()和replace函数的使用）

VQ35 评论替换和去除（char_length()和replace函数的使用）

代码 select id ,replace(comment,，,) as comment from comment_detail where char_length(comment)>3知识点 要注意替换的是中文逗号 由于题目说的是汉字长度大于3，所以这里就要使用char_length()而不是length() char_length()：单位为字…
阅读更多...
Windows10使用u盘制作linux启动盘踩坑记

Windows10使用u盘制作linux启动盘踩坑记

双系统方法有三种：1.虚拟机2.windows提供了ubuntu虚拟软件3.制作启动盘 本篇提供Windows10为基础使用u盘做启动盘可以使用linux双系统。 步骤一、 在Ubuntu官网下载镜像，很简单找到对应版本和机器型号，注意区分64位和x86，基本上…
阅读更多...
day1 2/18

day1 2/18

1> 使用fgets统计给定文件的行数 #include<myhead.h> int main(int argc, const char *argv[]) {if(argc!2){printf("enter error\n");return -1;}FILE*fpNULL;if((fpfopen(argv[1],"r"))NULL){perror("fopen error");return -1;}i…
阅读更多...
详解C语言10大字符串函数【超详细建议点赞收藏】

详解C语言10大字符串函数【超详细建议点赞收藏】

目录 1. strlen----求字符串长度1.1 函数介绍1.2 函数使用1.3 模拟实现 2. strcpy----字符串拷贝2.1 函数介绍2.2 函数使用3.3 模拟实现 3. strcat----字符串追加3.1 函数介绍3.2 函数使用3.3 模拟实现 4. strcmp----字符串比较4.1 函数介绍4.2 函数使用 5. strncpy----长度受限…
阅读更多...
innoDB page页结构详解

innoDB page页结构详解

Page是整个InnoDB存储的最基本构件，也是InnoDB磁盘管理的最小单位，与数据库相关的所有内容都存储在这种Page结构里。 Page分为几种类型，常见的页类型有数据页（B+tree Node）Undo页（Undo Log Page）系统页（System Page） 事务数据页（Transaction System Page）等 Page 各…
阅读更多...
二.重新回炉Spring Framework:Spring Framework主要组件概览

二.重新回炉Spring Framework:Spring Framework主要组件概览

1.写在前面的话 这里主要简单说一下Spring Framework的几个核心组件的总体情况。为了比较直观&#xff0c;这里使用了ClassPathXmlApplicationContext的类图来进行说明。它基本上包含了 IoC 体系中大部分的核心类和接口。类图如下图所示&#xff1a; 2.Resource 组件体系 R…
阅读更多...
常用类与基础API-String的理解和不可变性

常用类与基础API-String的理解和不可变性

1.String类的理解 1.1类的声明 public final class String >final &#xff1a;String是不可继承的。 >Serializable :可序列化的接口,凡是实现此接口的类的对象就可以通过网络或本地流进行数据的传输 >comparable:凡是实现此接口的类,其对象都可以比较大小. 1.…
阅读更多...
华清远见嵌入式学习——驱动开发——作业1

华清远见嵌入式学习——驱动开发——作业1

作业要求&#xff1a; 通过字符设备驱动分步注册过程实现LED驱动的编写&#xff0c;编写应用程序测试&#xff0c;发布到CSDN 作业答案&#xff1a; 运行效果&#xff1a; 驱动代码&#xff1a; #include <linux/init.h> #include <linux/module.h> #include &l…
阅读更多...
华清远见作业第三十六天和第三十七天——C++（第五天和第六天）

华清远见作业第三十六天和第三十七天——C++（第五天和第六天）

思维导图&#xff1a; 第五天&#xff1a; 第六天&#xff1a; 作业&#xff1a; 编程题&#xff1a; 以下是一个简单的比喻&#xff0c;将多态概念与生活中的实际情况相联系&#xff1a; 比喻&#xff1a;动物园的讲解员和动物表演 想象一下你去了一家动物园&#xff0c;…
阅读更多...
常见的几种Web安全问题测试简介

常见的几种Web安全问题测试简介

Web项目比较常见的安全问题 1.XSS(CrossSite Script)跨站脚本攻击 XSS(CrossSite Script)跨站脚本攻击。它指的是恶意攻击者往Web 页面里插入恶意html代码&#xff0c;当用户浏览该页之时&#xff0c;嵌入其中Web 里面的html 代码会被执行&#xff0c;从而达到恶意用户的特殊…
阅读更多...
什么是自动化测试？如何做自动化测试？

什么是自动化测试？如何做自动化测试？

前面介绍了功能测试和接口测试&#xff0c;在介绍接口测试时提到了实现API自动化。那具体什么是自动化&#xff0c;为什么要做自动化&#xff0c;这里我们集中总结。 一. 什么是自动化&#xff1f; 顾名思义&#xff0c;自动化测试是相对人工测试而言的&#xff0c;它是指把人…
阅读更多...
npm ERR! network This is a problem related to network connectivity.

npm ERR! network This is a problem related to network connectivity.

问题详细描述 PS D:\ALearnBlog\shiyi-blog\blog-web> npm install -g vue/cli npm ERR! code ETIMEDOUT npm ERR! syscall connect npm ERR! errno ETIMEDOUT npm ERR! network request to https://registry.npmjs.org/vue%2fcli failed, reason: connect ETIMEDOUT 104.1…
阅读更多...
Linux+Win双系统远程重启到Win

Linux+Win双系统远程重启到Win

背景 电脑安装了双系统&#xff08;ubuntu 22.04 win11&#xff09;&#xff0c;默认进入ubuntu系统。给电脑设置了WoL(Wake-on-LAN)&#xff0c;方便远程开机远程控制。 但是ubuntu的引导程序grub无法远程控制&#xff0c;远程开机会默认进入ubuntu。 虽然说可以进入ubuntu后…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023