从源码编译 tensorFlow ,启用CPU 指令加速

适合只有cpu,没有显卡的AI 玩家,初学者

问题:AVX AVX2 AVX_VNNI FMA 是什么?

AVX、AVX2、AVX_VNNI 和 FMA 都是针对 Intel CPU 的特殊指令集(instruction set),用于加速数值计算和向量化操作。这些指令集提供了高级别的并行性和向量化支持,可以在适用的硬件上加快特定计算任务的速度。

  1. AVX (Advanced Vector Extensions):AVX 是 Intel CPU 中引入的指令集扩展,其提供了更宽的 SIMD (Single Instruction, Multiple Data) 向量寄存器,允许同时处理更多的数据元素。AVX 可以加速包含向量化计算的一些数值操作,例如加法、乘法和平方根等。

  2. AVX2:AVX2 是对 AVX 指令集的扩展,引入了更多的 SIMD 指令,包括整数运算和更复杂的浮点运算。AVX2 提供更高级别的向量化支持,可以加速更多类型的计算任务。

  3. AVX_VNNI (AVX Vector Neural Network Instructions):AVX_VNNI 是用于加速神经网络计算的指令集扩展。它针对矩阵乘法和卷积等神经网络中常见的计算操作进行了优化,可以显著加快神经网络的训练和推理速度。

  4. FMA (Fused Multiply-Add):FMA 是一种融合乘法和加法操作的指令,可以在单个指令中同时进行乘法和加法运算。FMA 可以加速包含乘法和加法的复杂数值计算,例如矩阵乘法和向量点积等。

这些指令集通常用于高性能计算和深度学习等需要大量数值计算的任务。当软件(如 TensorFlow)在支持这些指令集的硬件上进行优化时,可以显著提高计算速度和性能。因此,在使用 TensorFlow 或其他数值计算库时,如果你的 CPU 支持这些指令集,建议启用它们以获得更好的性能和效率。

使用Docker 环境编译 tensorflow

1 先安装Docker

sudo apt-get install docker

2 拉取 Docker 镜像 tensorflow/tensorflow:devel

docker pull tensorflow/tensorflow:devel

3 运行 TensorFlow 开发版

我这里 $PWD 是当前路径 /home/wmx/software/tensorDocker 挂载到 Docker 目录 /mnt

docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" tensorflow/tensorflow:devel bash

这是一个用于运行 TensorFlow 开发版 Docker 容器的命令。让我们逐步解析这个命令:

  1. docker run: 这是运行 Docker 容器的命令。

  2. -it: 这是两个选项的组合,用于以交互式终端运行容器,并将终端连接到容器的输入/输出(stdin/stdout)。

  3. -w /tensorflow_src: 这是一个选项,指定容器内的工作目录为 /tensorflow_src。换句话说,当容器启动时,它会进入到容器内的 /tensorflow_src 目录,以供后续的命令在该目录下执行。

  4. -v $PWD:/mnt: 这是一个选项,用于将当前主机的当前工作目录 ($PWD) 挂载到容器内的 /mnt 目录。这样,当前主机的文件和目录就可以在容器内通过 /mnt 目录访问。

  5. -e HOST_PERMS="$(id -u):$(id -g)": 这是一个选项,设置名为 HOST_PERMS 的环境变量,并将其值设为当前用户的用户 ID (id -u) 和用户组 ID (id -g)。这样可以确保容器中的操作使用与主机相同的用户权限,避免权限问题。

  6. tensorflow/tensorflow:devel: 这是指定使用的 TensorFlow Docker 镜像及其标签(tag)。devel 是 TensorFlow Docker 镜像的一个标签,表示开发版的 TensorFlow 镜像。

  7. bash: 这是在容器内运行的命令。在这个命令中,我们指定容器在启动后直接运行 bash 终端。

综上所述,这个命令将在一个 TensorFlow 开发版 Docker 容器中启动一个交互式终端,并将主机当前工作目录挂载到容器中的 /mnt 目录,同时设置容器中的用户权限与主机相同。然后,容器启动后会进入 /tensorflow_src 目录,并在该目录下运行 bash 终端,从而可以在容器内进行 TensorFlow 开发和测试工作。

  • 更新tensorflow源码
git pull  
  • 查看所有版本
git branch -a 
  • 使用对应的版本,我这里使用 v2.12.0
git checkout v2.12.0

4 配置 bazel 编译参数

1 ./configure
2 配置python路径,直接回车,使用默认值
3 配置Python library path,直接回车,使用默认配置
4 Do you wish to build TensorFlow with ROCm support? [y/N]: n # 不是AMD显卡 ,我选择 n
5 Do you wish to build TensorFlow with CUDA support? [y/N]: n # 我没有显卡,目前i9-13900k ,所我选择 n
6 Do you wish to download a fresh release of clang? (Experimental) [y/N]: n # 我ubuntu20.04已经安装了clang ,我使用默认的,选择 n
7 Please specify optimization flags to use during compilation when bazel option “–config=opt” is specified [Default is -Wno-sign-compare]: --copt=-march=native # 配置 bazel 编译的参数,我这是纯 cpu 加速,所以填写 --copt=-march=native

到这里配置完毕,上面配置针对纯CPU 加速,如果有显卡,大家根据自己的显卡配置,下面是 配置过程的shell :

(base) wmx@wmx-ubuntu:/media/wmx/ws1/ai/tensorflow_src$ ./configure
You have bazel 5.3.0 installed.
Please specify the location of python. [Default is /bin/python3]: Found possible Python library paths:/home/wmx/software/tensorBuild/lib/python3.11/site-packages/opt/ros/noetic/lib/python3/dist-packages
Please input the desired Python library path to use.  Default is [/usr/lib/python3.8.10/site-packages]Do you wish to build TensorFlow with ROCm support? [y/N]: n
No ROCm support will be enabled for TensorFlow.Do you wish to build TensorFlow with CUDA support? [y/N]: n
No CUDA support will be enabled for TensorFlow.Do you wish to download a fresh release of clang? (Experimental) [y/N]: n
Clang will not be downloaded.Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]: --copt=-march=nativeWould you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.--config=mkl         	# Build with MKL support.--config=mkl_aarch64 	# Build with oneDNN and Compute Library for the Arm Architecture (ACL).--config=monolithic  	# Config for mostly static monolithic build.--config=numa        	# Build with NUMA support.--config=dynamic_kernels	# (Experimental) Build kernels into separate shared objects.--config=v1          	# Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:--config=nogcp       	# Disable GCP support.--config=nonccl      	# Disable NVIDIA NCCL support.
Configuration finished

5 编译 tensorFlow 源码 ,创建 pip 软件包的工具

需要提前开启科学上网,哈哈哈,不然编译不通过,一些依赖国内获取不了

bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package

6 运行该工具,以创建 pip 软件包 ,指定输出目录 /mnt

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /mnt

7 调整文件在容器外部的所有权

我这里是 tensorflow-2.12.0-cp38-cp38-linux_x86_64.whl

chown $HOST_PERMS /mnt/tensorflow-2.12.0-cp38-cp38-linux_x86_64.whl

我这里主机目录 /home/wmx/software/tensorDocker 挂载到 Docker 目录 /mnt

8 在主机环境中安装 生成的 tensorflow-2.12.0-cp38-cp38-linux_x86_64.whl

注意 python版本必须对应

因为我docker 里面默认的python 版本是 3.8.10 ,所以我主机环境需要安装 python3.8.10 才能安装 tensorflow-2.12.0-cp38-cp38-linux_x86_64.whl

conda 创建对应python版本的虚拟环境

	conda create --prefix ./tensorBuild python=3.8.10conda activate ./tensorBuild# 在tensorBuild虚拟环境中,安装python -m pip install /home/wmx/software/tensorDocker/tensorflow-2.12.0-cp38-cp38-linux_x86_64.whl 

9 测试main.py

import tensorflow as tf# 准备数据集
(x_train, y_train), (x_test, y_test) = tf.keras.datasets.cifar10.load_data()# 构建模型
model = tf.keras.Sequential([tf.keras.layers.Conv2D(32, (3, 3), activation='relu', input_shape=(32, 32, 3)),tf.keras.layers.MaxPooling2D((2, 2)),tf.keras.layers.Conv2D(64, (3, 3), activation='relu'),tf.keras.layers.MaxPooling2D((2, 2)),tf.keras.layers.Conv2D(64, (3, 3), activation='relu'),tf.keras.layers.Flatten(),tf.keras.layers.Dense(64, activation='relu'),tf.keras.layers.Dense(10, activation='softmax')
])# 编译模型
model.compile(optimizer='adam',loss='sparse_categorical_crossentropy',metrics=['accuracy'])# 训练模型
model.fit(x_train, y_train, epochs=10, validation_data=(x_test, y_test))# 评估模型
test_loss, test_acc = model.evaluate(x_test, y_test)
print('Test accuracy:', test_acc)# 保存模型
model.save('model.h5')

shell 输出:

2023-07-30 12:31:03.740540: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  SSE3 SSE4.1 SSE4.2 AVX AVX2 AVX_VNNI FMA
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2023-07-30 12:31:03.795251: I tensorflow/core/util/port.cc:104] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`.
2023-07-30 12:31:03.809482: E tensorflow/tsl/lib/monitoring/collection_registry.cc:81] Cannot register 2 metrics with the same name: /tensorflow/core/bfc_allocator_delay
2023-07-30 12:31:04.681085: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  SSE3 SSE4.1 SSE4.2 AVX AVX2 AVX_VNNI FMA
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
Epoch 1/10
1563/1563 [==============================] - 5s 3ms/step - loss: 1.8800 - accuracy: 0.3663 - val_loss: 1.5088 - val_accuracy: 0.4526
Epoch 2/10
1563/1563 [==============================] - 4s 3ms/step - loss: 1.3361 - accuracy: 0.5216 - val_loss: 1.4776 - val_accuracy: 0.4846
Epoch 3/10
1563/1563 [==============================] - 4s 3ms/step - loss: 1.1816 - accuracy: 0.5824 - val_loss: 1.1282 - val_accuracy: 0.6061
Epoch 4/10
1563/1563 [==============================] - 4s 3ms/step - loss: 1.0730 - accuracy: 0.6242 - val_loss: 1.1308 - val_accuracy: 0.6108
Epoch 5/10
1563/1563 [==============================] - 5s 3ms/step - loss: 0.9949 - accuracy: 0.6540 - val_loss: 1.1160 - val_accuracy: 0.6223
Epoch 6/10
1563/1563 [==============================] - 4s 3ms/step - loss: 0.9268 - accuracy: 0.6784 - val_loss: 1.0251 - val_accuracy: 0.6576
Epoch 7/10
1563/1563 [==============================] - 4s 3ms/step - loss: 0.8666 - accuracy: 0.6949 - val_loss: 1.0190 - val_accuracy: 0.6523
Epoch 8/10
1563/1563 [==============================] - 4s 3ms/step - loss: 0.8127 - accuracy: 0.7170 - val_loss: 1.0383 - val_accuracy: 0.6534
Epoch 9/10
1563/1563 [==============================] - 5s 3ms/step - loss: 0.7579 - accuracy: 0.7362 - val_loss: 1.0633 - val_accuracy: 0.6542
Epoch 10/10
1563/1563 [==============================] - 5s 3ms/step - loss: 0.7169 - accuracy: 0.7483 - val_loss: 1.0449 - val_accuracy: 0.6719
313/313 [==============================] - 0s 1ms/step - loss: 1.0449 - accuracy: 0.6719
Test accuracy: 0.6718999743461609

可以看到已经启用了 CPU 指令加速 :耗时44秒

对比以下是没有开启CPU 指令加速的输出:

2023-07-30 19:40:50.104394: I tensorflow/core/platform/cpu_feature_guard.cc:182] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations.
To enable the following instructions: SSE4.1 SSE4.2 AVX AVX2 AVX_VNNI FMA, in other operations, rebuild TensorFlow with the appropriate compiler flags.
2023-07-30 19:40:51.399995: I tensorflow/core/common_runtime/process_util.cc:146] Creating new thread pool with default inter op setting: 2. Tune using inter_op_parallelism_threads for best performance.
Epoch 1/10
1563/1563 [==============================] - 144s 92ms/step - loss: 1.6986 - accuracy: 0.4010 - val_loss: 1.3685 - val_accuracy: 0.5083
Epoch 2/10
1563/1563 [==============================] - 135s 87ms/step - loss: 1.2644 - accuracy: 0.5548 - val_loss: 1.3069 - val_accuracy: 0.5370
Epoch 3/10
1563/1563 [==============================] - 158s 101ms/step - loss: 1.1150 - accuracy: 0.6121 - val_loss: 1.1304 - val_accuracy: 0.5997
Epoch 4/10
1563/1563 [==============================] - 160s 103ms/step - loss: 1.0098 - accuracy: 0.6516 - val_loss: 1.0305 - val_accuracy: 0.6457
Epoch 5/10
1563/1563 [==============================] - 167s 107ms/step - loss: 0.9326 - accuracy: 0.6744 - val_loss: 1.0547 - val_accuracy: 0.6364
Epoch 6/10
1563/1563 [==============================] - 176s 113ms/step - loss: 0.8756 - accuracy: 0.6958 - val_loss: 1.0110 - val_accuracy: 0.6595
Epoch 7/10
1563/1563 [==============================] - 177s 113ms/step - loss: 0.8207 - accuracy: 0.7145 - val_loss: 1.0024 - val_accuracy: 0.6663
Epoch 8/10
1563/1563 [==============================] - 173s 111ms/step - loss: 0.7732 - accuracy: 0.7323 - val_loss: 1.0233 - val_accuracy: 0.6614
Epoch 9/10
1563/1563 [==============================] - 162s 103ms/step - loss: 0.7310 - accuracy: 0.7463 - val_loss: 0.9851 - val_accuracy: 0.6783
Epoch 10/10
1563/1563 [==============================] - 169s 108ms/step - loss: 0.6951 - accuracy: 0.7576 - val_loss: 1.0829 - val_accuracy: 0.6524
313/313 [==============================] - 2s 7ms/step - loss: 1.0829 - accuracy: 0.6524
Test accuracy: 0.652400016784668

耗时 (144+135+158+160+167+176+177+173+162+169 ) 秒 / 60 = 1621秒 / 60 = 27分钟

性能

没有cpu加速 耗时增加 1621÷44 = 36.8 倍 ,或者说开启CPU加速,性能提高 36.8 倍
我配置:
CPU是 i9-13900k
华硕z790A-wifi 吹雪 D5 ,开启自动超频
三星990pro 1T
海盗船 ddr5 32x2=64G 6000MHz 内存

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/15151.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【分布鲁棒、状态估计】分布式鲁棒优化电力系统状态估计研究[几种算法进行比较](Matlab代码实现)

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…

基于BIM+AI的建筑能源优化模型【神经网络】

推荐&#xff1a;用 NSDT设计器 快速搭建可编程3D场景。 AEC&#xff08;建筑、工程、施工&#xff09;行业的BIM 技术&#xff0c;允许在实际施工开始之前虚拟地建造建筑物&#xff1b; 这带来了许多有形和无形的好处&#xff1a;减少成本超支、更有效的协调、增强决策权等等。…

C#实现数据库数据变化监测(sqlservermysql)

监测数据库表数据变化&#xff0c;可实现数据库同步&#xff08;一主一从&#xff08;双机备份&#xff09;&#xff0c;一主多从&#xff08;总部数据库&#xff0c;工厂1&#xff0c;工厂2&#xff0c;工厂数据合并到总部数据&#xff09;&#xff09; sqlserver 启用数据库…

Flowable-服务-消息任务

文章目录 定义图形标记XML内容集成Rabbitmq引入pom包配置rabbitmq 操作界面 定义 Mq 任务不是 BPMN 2.0 规范定义的官方任务&#xff0c;在 Flowable 中&#xff0c;Mq 任务是作为一种特殊的服务 任务来实现的&#xff0c;主要做Mq消息发送。 图形标记 由于 Mq 任务不是 BPM…

用CSS和HTML写一个水果库存静态页面

HTML代码&#xff1a; <!DOCTYPE html> <html> <head><link rel"stylesheet" type"text/css" href"styles.css"> </head> <body><header><h1>水果库存</h1></header><table>…

MFC图表控件high-speed-charting的使用

high-speed-charting是MFC上的开源图表库,Teechart的替代品。 high-speed-charting的下载地址 https://www.codeproject.com/Articles/14075/High-speed-Charting-Control 特性 High-speed drawing (when axis is fixed) which allows fast plotting of dataUnlimited number …

list与sort()

运行代码&#xff1a; //list与sort() #include"std_lib_facilities.h" //声明Item类 struct Item {string name;int iid;double value;Item():name(" "),iid(0),value(0.0){}Item(string ss,int ii,double vv):name(ss),iid(ii),value(vv){}friend istre…

【Golang 接口自动化01】使用标准库net/http发送Get请求

目录 发送Get请求 响应信息 拓展 资料获取方法 发送Get请求 使用Golang发送get请求很容易&#xff0c;我们还是使用http://httpbin.org作为服务端来进行演示。 package mainimport ("bytes""fmt""log""net/http""net/url&qu…

Shell 排序法 - 改良的插入排序

说明 插入排序法由未排序的后半部前端取出一个值&#xff0c;插入已排序前半部的适当位置&#xff0c;概念简单但速度不快。 排序要加快的基本原则之一&#xff0c;是让后一次的排序进行时&#xff0c;尽量利用前一次排序后的结果&#xff0c;以加快排序的速度&#xff0c;Shel…

ZLMediaKit+wvp-GB28181-pro 安装文档

文章目录 前言1. 安装zlm1.1 镜像说明1.2 docker安装1.2.1 docker安装命令1.2.2 docker-compose安装 1.3. zlm配置和日志重点说明 2. 安装wvp2.1 目录结构说明2.1.1 导入idea2.1.2 sql文件夹自带初始化库脚本2.1.3 进入web_src 编译静态资源2.1.4 修改resources配置 2.2 wvp 启…

DHCP中继代理原理(第二十八课)

当客户机和DHCP服务器不在一个广播域时,DHCP服务器无法接收到客户机的DHCP discover广播数据包,客户机就无法获得IP地址 第一步配置DHCP服务器的信息 <Huawei>u t m //清除日志 Info: Current terminal monitor is off. <Huawei>sys [Huawei]sysname DHCP-R…

分布式异步任务处理组件(二)

一些关键点的设计脑暴记录----very important&#xff01;&#xff01;&#xff01; 首先&#xff0c;任务存储交给kafka&#xff0c;由节点负责写入kafka&#xff0c;acks1&#xff1b;失败重试&#xff1b;透传kafka的提交可靠性&#xff0c;保证任务提交成功&#xff1b;后…

c语言locale.h简介

<locale.h>提供的函数用于控制c标准库中对于不同的地区行为不一样的部分。&#xff08;地区通常是国家或者某种特定语言的地理区域&#xff09; 在标准库里&#xff0c;依赖地区的部分通常包括以下几项&#xff1a; 数字量的格式 货币的格式 字符集 时间日期的格式 它设…

IOS开发:去除TabView的底部留白

我最近在做IOS开发的时候&#xff0c;使用SwiftUI中的TabView做左右滚动的页面切换&#xff0c;遇到了页面底部有大量留白无法去除的问题&#xff1a; 我查了很多资料都没有看到网上有人记录这个问题的解决方案&#xff0c;后来查阅apple developer的文档&#xff0c;我发现.ed…

iOS开发-字符串base64编码与解码

iOS开发-字符串base64编码与解码 在开发总经常遇到需要将字符串进行base64加密与解密。Base64是网络上最常见的用于传输8Bit字节码的编码方式之一&#xff0c;Base64就是一种基于64个可打印字符来表示二进制数据的方法。 这里使用的是GTMBase64 在Podfile中引入 pod GTMBas…

【计算机视觉|人脸建模】深度学习时代的3D人脸重建调查报告

本系列博文为深度学习/计算机视觉论文笔记&#xff0c;转载请注明出处 标题&#xff1a;3D Face Reconstruction in Deep Learning Era: A Survey 链接&#xff1a;3D Face Reconstruction in Deep Learning Era: A Survey - PubMed (nih.gov) 摘要 随着深度学习的出现和图形…

前端学习--vue2--2--vue指令基础

写在前面&#xff1a; 前置内容 - vue配置 文章目录 插值表达式v-html条件渲染v-show和v-ifv-ifv-if的扩展标签复用组件 v-show v-on /事件v-bind /&#xff1a;属性v-modelv-for 循环元素v-slotv-prev-cloak vue指令只的是带有v-前缀的特殊标签属性 插值表达式 插值表达式{…

Times New Roman对应的latex

在LaTeX中&#xff0c;可以使用以下命令将文字设置为Times New Roman字体&#xff1a; \usepackage{times} 然后&#xff0c;将文档正文部分包含在以下命令之间&#xff1a; \begin{document} … \end{document} 这样&#xff0c;文档正文中的文字将以Times New Roman字体呈…

AES加密的基本常识和封装类

AES加密的基本常识和封装类 AES(Advanced Encryption Standard)是一种对称密钥加密算法,被广泛用于保护敏感数据的安全性。它是一种块加密算法,意味着它将明文数据分成固定大小的块,并使用相同的密钥对每个块进行独立加密。AES算法支持不同的密钥长度,包括128位、192位和…

cglib动态代理、jdk动态代理及spring动态代理使用

1.项目初始化 1.1 pom.xml <dependencies><!-- spring依赖 --><dependency><groupId>org.springframework</groupId><artifactId>spring-context</artifactId><version>5.2.5.RELEASE</version></dependency>&l…