windows编译TensorFlowServing

概述

整个编译打包过程的总体思路，是参照在linux下的编译流程，配置环境，执行编译命令，根据编译器/链接器反馈的错误，修改相应的源码或者相关库文件的存放路径，编译出windows平台下静态库和二进制执行文件。

TIP:在碰到很多编译错误的时候，适当避开某些不好解决的第三方依赖库(libevent,gflag,glog)，把流程走通，再回头解决外部依赖库的问题。

在这里插入图片描述

windows编译tensorflow serving流程图

Windows编译环境搭建

说明：本教程中部分路径的展示沿用了linux教程中正斜杠的用法，未予修改。凡是非linux沿用命令及输出信息中的路径，均采用windows平台下的反斜杠。两种分隔方式除特别说明，在windows平台下可以混用。

安装Bazel

下载bazel的windows的安装包，版本要求>=3.7.2。在页面中找到 bazel-<version>-windows-x86_64.exe，如bazel-3.7.2-windows-x86_64.exe改名为bazel.exe，并将该文件所在目录放到%PATH%目录，打开命令行窗口，可以搜索到bazel即可。

D:\TFServing\serving>bazel --version
bazel 3.7.2
安装Visual Studio 2019

进入visual studio 2019安装包下载界面，选择社区版，按提示安装即可。可参考安装教程。

安装Python及附属包

选择python3.9，进入下载界面，找到对应版本，参考教程。在安装时将pip一起安装，后需用pip安装其他工具包比如numpy等。

其他工具

这里主要是git,msys2,patch,git的安装方式可参考教程。

msys2是在windows上模拟linux环境，安装后可以在window上执行linux上的程序。安装教程可参考资料。

 pacman -Syupacman -Supacman -S patch unzip
配置环境变量

将上面安装的所有工具的二进制包添加到环境变量：

在系统变量中添加变量名BAZEL_SH，BAZEL_VC，BAZEL_VS，并设置相应的路径。

D:\msys64\usr\bin\bash.exe 									#BAZEL_SH
D:\Program Files\Microsoft Visual Studio\2019\Community\VC 	#BAZEL_VC
D:\Program Files\Microsoft Visual Studio\2019\Community  	#BAZEL_VS

%PATH%中需添加：

D:\Bazel 						#bazel.exe所在目录
D:\ProgramData\Python\Python39 	#python39.exe所在目录
D:\msys64\usr\bin				#msys2中安装的软件所在目录

下载源码

下载tensorflow serving的源码：

git clone https://github.com/tensorflow/serving.git
cd serving

通过分析依赖层级结构，获取所有依赖库源码：

bazel fetch --experimental_repo_remote_exec tensorflow_serving/model_servers:tensorflow_model_server

注意：fetch可以通过分析依赖层级关系，下载对应的工程文件，可通过--repository_cache d:\BazelCache 选项，指定目录存放所有下载的源码文件，也可参考下一节中的bazel配置文件修改存放位置。如遇到下载不成功，重复执行即可。直到显示

D:\TFServing\serving>bazel fetch --experimental_repo_remote_exec tensorflow_serving/model_servers:tensorflow_model_server
Starting local Bazel server and connecting to it...
DEBUG: D:/bazelcache/z4avbakx/external/org_tensorflow/third_party/repo.bzl:109:14:
Warning: skipping import of repository 'icu' because it already exists.
INFO: All external dependencies fetched successfully.
Loading: 301 packages loaded

表示全部工程文件下载完毕。

源码修改

tensorflow serving的源码文件是通过git clone 命令下载到本地，而所有依赖库文件包括tensorflow, libevent等都存放在指定的bazel缓存目录。这里以进入serving根目录下开始

cd serving
Bazel编译脚本的修改

  • 打开.bazelrc文件，在文末加入

    startup --output_user_root=D:\BazelCache

    表示将所有依赖的外部库源码下载到这个目录，且编译中生成的中间文件，缓存文件，静态库以及二进制文件均存放此目录。此操作与在bazel命令中使用--repository_cache d:\BazelCache效果相同 。如不改变，则会默认在C盘中存放上述文件(不推荐)。

  • 在.\tensorflow_serving\workspace.bzl中注释掉com_goolge_sentencepiece及com_google_glog的下载请求。此操作可规避sentencepiece以及glog等产生的平台关联性报错。

  • 在.\third_party\libevent\BUILD文件中注释掉58~72行libevent的编译语句(genrule部分)。该编译语句适用于linux平台，windows平台上采用官方提供cmake方式编译，并将头文件和库文件放到指定搜索目录[1]。

  • 进入.\tensorflow_serving\model_servers\BUILD文件中注释掉参数linkstamp，此操作可避免调用java运行时的异常 [2]。

    cc_library(name = "tensorflow_model_server_main_lib",srcs = ["main.cc",],hdrs = ["version.h",],#注释即可#linkstamp = "version.cc",visibility = [":tensorflow_model_server_custom_op_clients","//tensorflow_serving:internal",],...
)
TensorFlow的源码修改

如上文所述，tensorflow的工程源码存放在自定义的D:\BazelCache所在目录。修改tensorflow的源码，需进入tensorflow工程所在的根目录，例如：

cd D:\BazelCache\z4avbakx\external\org_tensorflow

  • 在文件.\tensorflow\core\framework\registration\registration.h中找到

    #define TF_NEW_ID_FOR_INIT_2(m, c, ...) m(c, __VA_ARGS__)

    改为：

    #define EXPAND(x) x
#define TF_NEW_ID_FOR_INIT_2(m, c, ...)  EXPAND(m(c, __VA_ARGS__))

    此操作用来解决msvc对__VA_ARGS__的支持问题[3]。同理需在文件.\tensorflow\core\framework\op_kernel.h中将

    #define TF_EXTRACT_KERNEL_NAME_IMPL(m, ...) m(__VA_ARGS__)

    改为：

    #define EXPAND(x) x
#define TF_EXTRACT_KERNEL_NAME_IMPL(m, ...) EXPAND(m(__VA_ARGS__))

    TIP: 查找目录及子目录下所有包含指定字符串的文件，linux下可使用

    grep "findStr" -r ./

  • 分别在源码文件

    .\tensorflow\core\lib\random\random_distributions.h
.\tensorflow\cc\gradients\math_grad.cc
.\tensorflow\compiler\xla\client\lib\prng.cc
.\tensorflow\compiler\mlir\tensorflow\transforms\lower_tf.cc
.\tensorflow\compiler\xla\client\lib\math.cc

    中适当位置(建议在头文件包含之后)加入

    #define M_PI 3.14

    可解决函数中找不到该宏定义的错误。

  • 在文件

    .\tensorflow\core\platform\windows\error_windows.cc
.\tensorflow\core\platform\cloud\gcs_dns_cache.cc

    中将window.h和winsock2.h的包含顺序调换[4]。

  • 在.\tensorflow\core\platform\path.cc中将

    bool IsAbsolutePath(StringPiece path) {return !path.empty() && path[0] == '/';//linux中的路径第一个字符为‘/’为绝对路径
}

    改为：

    bool IsAbsolutePath(StringPiece path) {return !path.empty() && path[1] == ':';//windows中的路径第二个字符为‘:’为绝对路径
}

    来支持在windows平台上的正常执行。

TensorFlow Serving 的源码修改

进入到tensorflow serving工程主目录，即

cd serving

  • 在文件.\tensorflow_serving\util\net_http\server\public\response_code_enum.h中注释掉ERROR=500

    UNAVAILABLE_LEGAL = 451,      // Unavailable For Legal Reasons (RFC 7725)
CLIENT_CLOSED_REQUEST = 499,  // Client Closed Request (Nginx)// Server Error
//ERROR = 500,               // Internal Server Error
NOT_IMP = 501,               // Not Implemented
BAD_GATEWAY = 502,           // Bad Gateway
...

    同时修改.\tensorflow_serving\model_servers\http_server.cc中涉及到HTTPStatusCode::ERROR的部分。该操作可让编译继续进行，但可能会导致调试信息缺失的问题，请谨慎操作。

  • 在.\tensorflow_serving\util\net_http\server\internal\evhttp_server.cc中

    //#include <netinet/in.h>
//替换为
#include <winsock2.h>
#pragma comment(lib,“ws2_32.lib”)

    这是由于在windows平台没有netinet/in.h文件，故用windows平台下相关文件替换[5]。同时，在该文件中

    void InitLibEvent() {//if (evthread_use_pthreads() != 0) { 		//pthread是linux平台的线程库if (evthread_use_windows_threads() != 0) { 	//替换成windows平台对应的接口NET_LOG(FATAL, "Server requires pthread support.");}

  • 在.\tensorflow_serving\model_servers\main.cc中注释掉TF_Version以及TF_Serving_Version的函数

    if (!tensorflow::Flags::Parse(&argc, argv, flag_list)) {std::cout << usage;return -1;
}//  if (display_version) {
//    std::cout << "TensorFlow ModelServer: " << TF_Serving_Version() << "\n";
//              << "TensorFlow Library: " << TF_Version() << "\n";
//    return 0;
//  }tensorflow::port::InitMain(argv[0], &argc, &argv);
...

    由于最开始注释掉了linkstamp，导致version.cc内的版本信息没有被加入执行文件，故相关的函数缺失。该操作不会影响程序的主要功能。

libevent 编译配置

由于tensorflow serving工程中对libevent编译脚本不适合windows平台。故选择手动下载并采用cmake的方式编译[1]，将头文件和生成的库文件放入指定目录。在libevent工程的根目录中新建libevent目录，即

D:\BazelCache\z4avbakx\external\com_github_libevent_libevent\libevent

中所有头文件放入include\目录，将生成的库文件放入lib\目录。

编译执行

bazel build --experimental_repo_remote_exec tensorflow_serving/model_servers:tensorflow_model_server --action_env PYTHON_BIN_PATH=D:\ProgramData\Python\Python39\python.exe --local_ram_resources=200 --local_cpu_resources=10 >log.txt

参数中--action_env PYTHON_BIN_PATH 用来指定python的安装路径，若不指定，系统将无法正确找到python.exe，导致错误[6]。--local_ram_resources=200 --local_cpu_resources=10用来控制bazel内存使用和cpu核心使用。可有效解决编译过程中出现的堆空间分配不足的问题[7]。采用 >log.txt可将低级别的警告信息保存至文件，方便排查错误类型。当出现类似下列输出

...
INFO: Analyzed target //tensorflow_serving/model_servers:tensorflow_model_server (276 packages loaded, 23004 targets configured).
INFO: Found 1 target...
Target //tensorflow_serving/model_servers:tensorflow_model_server up-to-date:bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server.exe
INFO: Elapsed time: 27.595s, Critical Path: 7.34s
INFO: 1 process: 1 internal.
INFO: Build completed successfully, 1 total action

表明编译成功，且生成了对应的执行文件。

运行及调试

在serving的根目录下以管理员权限执行以下命令[8]

bazel-bin\tensorflow_serving\model_servers\tensorflow_model_server.exe --model_base_path=D:\TFServing\serving\tensorflow_serving\servables\tensorflow\testdata\saved_model_half_plus_two_cpu --model_name=half_plus_two --rest_api_port=8501

当出现类似下列输出

...
2021-10-13 16:21:11.190345: I tensorflow_serving/core/loader_harness.cc:87] Successfully loaded servable version {name: half_plus_two version: 123}
2021-10-13 16:21:11.192614: I tensorflow_serving/model_servers/server_core.cc:486] Finished adding/updating models
2021-10-13 16:21:11.192739: I tensorflow_serving/model_servers/server.cc:133] Using InsecureServerCredentials
2021-10-13 16:21:11.192771: I tensorflow_serving/model_servers/server.cc:383] Profiler service is enabled
2021-10-13 16:21:11.195258: I tensorflow_serving/model_servers/server.cc:409] Running gRPC ModelServer at 0.0.0.0:8500 ...
[evhttp_server.cc : 249] NET_LOG: Entering the event loop ...
2021-10-13 16:21:11.197798: I tensorflow_serving/model_servers/server.cc:430] Exporting HTTP/REST API at:localhost:8501 ...

表明windows上的服务端正常运行。可通过客户端命令

curl -XPOST http://localhost:8501/v1/models/half_plus_two:predict -d "{\"instances\":[1.0, 2.0, 5.0]}"

测试，如出现类似下列输出

{"predictions": [2.5, 3.0, 4.5]
}

表明客户端的请求被正确处理，服务器模型正常运行。可用于测试其他模型。

其他

内存问题

在编译时如果出现类似

LINK : fatal error LNK1102: 内存不足

的问题，可在命令行中

set PreferredToolArchitecture=x64

msvc默认采用32位的编译工具包括cl.exe以及link.exe，这里采用64位的编译工具编译，解决虚拟内存不足的问题[9]。

耗时问题

编译tensorflow的某些源码文件时会遇到耗时特别长的问题，目前还不清楚是什么问题导致。如果不中断，可能需要1~3个小时才能完成某一个文件的目标码的生成。通过切换到较低版本可能会改善时长问题（待验证）。

下一步工作

  • 目前编译打包的版本没有cuda的支持，后续将根据模型的运行时间添加。
  • 关于libevent对windows平台支持不好的问题，如有需要将替换成更友好的libuv库。
  • 已经注释掉未参加编译的sentencepiece，gflag库，如果影响程序的正常运行，将添加支持。
  • 对于通过注释linkstamp去掉的版本信息，将按需添加。
  • 分析Serving工程的依赖层次结构，去掉业务实战中用不到的功能，使执行文件轻量化。

参考文档

[1] libevent在windows上的编译

[2] linstamp无法在windows上正常运行

[3] msvc对__VA_ARGS__的支持问题

[4] windows.h与winsock2.h的包含顺序

[5] windows下找不到netinet/in.h文件

[6] python环境配置错误

[7] bazel限制内存使用

[8] tensorflow serving的运行及调试

[9] 编译器堆空间不足问题
ensorflow/tensorflow/issues/48264)

[7] bazel限制内存使用

[8] tensorflow serving的运行及调试

[9] 编译器堆空间不足问题

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/630079.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

BuildRoot配置RTL8822CE WIFIBT模块（WIFI部分）

BuildRoot配置RTL8822CE WIFIBT模块（WIFI部分）

TinkerBoard2主板自带的无线模块为RTL8822CE&#xff0c;PCIe接口 之前在风火轮下载的Linux源码编译出来的BuildRoot根文件系统没有相关的驱动文件 [rootrk3399:/]# find . -name *.ko [rootrk3399:/]# lsmod Module Size Used by Not tainted [rootrk33…
阅读更多...
Dicom Tag： Image Position，Image Orientation和Patient Position

Dicom Tag： Image Position，Image Orientation和Patient Position

文章目录 Image Position&#xff0c;Image Orientation和Patient PositionImage Position (0020,0032):Image Orientation (0020,0037):Patient Position(0018,5100)&#xff1a; Image Position&#xff0c;Image Orientation和Patient Position 在DICOM图像中&#xff0c;I…
阅读更多...
栈（顺序存储、链式存储）

栈（顺序存储、链式存储）

栈的定义 栈&#xff08;Stack&#xff09;是只允许在一端进行插入或删除操作的线性表 栈的操作特性是后进先出LIFO&#xff08;Last In First Out&#xff09; 顺序存储 链式存储
阅读更多...
三款非常实用的图片转换格式工具

三款非常实用的图片转换格式工具

BMP是一种常见的位图图像格式&#xff0c;而JPG则是互联网上广泛使用的图像格式。有时&#xff0c;为了满足特定的需求或更好的兼容性&#xff0c;我们需要将BMP格式转换为JPG格式。今天&#xff0c;我们将为您推荐三款实用的软件&#xff0c;帮助您轻松完成这一转换。 水印云…
阅读更多...
QT 原生布局和QML的区别

QT 原生布局和QML的区别

一、QML 与 Qt Quick的区别 1.1 从概念上区分 为了更精确地对两者进行说明&#xff0c;先看助手对 QML 的描述&#xff1a; QML is a user interface specification and programming language. QML 是一种用户界面规范和标记语言&#xff0c;允许开发人员和设计师创建高性能、流…
阅读更多...
端智能在大众点评搜索重排序的应用实践

端智能在大众点评搜索重排序的应用实践

1 引言 随着大数据、人工智能等信息技术的快速发展&#xff0c;云计算已经无法满足特定场景对数据隐私、高实时性的要求。借鉴边缘计算的思想&#xff0c;在终端部署 AI 能力逐渐步入大众的视野&#xff0c;“端智能”的概念应运而生。相比于传统的云计算&#xff0c;在智能手…
阅读更多...
【Maven】008-Maven 私服搭建与使用

【Maven】008-Maven 私服搭建与使用

【Maven】008-Maven 私服搭建与使用 文章目录 【Maven】008-Maven 私服搭建与使用一、概述1、简介2、建立私服后依赖查找和下载逻辑第一步&#xff1a;请求本地仓库第二步&#xff1a;请求 Maven 私服第三步&#xff1a;请求外部远程仓库&#xff08;远程中央仓库等&#xff09…
阅读更多...
动态路由协议

动态路由协议

一、动态路由协议 动态路由协议&#xff0c;用在多个 Router 之间定期的、自动的、互相交换 Routes&#xff08;路由信息&#xff0c;包含了网段信息、可达性信息、路径信息等&#xff09;&#xff0c;动态生成 Routing Table Entries&#xff0c;并最终达到全网的路由收敛&am…
阅读更多...
近4w字吐血整理！只要你认真看完【C++编程核心知识】分分钟吊打面试官（包含：内存、函数、引用、类与对象、文件操作）

近4w字吐血整理！只要你认真看完【C++编程核心知识】分分钟吊打面试官（包含：内存、函数、引用、类与对象、文件操作）

&#x1f308;个人主页&#xff1a;godspeed_lucip &#x1f525; 系列专栏&#xff1a;C从基础到进阶 &#x1f3c6;&#x1f3c6;关注博主&#xff0c;随时获取更多关于C的优质内容&#xff01;&#x1f3c6;&#x1f3c6; C核心编程&#x1f30f;1 内存分区模型&#x1f384…
阅读更多...
力扣hot100 颜色分类 双指针 滚动赋值

力扣hot100 颜色分类 双指针 滚动赋值

Problem: 75. 颜色分类 文章目录 思路解题方法复杂度Code&#x1f496; 超简洁版 思路 解题方法 描述你的解题方法 复杂度 时间复杂度: O ( n ) O(n) O(n) 空间复杂度: O ( 1 ) O(1) O(1) Code class Solution { public void sortColors(int[] nums){int n nums.length…
阅读更多...
Relation-Aware Graph Transformer for SQL-to-Text Generation

Relation-Aware Graph Transformer for SQL-to-Text Generation

Relation-Aware Graph Transformer for SQL-to-Text Generation Abstract SQL2Text 是一项将 SQL 查询映射到相应的自然语言问题的任务。之前的工作将 SQL 表示为稀疏图&#xff0c;并利用 graph-to-sequence 模型来生成问题&#xff0c;其中每个节点只能与 k 跳节点通信。由…
阅读更多...
Qt超简单实现贪吃蛇

Qt超简单实现贪吃蛇

文章目录 常量Snake类GameController类GUI显示游戏简图 为了能够最简单地完成程序&#xff0c;所以没有用类的继承等知识。感兴趣的朋友可以改写一下。 常量 const int FILE_SIZE 30; //地图方格大小 const int FPS 5000 / 33; //游戏运行帧率 enum Item{empty, wall, food…
阅读更多...
Netty通信中的粘包半包问题(三)

Netty通信中的粘包半包问题(三)

之前我们介绍了用特殊分隔符来分割每个报文&#xff0c;但是如果传输的数据中恰好有个特殊分隔符&#xff0c;它将会被拆分成多个&#xff0c;于是&#xff0c;为了进一步避免这个问题&#xff0c;还有一种解决方案是在两端的channelPipeline中用一个固定长度来区分&#xff0c…
阅读更多...
K8s（一）Pod资源——Pod介绍、创建Pod、Pod简单资源配额

K8s（一）Pod资源——Pod介绍、创建Pod、Pod简单资源配额

目录 Pod概述 pod网络 pod存储 pod和容器对比 创建pod的方式 pod运行方式分类 Pod的创建 Pod的创建过程 通过kubectl run来创建pod 通过yaml文件创建&#xff0c;yaml文件简单写法 Pod简单操作 Pod的标签labels Pod的资源配额resource 测试 Pod概述 Kubernetes …
阅读更多...
贪心算法-活动安排-最详细注释解析

贪心算法-活动安排-最详细注释解析

贪心算法-活动安排-最详细注释解析 题目&#xff1a; 学校在最近几天有n个活动&#xff0c;这些活动都需要使用学校的大礼堂&#xff0c;在同一时间&#xff0c;礼堂只能被一个活动使用。由于有些活动时间上有冲突&#xff0c;学校办公室人员只好让一些活动放弃使用礼堂而使用…
阅读更多...
Arm Generic Interrupt Controller v3 and v4（GICv3v4）学习（一）

Arm Generic Interrupt Controller v3 and v4（GICv3v4）学习（一）

提示 该博客主要为个人学习&#xff0c;通过阅读官网手册整理而来&#xff08;个人觉得阅读官网的英文文档非常有助于理解各个IP特性&#xff09;。若有不对之处请参考参考文档&#xff0c;以官网参考文档为准。 Arm Generic Interrupt Controller v3 and v4学习一共分为三章&…
阅读更多...
Revealing the Dark Secrets of MIM

Revealing the Dark Secrets of MIM

论文名称&#xff1a; Revealing the Dark Secrets of Masked Image Modeling 发表时间&#xff1a;CVPR2022 作者及组织&#xff1a;Zhenda Xie, Zigang Geng, Hu Han等&#xff0c;来自清华&#xff0c;中科院&#xff0c;微软亚洲研究院。 前言 本文尝试探讨MIM为何有效的原…
阅读更多...
JavaScript 学习笔记（Day5）

JavaScript 学习笔记（Day5）

「写在前面」 本文为 b 站黑马程序员 pink 老师 JavaScript 教程的学习笔记。本着自己学习、分享他人的态度&#xff0c;分享学习笔记&#xff0c;希望能对大家有所帮助。推荐先按顺序阅读往期内容&#xff1a; 1. JavaScript 学习笔记&#xff08;Day1&#xff09; 2. JavaSc…
阅读更多...
数据结构奇妙旅程之二叉树初阶

数据结构奇妙旅程之二叉树初阶

꒰˃͈꒵˂͈꒱ write in front ꒰˃͈꒵˂͈꒱ ʕ̯•͡˔•̯᷅ʔ大家好&#xff0c;我是xiaoxie.希望你看完之后,有不足之处请多多谅解&#xff0c;让我们一起共同进步૮₍❀ᴗ͈ . ᴗ͈ აxiaoxieʕ̯•͡˔•̯᷅ʔ—CSDN博客 本文由xiaoxieʕ̯•͡˔•̯᷅ʔ 原创 CSDN …
阅读更多...
IDEA无法解析jdk自带的类的解决办法

IDEA无法解析jdk自带的类的解决办法

1.问题 IDEA在有些时候&#xff0c;会出现这个错误&#xff0c;就是jdk自带的java类找不到而报错。 例如下面的就是Object找不到&#xff0c;我们知道jdk自带的类是不用import包的&#xff0c;这里报错了&#xff0c;IDEA会提示你去导入类&#xff0c;其实这个提示也不是真正…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023