开发函数计算的正确姿势——tensorflow serving

前言

首先介绍下在本文出现的几个比较重要的概念:

函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。
Fun: Fun 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API 网关、日志服务等资源。它通过一个资源配置文件(template.yml),协助您进行开发、构建、部署操作。

备注: 本文介绍的技巧需要 Fun 版本大于等于 2.13.0。

依赖工具

本项目是在 MacOS 下开发的,涉及到的工具是平台无关的,对于 Linux 和 Windows 桌面系统应该也同样适用。在开始本例之前请确保如下工具已经正确的安装,更新到最新版本,并进行正确的配置。

  • Docker
  • Fun
  • Fcli

Fun 和 Fcli 工具依赖于 docker 来模拟本地环境。

对于 MacOS 用户可以使用 homebrew 进行安装:

brew cask install docker
brew tap vangie/formula
brew install fun
brew install fcli

Windows 和 Linux 用户安装请参考:

  1. https://github.com/aliyun/fun/blob/master/docs/usage/installation.md
  2. https://github.com/aliyun/fcli/releases

安装好后,记得先执行 fun config 初始化一下配置。

注意, 如果你已经安装过了 fun,确保 fun 的版本在 2.13.0 以上。

$ fun --version
2.13.0

背景

AI model serving 是函数计算一个比较典型的应用场景。数据科学家训练好模型以后往往需要找软件工程师把模型变成系统或者服务,通常把这个过程称之为 model serving。函数计算无需运维和弹性伸缩的特性,正好符合数据科学家对高可用分布式系统的诉求。本文将介绍把一个 TensorFlow CharRNN 训练的自动写五言绝句古诗的模型部署到函数计算的例子。由于 python TensorFlow 依赖库和训练的模型的文件有数百兆,即使压缩也远超了函数计算 50M 代码包大小的限制。对于这类超大体积的文件,采用 NAS 文件系统是最佳选择。本文会介绍一种 Fun + NAS 的方法来解决 tensorflow serving 问题。

快速开始

1. 克隆 poetry 项目

git clone https://github.com/vangie/poetry.git

2. 修改 template.yml 文件

修改下面的 VPC 配合和 NAS 配置,这部分配置需要分别去相应的控制台进行创建并把对应的值拷贝出来。

VpcConfig:VpcId: 'vpc-uf6r2qatgfbdhgy2rhplo'VSwitchIds: [ 'vsw-uf669ekf9zser1hrmgru4' ]SecurityGroupId: 'sg-uf6jcqx1ogbr37hkvgxv'
NasConfig:UserId: 10003GroupId: 10003MountPoints:- ServerAddr: '3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com:/'MountDir: '/mnt/nas'

3. 安装依赖

  1. 执行 fun install 安装依赖。fun.yml 文件里声明了 tensorflow 的依赖和包括了训练模型的脚本命令,所以执行会比较费时。
  2. 执行 fun local invoke poetry,这一步主要是为了生成 .fun/nas/3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com 目录。
  3. 执行 cp -R .fun/python .fun/nas/3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com/lib/ 将第一步安装的 tensorflow 依赖包拷贝到本地的 nas 目录。
  4. 执行 cp -R model .fun/nas/3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com/ 将第一步训练的模型拷贝到本地的 nas 目录

本地测试

执行 fun local invoke poetry ,正确的返回结果如下

$ fun local invoke poetry                                             
Reading event data from stdin, which can be ended with Enter then Ctrl+D
(you can also pass it from file with -e)
mouting local nas mock dir /Users/vangie/Desktop/poetry/.fun/nas/3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com/ into container /mnt/nasskip pulling image aliyunfc/runtime-python3.6:1.5.2...
FunctionCompute python3 runtime inited.
FC Invoke Start RequestId: 938334c4-5407-4a72-93e1-6d59e52774d8
.......(省略了部分日志)
不见江中客,无言此别归。
江风秋雨落,山色夜山长。
不问江南客,孤舟在故乡。
一年如远别,何处是归人。
一夜无人RequestId: 938334c4-5407-4a72-93e1-6d59e52774d8          Billed Duration: 14074 ms       Memory Size: 1998 MB    Max Memory Used: 226 MB

5. 上传文件至 NAS

目前 NAS 服务尚未提供直接上传文件的 API 和命令行。NAS 控制台提供的上传方式是先上传到 OSS,再由 OSS 导入 NAS 的功能,该功能需要申请开通。此外还有两种方法:

  1. nas.sh —— 在 FC 里部署一个拷贝函数。这个方法目前有个限制,无法拷贝大于 6M 的文件。
  2. 购买一台最便宜的按周计费的 ECS(大概 9 元钱),借助 ECS 的把文件拷贝进去。

下面我们假设 ecs 已经买好了,然后使用下面的命令拷贝文件到 nas 并解压

# 挂载 nas 网盘
mount -t nfs -o vers=4.0 3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com:/ /mnt/nas# 压缩本地要上传的目录
cd .fun/nas/3be7b4835d-pvs14.cn-shanghai.nas.aliyuncs.com/
tar -czvf nas.tar.gz lib model# 拷贝到 nas 目录
scp nas.tar.gz root@47.103.83.174:/mnt/nas# 解压
tar -xvf nas.tar.gz

6. 部署和调用

$ fun deploy             
using region: cn-shanghai
using accountId: ***********4733
using accessKeyId: ***********EUz3
using timeout: 60Waiting for service poetry to be deployed...Waiting for function poetry to be deployed...Waiting for packaging function poetry code...package function poetry code donefunction poetry deploy success
service poetry deploy success$ fcli function invoke -s poetry -f poetry
换<unk>金龙瑁旒鸯垓疠萏萏瑁蟀瑁鸪雳萏萏萏蟀雳萏雳瑁雳瑁萏瑁瑁瑁鸪鸪蟀蟀蟀鸪蟀蟀萏萏萏蟀瑁萏蓉熳珑蟀熳萏缈皪惮萏萏皪惮皪琶萏萏珑琵疠缈轳寞雨风香。
春山无处处,秋色向江流。
不是东南望,孤山有一情。
春风不可见,一日向江流。
不见无人去,无时见白头。
相思一相见,相见一中风。
何日一相识,何人有此心。
何年不可识,相忆在江山。
一日一秋水,何来一山风。
相逢有何计,不见故人心。
不得何人去,无年不自同。
一来多此路,何处不堪寻。
此日多无事,无时自不知。
何年无此处,不是不相逢。
一日无如远,春风不自归。
何当有君客,不见旧人情。
此去相思处,不堪何处归。
不知青柳外,不得不堪亲。
不见青花去,无人

至此,已经将古诗创作程序成功部署到函数计算了。


原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/518930.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Knative Eventing 中如何实现 Registry 事件注册机制

背景 作为事件消费者&#xff0c;之前是无法事先知道哪些事件可以被消费&#xff0c;如果能通过某种方式获得哪些 Broker 提供哪些事件,那么事件消费者就能很方便通过这些 Broker 消费事件。Registry 就是在这样的背景下被提出的&#xff0c;通过 Registry 机制&#xff0c;消…

Java实现首字母大写、驼峰命名与、划线转换,校验null

/*** 首字母转大写、驼峰命名* * param s 待转换的字符串* return 转换结果*/public static String initialToCapital(String s) {StringBuilder sb new StringBuilder();if (s null || s.trim().isEmpty()) {return sb.toString();}if (s.length() < 1) {return sb.appen…

带出7个“师弟”,支付宝BASIC College的辅导员是个伪90后

“我的花名是改之&#xff0c;不是‘有则改之无则加勉’的改之&#xff0c;而是‘杨过&#xff0c;字改之’的那个改之。”一见面&#xff0c;他对自己花名的介绍&#xff0c;就让人耳目一新。至于为什么要用杨过的字给自己起名&#xff0c;他也毫不扭捏地坦诚相告&#xff1a;…

整理了Kafka的一些常用工具,建议收藏备用!| 博文精选

作者 | 犀牛饲养员责编 | 徐威龙封面付费下载于视觉中国本文主要列举一些 Kafka 的常用工具&#xff0c;以及举了一些例子来帮助理解。有需要的小伙伴&#xff0c;可以 Mark 起来再看。环境以下的操作都是基于kafka_2.11-2.2.0工具新建topicbin/kafka-topics.sh --create --zoo…

阿里的初感知

很荣幸能加入阿里这个大家庭&#xff0c;在这短短的一个月里&#xff0c;阿里的一些不同让我印象深刻。 owner精神 入职第一天&#xff0c;上午进行了合同签订和简单的入职培训&#xff0c;下午就领了电脑设备到了办公区。 在电梯里&#xff0c;恰巧遇到了面试过我的同学&…

时间记录

long forStrTime 0L;//开始时间 forStrTime System.currentTimeMillis(); //结束时间 long forEndTime System.currentTimeMillis(); logger.info("转发结束时间:[{}]", forEndTime "毫秒");//计算耗时时间 long endToStart (long) (forEndTime - for…

两大图灵奖得主点赞中国用AI检测新冠,AI还能做什么?

作者 | CV君来源 | 我爱计算机视觉封图| CSDN│下载于视觉中国在这次新冠肺炎疫情肆虐的时候&#xff0c;AI 成为对抗疫情的亮点&#xff0c;前几天两大图灵奖得主 Yoshua Bengio 和 Yann LeCun 在对比中美两国面对疫情处理时&#xff0c;特别点赞了我国企业使用深度学习检测新…

首次披露!阿里线下智能方案进化史

阿里妹导读&#xff1a;AI 技术已经从互联网走向零售、汽车、银行等传统行业。受限于延时、成本、安全等多方面的限制&#xff0c;单一的云解决方案往往不能满足场景需求。线下智能方案逐步成为了智能化过程中重要的一环&#xff0c;今天&#xff0c;我们就一起来了解这一环&am…

同方服务器操作系统安装,同方云服务器安装使用手册

同方云服务器安装使用手册 内容精选换一换制作Docker镜像&#xff0c;有以下两种方法。快照方式制作镜像(偶尔制作的镜像)&#xff1a;在基础镜像上&#xff0c;比如Ubuntu&#xff0c;先登录镜像系统并安装Docker软件&#xff0c;然后整体制作快照&#xff0c;即可得到所需软件…

蚂蚁金服面对亿级并发场景的组件体系设计

5 月 6 日&#xff0c;InfoQ 主办的 QCon 2019 全球软件开发大会在北京举行。蚂蚁金服技术专家吕丹&#xff08;凝睇&#xff09;在大会上做了《蚂蚁金服面对亿级并发场景的组件体系设计》的分享&#xff0c;我们根据演讲整理如下&#xff1a; 今天&#xff0c;我主要想和大家…

聚焦效率与目标差距,数据才是远程办公的内核!

作者&#xff5c;帆软数据应用研究院 新冠肺炎疫情将远程办公推向了春节后的热度高峰&#xff0c;引爆了远程移动办公应用市场。在“不出门&#xff0c;不聚集”的战疫要求下&#xff0c;远程办公成为企业减小损失、复工过渡的首选。 然而在众多企业如火如荼开展远程办公的同…

“大团队”和“敏捷开发”,谁说不可兼得?

阿里妹导读&#xff1a;当小团队的产出跟不上业务需要&#xff0c;团队就面临规模化的问题。从1个团队到3个团队&#xff0c;仍可以通过简单的团队沟通保持高效协作。当产品复杂到需要5个以上团队同时开发时&#xff0c;我们需要一定的组织设计来保证团队间的顺畅协作&#xff…

英雄联盟祖安服务器要维护多久,祖安玩家的春天!英雄联盟将回归队内语音,娱乐玩家遭殃了?...

英雄联盟之所以能一直保持这么高的人气&#xff0c;就是因为丰富的游戏内容&#xff0c;无论是地图资源、英雄 、符文搭配和出装选择&#xff0c;每隔一段时间就会来一个大革新&#xff0c;而今年英雄联盟更是迎来了史无前例的大更新&#xff0c;装备系统大改&#xff0c;装备界…

plsql不加date

nls_date_format YYYY-MM-DDnls_timestamp_format YYYY-MM-DD NUMBER_OF_PROCESSORS 8

阿里云PolarDB发布重大更新 支持Oracle等数据库一键迁移上云

5月21日&#xff0c;阿里云PolarDB发布重大更新&#xff0c;提供传统数据库一键迁移上云能力&#xff0c;可以帮助企业将线下的MySQL、PostgreSQL和Oracle等数据库轻松上云&#xff0c;最快数小时内迁移完成。据估算&#xff0c;云上成本不到传统数据库的1/6。目前&#xff0c;…

最快60秒完成新冠病毒核酸对比 阿里云向社会免费开放基因计算服务

全球疫情肆虐&#xff0c;各大科技公司都在竭尽全力抗击疫情。3月13日&#xff0c;阿里云对外宣布&#xff0c;将向医疗科研机构、疾控中心等一线病毒研究机构免费开放基因计算服务&#xff0c;可大幅提升宏基因组测序、疫苗研发相关的处理效率&#xff0c;最快只需60秒即可完成…

在加州最古老的监狱教课是种什么样的体验?

彼得斯登&#xff08;Peter Stern&#xff09;是阿里巴巴战略投资部的一名洋小二&#xff0c;是办公室出了名的“空中飞人”。 斯登一年中大部分时间都在各大洲飞来飞去——但无论多忙&#xff0c;每个月他都会去圣昆丁监狱上课。 不好走的“最后一里路” 圣昆丁州立监狱是加…

网络发现协议服务器,关于 DHCP 服务器和网络发现

关于 DHCP 服务器和网络发现12/19/2014本文内容应用到: System Center Configuration Manager 2007, System Center Configuration Manager 2007 R2, System Center Configuration Manager 2007 R3, System Center Configuration Manager 2007 SP1, System Center Configuratio…

SQL算法中的变量使用占位符动态赋值

需求&#xff1a; 1.每张表的SQL算法配置到数据库的配置表中 2.SQL算法中的条件统一使用占位符填充 3.当执行sql时需要将查询出来的SQL算法中的占位符动态赋值 一、真实案例还原 这里拿表进行演示 1. 表结构 create table HERO (SNO VARCHAR2(20) not null,USER_NAME …

BigData NoSQL —— ApsaraDB HBase数据存储与分析平台概览

一、引言 时间到了2019年&#xff0c;数据库也发展到了一个新的拐点&#xff0c;有三个明显的趋势&#xff1a; 越来越多的数据库会做云原生(CloudNative)&#xff0c;会不断利用新的硬件及云本身的优势打造CloudNative数据库&#xff0c;国内以阿里云的Cloud HBase、POLARDB…