Serverless 工程实践 | Serverless 应用开发观念的转变

简介: Serverless 架构带来的除了一种新的架构、一种新的编程范式,还包括思路上的转变,尤其是开发过程中的一些思路转变。有人说要把 Serverless 架构看成一种天然的分布式架构,需要用分布式架构的思路去开发 Serverless 应用。诚然,这种说法是正确的。但是在一些情况下,Serverless 还有一些特性,所以要转变开发观念。

前言:在 Serverless 架构下,虽然更多精力是关注业务代码,但是实际上对一些配置和成本也是需要关注的,并且必要的时候还需要根据配置与成本对 Serverless 应用进行配置和代码优化。

Serverless 应用开发观念的转变

Serverless 架构带来的除了一种新的架构、一种新的编程范式,还包括思路上的转变,尤其是开发过程中的一些思路转变。有人说要把 Serverless 架构看成一种天然的分布式架构,需要用分布式架构的思路去开发 Serverless 应用。诚然,这种说法是正确的。但是在一些情况下,Serverless 还有一些特性,所以要转变开发观念。

1、文件上传方法

在传统 Web 框架中,上传文件是非常简单和便捷的,例如 Python 的 Flask 框架:

f = request.files['file']
f.save('my_file_path')

但是在 Serverless 架构下,文件却不能直接上传,原因如下:

  • 一般情况下,一些云平台的API网关触发器会将二进制文件转换成字符串,不便直接获取和存储;
  • 一般情况下,API 网关与 FaaS 平台之间传递的数据包有大小限制,很多平台限制数据包大小为 6MB 以内;
  • FaaS 平台大多是无状态的,即使存储到当前实例中,也会随着实例释放而使文件丢失。

所以,传统 Web 框架中常用的上传文件方案不太适合在 Serverless 架构中直接使用。在 Serverless 架构中,上传文件的方法通常有两种:一种是转换为 Base64 格式后上传,将文件持久化到对象存储或者 NAS 中,但 API 网关与 FaaS 平台之间传递的数据包有大小限制,所以此方法通常适用于上传头像等小文件的业务场景。

另一种上传方法是通过对象存储等平台来上传,因为客户端直接通过密钥等来将文件直传到对象存储是有一定风险的,所以通常是客户端发起上传请求,函数计算根据请求内容进行预签名操作,并将预签名地址返给客户端,客户端再使用指定的方法上传,上传完成之后,通过对象存储触发器等来对上传结果进行更新等,如下图所示。

1.png

在 Serverless 架构下文件上传文件示例

以阿里云函数计算为例,针对上述两种常见的上传方法通过 Bottle 来实现。在函数计算中,先初始化对象存储相关的对象等:

初始化对象存储相关的对象等:

AccessKey = {"id": '',"secret": ''
}
OSSConf = {'endPoint': 'oss-cn-hangzhou.aliyuncs.com','bucketName': 'bucketName','objectSignUrlTimeOut': 60
}
#获取/上传文件到OSS的临时地址
auth = oss2.Auth(AccessKey['id'], AccessKey['secret'])
bucket = oss2.Bucket(auth, OSSConf['endPoint'], OSSConf['bucketName'])
#对象存储操作
getUrl = lambda object, method: bucket.sign_url(method, object, OSSConf['objectSignUrlTimeOut'])
getSignUrl = lambda object: getUrl(object, "GET")
putSignUrl = lambda object: getUrl(object, "PUT")#获取随机字符串
randomStr = lambda len: "".join(random.sample('abcdefghijklqrstuvwxyz123456789ABCDEFGZSA' * 100, len))

第一种上传方法,通过 Base64 上传之后,将文件持久化到对象存储:

#文件上传
# URI: /file/upload
# Method: POST
@bottle.route('/file/upload', "POST")
def postFileUpload():try:pictureBase64 = bottle.request.GET.get('picture', '').split("base64,")[1]object = randomStr(100)with open('/tmp/%s' % object, 'wb') as f:f.write(base64.b64decode(pictureBase64))bucket.put_object_from_file(object, '/tmp/%s' % object)return response({"status": 'ok',})except Exception as e:print("Error: ", e)return response(ERROR['SystemError'], 'SystemError')

第二种上传方法,获取预签名的对象存储地址,再在客户端发起上传请求,直传到对象存储:

#获取文件上传地址
# URI: /file/upload/url
# Method: GET
@bottle.route('/file/upload/url', "GET")
def getFileUploadUrl():try:object = randomStr(100)return response({        "upload": putSignUrl(object),    "download": 'https://download.xshu.cn/%s' % (object)    })    except Exception as e:  print("Error: ", e)     return response(ERROR['SystemError'], 'SystemError')

HTML 部分:

<div style="width: 70%">  <div style="text-align: center">   <h3>Web端上传文件</h3>  </div>  <hr>  <div>  <p>      方案1:上传到函数计算进行处理再转存到对象存储,这种方法比较直观,问题是 FaaS 平台与 API 网关处有数据包大小上限,而且对二进制文件处理并不好。      </p>  <input type="file" name="file" id="fileFc"/>   <input type="button" οnclick="UpladFileFC()" value="上传"/>  </div>   <hr>  <div>    <p>            方案2:直接上传到对象存储。流程是先从函数计算获得临时地址并进行数据存储(例如将文件信息存到 Redis 等),然后再从客户端将文件上传到对象存储,之后通过对象存储触发器触发函数,从存储系统(例如已经存储到Redis)读取到信息,再对图像进行处理。  </p>     <input type="file" name="file" id="fileOss"/>  <input type="button" οnclick="UpladFileOSS()" value="上传"/> </div>
</div>

通过 Base64 上传的客户端 JavaScript 实现:

function UpladFileFC() {  const oFReader = new FileReader();  oFReader.readAsDataURL(document.getElementById("fileFc").files[0]);   oFReader.onload = function (oFREvent) {  const xmlhttp = window.XMLHttpRequest ? (new XMLHttpRequest()) : (new        ActiveXObject("Microsoft.XMLHTTP"))   xmlhttp.onreadystatechange = function () {    if (xmlhttp.readyState == 4 && xmlhttp.status == 200) {            alert(xmlhttp.responseText)}      }        const url = "https://domain.com/file/upload"   xmlhttp.open("POST", url, true);      xmlhttp.setRequestHeader("Content-type", "application/json");       xmlhttp.send(JSON.stringify({       picture: oFREvent.target.result     })); }
}

客户端通过预签名地址,直传到对象存储的客户端 JavaScript 实现:

function doUpload(bodyUrl) {  const xmlhttp = window.XMLHttpRequest ? (new XMLHttpRequest()) : (new Active       XObject("Microsoft.XMLHTTP"));    xmlhttp.open("PUT", bodyUrl, true);  xmlhttp.onload = function () {   alert(xmlhttp.responseText)  };   xmlhttp.send(document.getElementById("fileOss").files[0]);}function UpladFileOSS() {const xmlhttp = window.XMLHttpRequest ? (new XMLHttpRequest()) : (new ActiveXObject("Microsoft.XMLHTTP"))xmlhttp.onreadystatechange = function () {if (xmlhttp.readyState == 4 && xmlhttp.status == 200) {            const body = JSON.parse(xmlhttp.responseText)         if (body['url']) {  doUpload(body['url'])   }}    }    const getUploadUrl = 'https://domain.com/file/upload/url'   xmlhttp.open("POST", getUploadUrl, true); xmlhttp.setRequestHeader("Content-type", "application/json"); xmlhttp.send();
}

整体效果如图中所示。

2.png

Serverless 架构下文件上传实验 Web 端效果

此时,我们可以在当前页面进行不同类型的文件上传方案实验。

2、文件读写与持久化方法

应用在执行过程中,可能会涉及文件的读写操作,或者是一些文件的持久化操作。在传统的云主机模式下,可以直接读写文件,或者将文件在某个目录下持久化,但是在 Serverless 架构下并不是这样的。

由于 FaaS 平台是无状态的,并且用过之后会被销毁,因此文件并不能直接持久化在实例中,但可以持久化到其他的服务中,例如对象存储、NAS 等。

同时,在不配置 NAS 的情况下,FaaS 平台通常情况下只具备 /tmp 目录可写权限,所以部分临时文件可以缓存在 /tmp 文件夹下。

3、慎用部分 Web 框架的特性

(1) 异步

函数计算是请求级别的隔离,所以可以认为这个请求结束了,实例就有可能进入一个静默状态。而在函数计算中,API 网关触发器通常是同步调用(以阿里云函数计算为例,通常只在定时触发器、OSS 事件触发器、MNS 主题触发器和 IoT 触发器等几种情况下是异步触发)。

这就意味着当 API 网关将结果返给客户端的时候,整个函数就会进入静默状态,或者被销毁,而不是继续执行完异步方法。所以通常情况下像 Tornado 等框架就很难在 Serverless 架构下发挥其异步的作用。当然,如果使用者需要异步能力,可以参考云厂商所提供的异步方法。

以阿里云函数计算为例,阿里云函数计算为用户提供了一种异步调用能力。当函数的异步调用被触发后,函数计算会将触发事件放入内部队列,并返回请求 ID,而不会返回具体的调用情况及函数执行状态。如果用户希望获得异步调用的结果,可以通过配置异步调用目标来实现,如图所示。

3.png

函数异步功能原理简图

(2) 定时任务

在 Serverless 架构下,应用一旦完成当前请求,就会进入静默状态,甚至实例会被销毁,这就导致一些自带定时任务的框架没有办法正常执行定时任务。函数计算通常是由事件触发,不会自主定时启动。例如 Egg 项目中设定了一个定时任务,但是在实际的函数计算中如果没有通过触发器触发该函数,该函数不会被触发,也不会从内部自动启动来执行定时任务,此时可以使用定时触发器,通过定时触发器触发指定方法来替代定时任务。

4、要注意应用组成结构

(1) 静态资源与业务逻辑

在 Serverless 架构下,静态资源更应该在对象存储与 CDN 的加持下对外提供服务,否则所有的资源都在函数中。通过函数计算对外暴露,不仅会让函数的业务逻辑并发度降低,也会造成更多的成本。尤其是将一些已有的程序迁移到 Serverless 架构上,例如 Wordpress 等,更要注意将静态资源与业务逻辑进行拆分,否则在高并发情况下,性能与成本都将会受到比较严峻的考验。

(2) 业务逻辑的拆分

在众多云厂商中,函数的收费标准都是依靠运行时间、配置的内存以及产生的流量收费的。如果一个函数的内存设置不合理,会导致成本成倍增加。想要保证内存设置合理,更要保证业务逻辑结构的可靠性。

以阿里云函数计算为例,一个应用有两个对外接口,其中有一个接口的内存消耗在 128MB 以下,另一个接口的内存消耗稳定在 3000MB 左右。这两个接口平均每天会被触发 10000 次,并且时间消耗均在 100 毫秒。如果两个接口写到一个函数中,那么这个函数可能需要将内存设置在 3072MB,同时用户请求内存消耗较少的接口在冷启动情况下难以得到较好的性能;如果两个接口分别写到函数中,则两个函数内存分别设置成 128MB 以及 3072MB 即可,如表所示。

4.png

通过上表可以明确看出合理、适当地拆分业务会在一定程度上节约成本。上面例子的成本节约近 50%。

关于作者:刘宇(江昱)国防科技大学电子信息专业在读博士,阿里云 Serverless 产品经理,阿里云 Serverless 云布道师,CIO 学院特聘讲师。

新书推荐

image.png

本书会通过多个开源项目、多个云厂商的多款云产品,以及多种途径向读者介绍什么是 Serverless 架构、如何上手 Serverless 架构、不同领域中 Serverless 架构的应用以及如何从零开发一个 Serverless 应用等。本书可以帮助读者将 Serverless 架构融入到自己所在的领域,把 Serverless 项目真实落地,获得 Serverless 架构带来的技术红利。

原文链接
本文为阿里云原创内容,未经允许不得转载。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/512384.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

中科院计算机所硕士导师,中科院计算技术研究所研究生导师介绍:毕经平

中科院计算技术研究所研究生导师介绍&#xff1a;毕经平简历:2002年7月于中国科学院计算所获得博士学位&#xff0c;同年9月被破格提拔为计算所副研究员&#xff0c;2008年3月被任命为博士生导师&#xff0c;2009年1月获得卢嘉锡青年人才奖作者佚名次阅读2014-05-15代表论著:1)…

bash: 未预期的符号 `( 附近有语法错误_安规群中关于泄漏电流测试、接地符号等相关的6个问题,快来围观大神的回答吧!...

【本文属"世界认证地图"原创&#xff0c;未经允许&#xff0c;请勿转载哦~~~】问题一群员提问&#xff1a;接地这样符合GB4706.1-2005的标准要求吗&#xff1f;图片由群友提供群友解答&#xff1a;接地符号标错地方&#xff0c;应该如下图图片由群友提供专家解答&…

多项“首次”落地 腾讯云数据库助力金融机构国产化

日前&#xff0c;IDC发布了《2021年上半年中国关系型数据库软件市场跟踪报告》&#xff0c;数据显示&#xff0c;我国关系型数据库市场规模迅速增长。2021上半年&#xff0c;中国关系型数据库软件市场规模为11.9亿美元&#xff0c;整体市场同比增长37.2%。IDC预测&#xff0c;2…

庖丁解牛-图解MySQL 8.0优化器查询转换篇

简介&#xff1a; 在《庖丁解牛-图解MySQL 8.0优化器查询解析篇》一文中我们重点介绍了MySQL最新版本8.0.25关于SQL基本元素表、列、函数、聚合、分组、排序等元素的解析、设置和转换过程&#xff0c;本篇我们继续来介绍更为复杂的子查询、分区表和JOIN的复杂转换过程。 作者 |…

hivesql修改字段类型_Hive SQL语法总结

Hive是一个数据仓库基础的应用工具&#xff0c;在Hadoop中用来处理结构化数据&#xff0c;它架构在Hadoop之上&#xff0c;通过SQL来对数据进行操作&#xff0c;了解SQL的人&#xff0c;学起来毫不费力。Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型&#xff0c;…

Cube 技术解读 | 支付宝新一代动态化技术架构与选型综述

简介&#xff1a; 支付宝客户端的动态化技术经历三个阶段&#xff1a;现阶段也就是第三阶段是实体组件部分光栅化的hybrid模式&#xff0c;Cube 就是该模式下的产物。 如标题所述&#xff0c;笔者将持续更新《Cube 技术解读》系列文章。本文为Cube系列首篇文章&#xff0c;后续…

阿里云数字巡展:“云上峰会”背后的秘密武器

简介&#xff1a; 近日&#xff0c;阿里云官网上线了叫做“数字巡展”的新产品&#xff0c;专为各行业在数字化创新提供解决方案。数字巡展&#xff0c;立足于设计创新&#xff0c;融合定制化虚拟空间、沉浸化技术体验、数字化企业营销三大核心能力&#xff0c;通过创意和技术优…

把所有圆圈连接起来的游戏_20个幼儿园体育小游戏教程

1、游戏《木头人》游戏规则&#xff1a;幼儿手拉手围成一个圆圈&#xff0c;边走边念儿歌"我是一个木头人&#xff0c;不会说话不会动&#xff0c;看谁坚持一分钟"念到最后一个字时所有幼儿摆出造型不动。老 师说时间到才能动&#xff0c;游戏反复进行。2、游戏《粘泡…

拒绝双写:巧用Lindorm数据订阅

简介&#xff1a; 本文介绍了双写场景的一致性问题&#xff0c;详细介绍了三种解决方案&#xff0c;并针对DB->Binlog->Kafka方案给出了Lindorm数据订阅的最佳实践 双写问题介绍 双写问题&#xff08;Dual Write Problem&#xff09;是指&#xff1a;需要同时修改两个独…

春节快到了,来写个烟花动效吧

作者 | Eason来源 | 程序员巴士2022虎年大吉&#xff0c;预祝各位小伙伴们新年快乐&#xff0c;这篇文章教大家如何在 Canvas 中实现高性能的烟花粒子特效&#xff0c;通过使用 Canvas BitmapShader GestureDetector技术栈&#xff0c;实现趣味 2D 春节烟花特效页面&#xff…

商用服务器系统比较好,商用服务器操作系统都用哪种

商用服务器操作系统都用哪种 内容精选换一换切换弹性云服务器操作系统。支持弹性云服务器数据盘不变的情况下&#xff0c;使用新镜像重装系统盘。调用该接口后&#xff0c;系统将卸载系统盘&#xff0c;然后使用新镜像重新创建系统盘&#xff0c;并挂载至弹性云服务器&#xff…

边缘使用 K8s 门槛太高?OpenYurt 这个功能帮你快速搭建集群!

简介&#xff1a; 为了降低 OpenYurt 的使用门槛&#xff0c;帮助更多地开发者快速上手 OpenYurt&#xff0c;社区提供了 OpenYurt 易用性工具 yurtctl。该工具致力于屏蔽 OpenYurt 集群创建的复杂性&#xff0c;帮助开发者在本地快速地搭建 OpenYurt 开发测试集群。 OpenYurt…

Effective Java 在工作中的应用总结

简介&#xff1a; 《Effective Java》是一本经典的 Java 学习宝典&#xff0c;值得每位 Java 开发者阅读。笔者将书中和平日工作较密切的知识点做了部分总结。 作者 | 宜秋 来源 | 阿里技术公众号 《Effective Java》是一本经典的 Java 学习宝典&#xff0c;值得每位 Java 开发…

harfbuzz安装位置 linux_最新Ubuntu 20.04 LTS已发布,在Win10中该如何进行安装和使用?...

最近Ubuntu发布最新的20.04 LTS长期支持版本&#xff0c;官方提供为期5年的更新升级、安全修复等服务。国内的优麒麟团队也同步放出了优麒麟20.04 LTS&#xff0c;加入了全新的UKUI 3.0桌面环境。那么如何在微软的Windows系统中安装体验最新的Ubuntu系统呢&#xff1f;实际上相…

如何查看华为服务器配置信息,查看服务器网络配置信息

查看服务器网络配置信息 内容精选换一换ECS的网卡绑定虚拟IP地址后&#xff0c;该虚拟IP地址无法ping通。以下排查思路根据原因的出现概率进行排序&#xff0c;建议您从高频率原因往低频率原因排查&#xff0c;从而帮助您快速找到问题的原因。如果解决完某个可能原因仍未解决问…

通过Kubernetes监控探索应用架构,发现预期外的流量

简介&#xff1a; Kubernetes 监控立足于应用监控之下的 Kubernetes 容器界面和底层操作系统&#xff0c;是 Kubernetes 集群软件栈端到端可观测性的一体化解决方案&#xff0c;在 Kubernetes 监控中可以同时看到关联的所有层的观测数据。我们希望通过 Kubernetes 监控的一系列…

追踪 Kubernetes 中的网络流量

作者 | Addo Zhang来源 | 云原生指北译者注&#xff1a;这篇文章很全面的罗列出了 Kubernetes 中涉及的网络知识&#xff0c;从 Linux 内核的网络内容&#xff0c;到容器、Kubernetes&#xff0c;一一进行了详细的说明。文章篇幅有点长&#xff0c;不得不说&#xff0c;网络是很…

Go 语言网络库 getty 的那些事

简介&#xff1a; Getty 维护团队不追求无意义的 benchmark 数据&#xff0c;不做无意义的炫技式优化&#xff0c;只根据生产环境需求来进行自身改进。只要维护团队在&#xff0c;Getty 稳定性和性能定会越来越优秀。 个人从事互联网基础架构系统研发十年余&#xff0c;包括我…

std中稳定排序算法_源代码库已开放 | 哈工大硕士生用 Python 实现了 11 种经典数据降维算法...

转自&#xff1a;AI开发者网上关于各种降维算法的资料参差不齐&#xff0c;同时大部分不提供源代码。这里有个 GitHub 项目整理了使用 Python 实现了 11 种经典的数据抽取(数据降维)算法&#xff0c;包括&#xff1a;PCA、LDA、MDS、LLE、TSNE 等&#xff0c;并附有相关资料、展…

曲师大教务系统服务器,曲师大教务处信息门户入口地址

为了规范财务行为&#xff0c;加强财务管理&#xff0c;提高代管经费使用效益&#xff0c;提高项目建设质量&#xff0c;根据上级和学校有关财务规定&#xff0c;结合我校实际情况&#xff0c;特制定本办法。一、教务处代管的项目经费品牌特色专业建设经费、精品课程建设经费、…