一文知晓浪潮云海OS在SPEC Cloud测试中的调优实践!

日前,SPEC(Standard Performance Evaluation Corporation,即国际标准性能评测组织)公布了最新 Cloud IaaS 2018 Benchmark 测试成绩,在同规模测试场景下浪潮数据核心产品浪潮云海OS再次刷新世界纪录,性能得分全球第一,并在应用实例复制数、可扩展性和平均实例配置时间方面表现优异,均达到全球领先水平。
在这里插入图片描述
在这里插入图片描述

SPEC Cloud测试到底是啥?

SPEC CloudIaaS 2018 Benchmark是SPEC开发的评估基于大数据场景下的云基准标准测试(SPEC Cloud IaaS 2018是SPEC的第二个基准测试套件来衡量云计算的性能,以原始2016版本为基础,具有各种增强功能和新的主要指标),采用Yahoo的YCSB与HiBench的K-Means模拟实际的工作负载。
在这里插入图片描述
Benchmark基准测试模型

主要测试的是IaaS云平台性能,选用两类最重要的和最具代表性的负载:云平台上运行IO密集型和计算密集型负载,通过加压测试数据面性能、可扩展性以及控制面性能来得到测试结果,具体来说:

IO密集型负载测试:YCSB是Yahoo公司的一个用来对云服务进行基础测试的工具,SPEC CloudIaaS 2018通过创建NoSQL(Cassandra)实例实现YCSB架构。其测试项包括吞吐量、插入响应时间、读取响应时间、平均应用实例(Application Instance)配置时间。

计算密集型负载测试:K-Means算法是机器学习中常用的一种聚类算法。SPEC CloudIaaS 2018基准测试使用HiBench K-Means实现计算密集型测试,其测试项包括完成时间、每个应用实例运行的Hadoop迭代计数、平均应用实例配置时间。
在这里插入图片描述
应用实例基准测试模型

此外,SPEC Cloud IaaS 2018具有完善技术测试框架,是云计算性能测试的基准,作为企业级客户云产品选型的重要参考标准,测试框架主要指标包含如下四个方面:

应用实例复制数:复制的应用实例数表示在测试结束时已完成至少一个有效应用的实例总数。总复制数是K-Means与YCSB的应用实例总和,但二者任何一项的有效应用实例不能超过总数的60%。

性能得分:性能得分是所有有效应用实例的得分总和,代表了所有应用在云环境的总体表现。它是SPEC CloudIaaS 2018规范的YCSB和K-Means性能得分的总和,分数越高代表性能越好。

相对可扩展性:SPEC Cloud测试执行包括两个阶段——baseline基准数据收集和scale-out扩展性能数据收集。可扩展性是scale-out过程中每个应用实例能提供与baseline阶段的应用实例相同性能输出的百分比,结果越高代表可扩展性越好,当百分比大于等于80%,即认为是优秀。

平均实例配置时间:所有有效应用实例的平均配置时间。每个实例的配置时间都是从创建实例请求开始到cbtool驱动可以SSH到实例的时间间隔。

本次测试的数据指标有何惊艳之处?

「Copy数」众多周知,Copy数受制于测试时设计的汇报Copy数、Copy上限、失败率、YCSB与KMeans各占比例及服务器硬件的负载能力;初次提交时还可能出现受限于当时的磁盘性能以及调度策略的情况;甚至当Copy数增加时,测试时间内会出现部分AI无法达成测试标准进而转为失败。

对此浪潮云海优化了调度策略、虚拟机创建流程以及测试硬件,降低了失败率。目前,“39 Copies”的数据指标虽然已经达到汇报Copy数的基本要求并作为以下指标测试的基本前提来使用,但并不代表当前集群所能创建应用实例的上限。

「性能得分」性能得分作为SPEC制定的标准分值,其值为基准测加权平均后算出的绝对值。我们了解到,虚拟机后端存储读写能力、内存大小、CPU及针对虚拟化的调优动作都会对性能得分产生影响,所以在保障性能衰减速率更低的条件下能够在服务器上虚拟更多虚拟机,这是厂商们的普遍目标。

对此浪潮云海通过分析业务场景,有针对性地对测试环境进行配置优化。结果显示,本次基准测试的性能得分比基准提高了40%,保障了单位密度虚拟机数量增加且服务器配置不变条件下性能的稳定性。

在这里插入图片描述

性能得分的数据对比

与其他厂商相较,浪潮云海OS产品同样出色。对比当前业界性能得分最佳的厂商,云平台综合性能提升35.8%,YCSB性能提高33.9%,KMeans性能提升37.4%。

在这里插入图片描述

「平均实例的配置时间」“平均实例配置时间”被定义为所有有效应用实例的平均配置时间,是实例部署请求提交到实例启动并被测试管控节点接管的时间间隔。浪潮云海最新提交的平均实例配置时间为41s,与某厂商最新测试结果相对比,在单台服务器虚拟机数等量的情况下平均实例配置时间提高5s,体现了对集群控制平面的深度优化效果,包括对虚拟机的请求发放、主机调度和启动时间在内的能力提升。

「相对可扩展性」通常相对可扩展性受限于CPU核心数、内存剩余及磁盘。依据SPEC官方标准,80%以上均为优秀;在本次测试中浪潮云海OS产品的可扩展性得分为85.1%,达到优秀级别。

解密调优!浪潮云海OS在测试中有哪些升级实践?

为了达成性能再升级,提升虚拟机的创建速度及稳定性,浪潮云海选用了镜像加速的调优手段,即启动自研智能镜像缓存淘汰算法,智能管理本地缓存目录,在有限的本地缓存空间内尽可能提高镜像缓存命中率。

此外还通过支持配置项预设镜像缓存目录大小、弹性伸缩以及可根据镜像的使用频率自动调整本地存储空间等操作,节约了镜像下载到本地所消耗的时间,甚至可以达到80%以上。这波系列操作不但提升了应用虚拟机的创建速度与稳定性,还提高了镜像创建卷的速度,保障了用户在大规模业务场景下的工作效率。

在这里插入图片描述
镜像缓存算法实现原理

“通过针对磁盘IO监控,我们发现在负载情况下虚拟机的磁盘IO性能有所降低。根据多次定位分析,了解虚拟机后端与宿主机系统盘处于相同存储情况下会导致IO性能降低,因此为了保证读写不受宿主机系统盘干扰,选择将虚拟机后端与宿主机系统盘分离部署。”

为了保证应用在云环境的整体表现,浪潮云海还对虚拟机规格(CPU、内存、硬盘)进行多次调整且关闭了KVM的内存共享。有效防止因抢占导致性能降低关闭了CPU预留和CPU绑定,进一步“预防”CPU不能被充分利用的情况,最终实现负载情况下虚拟机的CPU、内存、硬盘都能保持较高的利用率,提升了大规模场景下虚拟机性能的稳定性以及资源的利用率。
在这里插入图片描述

某一节点内存共享关闭示例
在SPEC测试过程中,浪潮云海选择通过增大Nova并发任务数上限并实现镜像缓存机制,降低了平均实例的配置时间。即增大Nova并发任务个数来减少虚拟机创建时的排队时间,凭借镜像缓存的技术手段解决同一个镜像在创建多台虚拟机的过程中频繁下载、删除、再下载镜像导致耗时严重的问题。

为了改善并发场景,还一并优化了haproxy线程数,包含优化连接池中最大SQL连接数、最大允许超出的连接数等关键信息。这在OpenStack云平台大规模落地实践中极具参考价值,能够有效提高创建虚拟的成功率,同时更好满足用户快速、批量创建虚拟机的迫切需求。
在这里插入图片描述

增加Nova-conductor的worker数,提高Nova处理能力示例
在这里插入图片描述

镜像缓存配置示例
作为全球性能、扩展性等综合技术水平领先的云平台软件,浪潮数据为未来智算中心建设提供了全球领先水平的 “云操作系统”,未来定将围绕智算操作系统核心引擎的产品定位,持续打造云海OS硬核技术实力,推动企业数字化、智能化迅速转型。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/514435.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

简介: 为了消灭数据孤岛,企业往往会把各个组织的数据都接入到数据湖以提供统一的查询或分析。本文将介绍流利说当前数据接入的整个过程,期间遇到的挑战,以及delta在数据接入中产生的价值。 背景 流利说目前的离线计算任务中&…

怎么提升写代码的能力

简介: 对于程序员而言,我始终认为代码是展现能力的关键,一个优秀程序员写的代码,和一个普通程序员写的代码是很容易看出差别的,代码作为程序员的硬实力和名片的展示,怎么提升写代码的能力始终是一个关键的话…

发力LPWAN 升哲打磨数智城市物联网通信之“芯”

8月上旬,随着多项物联网芯片与通信领域技术发明专利证书的下发,升哲科技(SENSORO)已在低功耗广域物联网(LPWAN)及相关领域拥有近百项独家专利,突破国外专利封锁实现国产、自主、可控。这些专利技…

android studio证件照代码,Android 修图(换证件照背景,污点修复)

背景前段时间的一个周末,一个女生让我帮她换一下他的证件照背景,我又没带电脑。我又不好意思拒接,怎么办呢?应用商店下载一个证件照换背景的APP,瞬间换完,我正准备保存时,跳出来一个支付框&…

闲鱼是怎么让二手属性抽取准确率达到95%+的?

闲鱼是怎么让二手属性抽取准确率达到95%的? 先上效果 图1 - 二手属性抽取算法效果Demo(1) 背景 闲鱼作为一款C2X的app,站在商品发布的角度,闲鱼商品相对于淘宝商品的特点有: 轻发布导致商品信息不足 闲鱼采用图文描述的轻发布模…

代号红狗:那些站在微软云起点的中国创业者

作者:亲爱的数据 来源:亲爱的数据011996年的北京。上高中二年级的左玥,代表崇文区参加市一级"四通杯"青少年计算机程序设计竞赛,得了一等奖。据左玥回忆,在去参赛的路上,辅导老师还在吐槽&#x…

如何迁移 Flink 任务到实时计算

简介: 本文由阿里巴巴技术专家景丽宁(砚田)分享,主要介绍如何迁移Flink任务到实时计算 Flink 中来。 通常用户在线下主要使用 Flink run,这会造成一些问题,比如:同一个配置因版本而变化&#xf…

如何落地云原生DevOps?

简介: 什么是云原生DevOps?在阿里内部有怎样的实践?企业又该如何落地?阿里云云效专家团队提出了下一代精益产品开发方法体系——ALPD,提供了系统的云原生DevOps落地的方法支撑,帮助企业渐进式地迈入云原生D…

亚马逊独霸美国安云计算未来十年订单;英伟达推出首个元宇宙平台;华为云、天翼云会合并吗?...

NEWS本周新闻回顾亚马逊独霸美国安云计算未来十年订单,微软表示不服亚马逊AWS获得美国国家安全局100亿美元云计算合同。得知亚马逊拿下订单后,微软已向政府问责提交文件,提出抗议。最终……还是亚马逊笑到了最后英伟达推出全球首个元宇宙平台…

如何做好技术 Team Leader?

简介: 作为一个技术TL(Team Leader),除了自身技能,还会面临诸多团队管理上的困难和挑战。如何定义和明确团队的目标?怎样建立优秀的工程文化?让团队长期发挥战斗力和创新能力的核心是什么&#…

android应用控制百度地图,Android中应用百度地图API开发地图APP实例-显示百度地图...

场景效果在使用百度地图API之前需要先在百度地图开放平台中申请API_KEY申请API_KEY登录百度开放平台后找到控制台下的应用管理-创建应用依次输入应用名,应用类型选择Android SDK然后下面需要输入发布版SHA1和包名获取应用SHA1首先来到.Android文件所在的位置&#x…

数禾云上数据湖最佳实践

简介: 数禾科技从成立伊始就组建了大数据团队并搭建了大数据平台。并在ECS上搭建了自己的Cloudera Hadoop集群。但随着公司互联网金融业务的快速扩张发展,大数据团队承担的责任也越来越重,实时数仓需求,日志分析需求,即…

程序员只能吃“青春饭”?IT行业年龄焦虑如何破局?

2019 年搜狐科技《中国互联网简史》报告显示,国内近一半的程序员年龄在 25-29 岁之间,其次为 30-34岁,占比 24.6%,35 岁 -39 岁的程序员占比 6.1%,而 40岁 的程序员仅占 1.2%。由于程序员需要长时间面对电脑工作&#…

对容器镜像的思考和讨论

简介: 常言道,startup 有 startup 的好,大厂有大厂的好,那么大厂究竟好在哪呢?拿硅谷老牌大厂们 FLG 来说,如果要问最令人怀念的是什么?Free food 和基础设施(Infrastructure)一定是会上榜的&am…

android 高度上分权重,Android LinearLayout weight权重使用

在日常的开发过程中,我们通常或多或少会使用到LinearLayout的weight属性来进行权重设置,进而达到按比例显示布局的意图通常我们在使用时,会这样使用android:layout_width"match_parent"android:layout_height"match_parent&qu…

实时计算pv/uv Demo

简介: 本文由阿里巴巴高级技术专家邓小勇(静行)分享,主要用 Demo 演示如何通过实时计算 Flink 实时计算pv/uv的场景。 本文由阿里巴巴高级技术专家邓小勇(静行)分享,主要用 Demo 演示如何通过实…

《天际友盟DRP数字风险防护报告(2021年上半年)》重磅发布

今天,数字化正在发生,整个社会正在步入数字化革新。根据市场研究公司IDC的预测,到2023年超过50%的全球经济将由数字经济所驱动。在中国,2021-2024数字化转型总支出将达到1.5万亿美元,年均增长率超过17%。由此可见&…

Android Native crash 处理案例分享

简介: Android Native crash 处理案例分享 1. 背景 目前 mPaas[1] Android使用Crash SDK对闪退进行的处理,CrashSDK 是 Android 平台上一款功能强大的崩溃日志收集 SDK,有着极高的崩溃收集率和完整、全面的崩溃日志信息,生成的日…

Mendix:低代码与无代码的异同点与用例

投稿 | Mendix 编辑 | 宋 慧 头图 | 付费下载于 IC photo 低代码和无代码应用开发都遵循着代码抽象化原则来实现建模的可视化。但基于这两种方法构建的应用在规模和类型却有着根本性的区别。 低代码与无代码的相同之处 低代码和无代码开发平台都无需编写代码就能构建软件应用…

解读:云原生下的可观察性发展方向

简介: 非常有幸参加了云原生社区Meetup北京站,有机会和众多业内的大牛一起讨论云原生相关的技术和应用,本次Meetup上我和大家分享了关于云原生下的可观察性相关的议题,本篇文章主要是视频的文字性总结,欢迎大家留言讨论…