写速度提升20%,Elasticsearch 创始人给腾讯云发来感谢信

近日,Elasticsearch 的创始人兼首席执行官Shay Banon 向腾讯云发出了一封“特別”的邮件,专程对腾讯团队为Elasticsearch开源社区做出的贡献表示了感谢。

据了解,腾讯工程师通过提交代码,成功优化了Elasticsearch高并发写入性能,实现将1000万数据量的写入时长从原来的18分钟缩减至15分钟,速率提升20%,并在Elasticsearch开源社区分享了项目方案。

Shay Banon 在发给腾讯副总裁、腾讯云总裁邱跃鹏的感谢信中表示:

我们最近对Elasticsearch进行了重大而巧妙的改进,这是由腾讯的一位开发者提出的。这种改进使Elasticsearch的某些类型的写速度提高了约20%,我们非常期待后续与腾讯云继续保持这种良好的合作关系。”

事实上,在今年5月的腾讯全球数字生态大会上,腾讯云与Elastic签署了战略合作协议。双方同意在产品、技术、生态三个维度展开合作,依托Elastic在搜索软件领域的产品和技术优势,以及腾讯云在云计算大数据领域的技术能力和市场资源,双方联合推出具备高级商业特性的腾讯云Elasticsearch Service ,该版本上线了集群权限管理、SQL、机器学习、图查询等高级功能。并结合腾讯云全球领先的公有云架构,实现Elasticsearch集群应用的低成本、易开发、易管理、高可用、高安全性。

其实,这次源码优化的契机,源自腾讯内部一站式智能化的大数据服务平台全民BI的真实业务场景,其中,全民BI的统计功能,在底层使用了Elasticsearch的开源代码。在实际使用中,因为存在历史数据比对的需求,需要每天全量导入新的数据。数十亿级的数据量,超过500个标签,需要尽可能的快速的导入到ES系统中,但这一块经过多次的参数优化,依然需要几个小时才能完成导入,是整个系统的一大瓶颈。

在此背景下,腾讯全民BI团队开始着手优化Elasticsearch高并发场景下的写入性能。项目团队通过分析ES的写入机制,在多次堆栈分析取样中,发现较多线程因writeLock被rollGeneration占用,在获取锁的等待上耗时偏长。因而将优化的着力点,从参数的调优转移至线程的优化。项目团队最终在实验理论值的基础上,通过优化rollGeneration,实现将1000万数据量的写入时长从原来的18分钟缩减至15分钟,速率提升20%。

非常感谢Elastic公司创始人之一和技术负责人Simon Willnauer的支持和建议,本次优化大幅度提升全民BI系统的数据分析效率,接下来,这些领先的特性都能够在腾讯云Elasticsearch Service上获取。” 主要负责人表示。

更加值得期待的是,这次优化只是一个开端,未来仍存在较多优化空间,腾讯云目前正在积极与开源社区沟通中。

值得注意的是,这次社区代码贡献并不是腾讯的个别案例。从2010年开始,腾讯就开始通过“三步走”的开源计划,积极推动代码开放和社区参与,从封闭孤立向协同开放和社区开放治理的纵深方向发展。

我们将通过内外部开放源代码的方式,积极参与全球科技共同体的构建。”腾讯公司董事会主席兼首席执行官马化腾在八月底重庆召开的2019智博会高峰论坛上表示。

如今,腾讯正以发起者、贡献者等不同方式积极参与开源。在社区贡献方面,腾讯已经获得OpenStack 社区、Linux 基金会、LFAI 基金会、MariaDB 基金会、Apache 基金会等多个白金会员或白金赞助商身份。

去年,腾讯云向KVM 内核贡献了40 个patch,连续第二年登上KVM 全球开源贡献榜,也成为中国唯一入选云厂商。今年初,腾讯云正式发布基础设施层面四大核心技术项目,分别涵盖数据中心、网络、服务器以及自动化平台领域,并宣布将这四大技术项目全部贡献给开源OCP 社区。

而在自主开源方面,截至2019年8月,腾讯已在Github上发布82个开源项目,包含微信、腾讯云、腾讯游戏、腾讯AI、腾讯安全等相关领域。腾讯发起的开源项目累计在 Github 获得了24W+ Star数,在国内和国际收获了广泛的关注和认可。

未来,腾讯还将进一步拓宽开源的范围,在开放、共享、合力开发的研发模式中,不断夯实已有的技术能力,不断深化与开源伙伴间相互促进的良性关系。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/521931.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

阿里深度学习的“金刚钻”——千亿特征XNN算法及其落地实践

摘要:随着十二点的钟声响起,无数人盯着购物车开启了一年一度的“剁手”之旅。可你有没有想过这购物狂欢的背后是什么支撑起了数据规模如此庞大的计算任务?其实不只是“双十一”,每一个用户的点击和浏览,每一件宝贝的排…

python open函数参数newline_Python open() 函数

open(file, moder, buffering-1, encodingNone, errorsNone, newlineNone, closefdT)模式描述r以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。rb以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。r打开一个文件用于读写。文件…

java访问其它服务器,一个Java Web应用程序是否可以在tomcat服务器的同一本地主机中调用另一个Java Web应用程序...

i am trying to deploy two web applications say appA and appB in same local host tomcat server and when the both the applications are up in running is it possible to call appB to appA using ajax call or redirect解决方案What you are looking for toa chieve ca…

vue推荐项目

https://github.com/Antabot/White-Jotter v人事

全球唯一:MySQL社区2018年度公司贡献奖颁给阿里云

摘要:在刚刚的Percona Live开源数据库大会上,MySQL社区委员会宣布将2018年度的MySQL社区公司贡献奖(Corporate Contributor Award)唯一颁给阿里云。图中右一为阿里云数据库RDS团队 彭立勋MySQL社区颁发次奖项是为了感谢阿里云多年…

模拟灰度传感器循迹的程序_灰度传感器的工作原理

灰度传感器是模拟传感器,有一只发光二极管和一只光敏电阻,安装在同一面上。灰度传感器利用不同颜色的检测面对光的反射程度不同,光敏电阻对不同检测面返回的光其阻值也不同的原理进行颜色深浅检测。在有效的检测距离内,发光二极管…

Docker Nexus3 maven 私服(搭建篇)

文章目录一、环境准备1. 安装docker2. 启动docker3. 拉取镜像4. 目录权限5. 创建容器6. 监控日志二、登录配置2.1. 效果验证2.2. 登录2.3. 初始化一、环境准备 1. 安装docker 使用yum命令在线安装 yum install docker2. 启动docker systemctl start docker3. 拉取镜像 doc…

这个充电宝太黑科技了,又小又不用自己带线,长见识了~

戳蓝字“CSDN云计算”关注我们哦!现如今我们出门时,手机几乎都是随身携带支付用手机,移动办公用手机,刷剧玩游戏用手机手机可以说与我们工作,生活密不可分。只不过手机频率使用如此之高,也使得用电量大增当…

逆元java_逆元 - 阿聊 - 博客园

每个数a均有唯一的与之对应的乘法逆元x,使得ax≡1(mod n) , 一个数有逆元的充分必要条件是gcd(a,n)1,此时逆元唯一存在 。逆元的含义:模n意义下,1个数a如果有逆元x,那么除以a相当于乘以x。逆元的定义&#…

QuickBI助你成为分析师——群空间自主开通嵌入第三方报表权限

摘要: 用户使用过程中经常需要将创建的仪表板嵌入至自己应用中,方便查看。目前目前高级版群空间下支持用户自助化开通报表权限,通过获取拼接Token方式后台验证更加严格,并且支持实时更新/关闭Token以保证数据安全。用户使用过程中…

如何查看一个组件的 classid是多少_万一免五(万1免5)是骗人的吗?如何查看自己的交易费率是多少?万一免五最新问题汇总!...

前言每天都会遇到很多问题,大多数问题是重复的,所以整理到公众号里,希望你们看一下,别再一遍遍问了....万一免五开户是真的吗?随着监管越来越严,可以给万一免五的券商也越来越少,只要赶在万一免…

阿里云直播转点播最佳实践

摘要: 在前不久刚刚落幕的深圳云栖大会现场,有一个直播间体验项目引起了现场参会嘉宾的关注。云栖直播间是以视频云技术为基础,为云计算从业者量身打造了一个科技直播间,让每位嘉宾都可以过一把当“网红主播”的瘾。前言在前不久刚…

假如从餐饮店的角度来看架构…

戳蓝字“CSDN云计算”关注我们哦!麦当劳作为世界快餐业的巨头之一,可以说是风靡全球圈粉无数。小编个人也是麦当劳的忠实粉丝之一。今天的文章主要就是从餐饮店的角度来讲讲的互联网技术架构发展故事。为了方便故事的讲解,我们假定创始人名称…

Maven依赖方式引用UEditor的jar包

使用UEditor时候,如果不引入相关jar包,controller.jsp就会报找不到类的错误,一些功能也无法实现。但是maven中央仓库没有这两个相关的jar包,用直接导入的方式又显得莫名其妙,那么怎么通过maven方式依赖呢? …

编译期java_java编译期和运行期

举个例子,当我们作为开发人员,在电脑上拼死拼活写了一个版本的代码,然后将代码提交到git上去,当我们用jekins或其他工具将代码从git上clone下来,使用mvn package,或者mvn intall打包的过程就叫编译期。是指…

【新功能】媒体处理MPS全新支持自适应多码率、多语言音轨

摘要: 视频内容的分发与播放已经深入了各行业的各类业务场景之中,对于视频平台而言,在不同网络状况下,都能以最优质的状况播放视频,满足用户对于观看体验的更高追求是一个不变的目标。为了更好的满足视频云客户的需求&…

下载ueditor-1.1.3.jar源码和源代码

http://www.bvbcode.com/app/downloadfile1?type2&down_key684b999e03e30a3e29cf1ada84d62b55&fileid1674791&softkeysul6vt9o&t1578129576

python 查看变量_剖析python运算符is和==的区别

is和这两个运算符一直是困扰python的初学者,它们都可以用来判断某个对象是否是某个值,那么到底什么时候用is,什么时候用去判断某个对象是否是某个值哪?下面勇哥结合实例给大家分享下两者的区别和使用建议。一、引入首先python是一…

Docker是啥?容器变革的火花?

戳蓝字“CSDN云计算”关注我们哦!编译作者:风车云马(微信号:zhangyisq)文︱Serdar Yegulalp本篇文章转自InfoWorld网站在畅聊Docker之前,我们先讲讲什么是容器? …

vba mysql连接字符串_分享一个VBA连接mysql数据库的方法

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼Dim strcn As StringDim cn As New ADODB.Connection构造函数Private Sub Class_Initialize()strcn "drivermysql odbc 3.51 driver;" & _"server192.168.101.89;" & _"databasemmtest;" &…