Uber如何使用go语言创建高效的查询服务

在2015年初我们创建了一个微服务,它只做一件事(也确实做得很好)就是地理围栏查询。一年后它成了Uber高频查询(QPS)服务,本次要讲的故事就是我们为什么创建这个服务,以及编程语言新秀Go如何帮我们快速创建和扩展该服务。

 

背景

在Uber,一个地理围栏就是在地表人为定义的地理区域(或多边形几何区域)。地理围栏在Uber被广泛用于基于地理位置的设置。向用户展示给定区域有哪些产品可以使用,根据特殊需要(如机场)定义区域,并在乘车高峰时在相邻区域实施动态定价是我们产品的重要应用场景。


Uber,高速查询,服务

一个科罗拉多地理围栏示例。

 

第一步是通过用户手机获取地理位置信息如经纬度,进而确定用户所在地理围栏。这个功能分散在多个服务或模块中。因为我们从整体架构向微服务架构迁移,我们选择将这个功能做成一个新的微服务。

 

 使用Go语言

Node.js曾经是我们实时市场团队主力开发语言,所以我们在Node.js上有较多的知识储备和经验。但是Go在以下几个方面更符合我们的需求:

 

1、高吞吐低延迟的需要。Uber手机应用中的每个请求都需要地理围栏查询,而且响应快速(99% < 100毫秒)频繁(每秒成千上万),
2、适用于CPU密集型。地理围栏查询是点聚计算的CPU密集型服务。Node.js非常适合我们其他I/O密集型应用,但由于Node天生就是解释型动态语言,所以它不适合此类应用。
3、非中断后台加载。为了给查询服务提供最新的地理围栏数据,服务需要在后台不断的从多个数据源加载内存数据。因为Node.js是单线程的,所以后台更新会对CPU造成较长时候的堵塞(例如,CPU密集的JSON解析),从而影响到查询响应时长。但Go不存在这些问题,因为goroutines 可以使用多核,后台任务和前台查询可以并行。


是否使用地理信息索引:这是一个问题

 

通过经纬度指定一个地理位置后,如果从我们成千上万的地理围栏中确定它属于哪一个?简单粗暴的做法是:使用点聚检查方式,如光线投射算法,从所有地理围栏数据中查找。但这种式太慢。所以,我们如何缩小查询范围以提高效率?

 

我们没有使用R-tree做地理围栏索引和比较复杂的S2,通过观察我们发现Uber的业务模式是以城市为中心的;业务规则和地理围栏通常用一个城市来定义,所以我们选择了一个简单的路由方式。我们把地理围栏整理为两层结构,第一层是城市地理围栏(定义城市边界),第二层是每个城市内的地理围栏。

 

 对于每个查询,我们首先对所有城市地理围栏做线性扫描查找所在城市,然后对该城市的地理围栏数据做线性扫描。这个解析方案的运算复杂度是O(N),  通过这个简单的技术我们将N从10,000s减少到100s。

 

架构

我们希望这个服务是无状态的,这样每个请求可以发送到任意实例,而且得到结果是一致的。这意味着每个实例都拥有全量数据,而不是只存储部分数据。我们生成了一个统一的拉取计划,这样不同服务实际的地理围栏数据可以保持同步。因面这个服务的架构也就变得简单。后台任务定时从不同的数据存储拉取地理围栏数据。这些数据是在内存中存储,以提高查询速度,当服务需要重启时会序列化到本地文件。


Uber,高速查询,服务

我们的地理围栏数据查询架构


处理Go内存模型

在我们的架构中需要对内存中的地理索引数据并发读写。当后台拉取任务写索引时,可能前台查询引擎同步读取索引。有Node.js经验的人熟悉了单线程模式,Go的内存模型对他们是一个挑战。这对我们曾产生对负面影响。我们试图使用sync/atomic 包的原语StorePointer/LoadPointer 来管理内存边界问题,但这导致代码很脆弱且难以维护。

 

 最后,我们采取了折中的方式,使用读写锁来异步处理对地理索引的访问。为了减少锁的争夺,新的索引在以原子的方式合并到主索引之前先建立索引片段。与 StorePointer/LoadPointer的方式相比,这些稍微增加一些延迟,但我们有理由相信代码的简洁和可维护性比这一点小小的延迟更有价值。

 

我们的经验

回顾以往,我们很庆幸当初使用Go语言,并使用这种新的语言开发我们的服务。亮点如下:

 

1、开发效率高。C++,Java和Node.js的开发者只需要很短的时间就可以掌握Go,代码易于维护。(静态语言更加清晰,没有莫名其妙的意外)。
2、在吞吐量和延迟方面性能很好。我们主数据中心,有针对非中国区的独立服务,在2015年度高峰期间40台服务器在170k QPS的负载情况下CPU只使用了35%。95%的响应时间小于5毫秒,99%的响应时间小于50毫秒。
3、超级稳定,这个服务自上线以来,99.99%的时间正常运转。当机时间主要是由初学者的编程错误和第三方库的文件描述符泄露导致。我们至今尚未遇到Go的运行时错误。


接下来?

过去Uber主要使用Node.js和Python,很多Uber新的服务开始选择使用Go来创建。Go是Uber未来的趋势,所以如果你对Go很有激情,无论是专家还是初学者,都欢迎你来应聘,我们正在招聘Go开发者,噢对了,传送门请点这里!

 

图片来源:“金门地鼠”,作者:Conor Myhrvold,摄于三藩市的金门公园。标题解释:地鼠(Go gopher)是Go项目的吉祥物,是Go的标识。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/539602.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

centos7:塔建pure_ftpd虚拟用户

2019独角兽企业重金招聘Python工程师标准>>> 1.下载pure_ftpd&#xff0c;上传服务器,目录路径:/usr/local/src/ 下载地址:https://pan.baidu.com/s/1kWe8FAn 2.安装pure_ftpd cd /usr/local/srctar -xjf pure-ftpd-1.0.36.tar.bz2cd pure-ftpd-1.0.36./configure -…

寒武纪芯片——有自己的SDK,支持tf、caffe、MXNet

寒武纪芯片产品中心>智能处理器IP智能处理器IP MLU智能芯片 软件开发环境 Cambricon-1A 高性能硬件架构及软件支持兼容Caffe、Tensorflow、MXnet等主流AI开发平台&#xff0c;已多次成功流片 国际上首个成功商用的深度学习处理器IP产品&#xff0c;可广泛应用于计算机视觉、…

基于百度语音识别API的Python语音识别小程序

一、功能概述 实现语音为文字&#xff0c;可以扩展到多种场景进行工作&#xff0c;这里只实现其基本的语言接收及转换功能。 在语言录入时&#xff0c;根据语言内容的多少与停顿时间&#xff0c;自动截取音频进行转换。 工作示例&#xff1a; 二、软件环境 操作系统&#xff1a…

spring框架结构介绍

Spring提供了一站式解决方案&#xff1a; 1&#xff09; Spring Core spring的核心功能&#xff1a; IOC容器, 解决对象创建及依赖关系 2&#xff09; Spring Web Spring对web模块的支持。 -->可以与struts整合,让struts的action创建交给spring -->spring mvc模式 3…

百度坐标转换API使用

http://api.map.baidu.com/geoconv/v1/?coords121.54759,29.870724&from1&to5&aksGSOaO07WkRHHiCRxxbSQVBn 前提&#xff1a;121.54759,29.870724 是由手机硬件或谷歌地图获取的 错误的方法一&#xff1a; function standard2china(lng,lat){//http://api.map.ba…

如何解决ajax跨域问题

原文&#xff1a;http://www.congmo.net/blog/2012/06/27/ajax-cross-domain/ 跨域问题 起 因是这样的&#xff0c;为了复用&#xff0c;减少重复开发&#xff0c;单独开发了一个用户权限管理系统&#xff0c;共其他系统获取认证与授权信息&#xff0c;暂且称之为A系统&#xf…

MySQL数据库是非关系_MySQL(数据库)基础知识、关系型数据库yu非关系型数据库、连接认证...

什么是数据库&#xff1f;数据库(Database)&#xff1a;存储数据的仓库高效地存储和处理数据的介质(介质主要是两种&#xff1a;磁盘和内存)数据库系统&#xff1a;DBS(Database System)&#xff1a;是一种虚拟系统&#xff0c;将多种内容关联起来的称呼DBS DBMS DBDBMS&…

Spring properties定义bean

2019独角兽企业重金招聘Python工程师标准>>> Spring提供了丰富的标签和注解来进行bean的定义&#xff0c;除此之外框架来提供了扩展机制让使用可以通过properties来定义bean&#xff0c;与强大的标签式和注解式的bean定义相比&#xff0c;properties提供的规则要简单…

mongodb java 单例_Java单例MongoDB工具类

我经常对MongoDB进行一些基础操作&#xff0c;将这些常用操作合并到一个工具类中&#xff0c;方便自己开发使用。没用Spring Data、Morphia等框架是为了减少学习、维护成本&#xff0c;另外自己直接JDBC方式的话可以更灵活&#xff0c;为自己以后的积累留一个脚印。Java驱动版本…

Oracle中执行存储过程call和exec区别

在sqlplus中这两种方法都可以使用&#xff1a; exec pro_name(参数1..); call pro_name(参数1..); 区别&#xff1a; 1. 但是exec是sqlplus命令&#xff0c;只能在sqlplus中使用&#xff1b;call为SQL命令&#xff0c;没有限制. 2. 存储过程没有参数时,exec可以直接跟过…

每秒处理10万订单乐视集团支付架构

原文&#xff1a;http://www.iteye.com/news/31550 ----------- 随着乐视硬件抢购的不断升级&#xff0c;乐视集团支付面临的请求压力百倍乃至千倍的暴增。作为商品购买的最后一环&#xff0c;保证用户快速稳定的完成支付尤为重要。所以在15年11月&#xff0c;我们对整个支付…

X--名称空间详解

转自:http://blog.csdn.net/lisenyang/article/details/18312039 X名称空间里面的成员(如X:Name,X:Class)都是写给XAML编译器看的、用来引导XAML代码将XAML代码编译为CLR代码。 4.1X名称空间里面到底都有些什么&#xff1f; x名称空间映射的是:http://schemas.microsoft.com/wi…

事物 php,什么是php事务

事务&#xff1a;用于保证数据的一致性&#xff0c;他由一组相关的dml语句组成&#xff0c;改组的dml语句要么全部成功&#xff0c;要么全部失败。当前版本的插件并不是事务安全的&#xff0c;因为他并没有识别全部的事务操作。SQL 事务单元是在单一服务器中运行的。插件并不能…

Flask form(登录,注册)

用户登录 from flask import Flask, render_template, request, redirect from wtforms import Form from wtforms.fields import core from wtforms.fields import html5 from wtforms.fields import simple from wtforms import validators from wtforms import widgetsapp …

怎么看so文件是哪个aar引进来的_手机爱奇艺下载视频存在哪个文件夹

我们很多朋友喜欢看视频使用爱奇艺观看&#xff0c;并且喜欢直接把视频缓冲到手机里&#xff0c;或是直接下载视频文件&#xff0c;但是经常不知道手机爱奇艺下载视频存在哪个文件夹&#xff0c;不知道怎么分享给好友或是传到电脑上&#xff0c;下面就来简单介绍一下。手机爱奇…

esxi能直通的显卡型号_显卡刷bios教程

一般来说显卡默认的出厂bios就已经很稳定&#xff0c;如果没有特殊情况下建议不要刷显卡bios。一般而言部分网友刷显卡BIOS目的是开核或超频&#xff0c;那么对于一个不会刷显卡bios的网友来说肯定会问显卡怎么刷bios类似的问题&#xff0c;那么本文这里就说一下有关显卡怎么刷…

关于Linux网卡调优之:RPS (Receive Packet Steering)

昨天在查LVS调度均衡性问题时&#xff0c;最终确定是 persistence_timeout 参数会使用IP哈希。目的是为了保证长连接&#xff0c;即一定时间内访问到的是同一台机器。而我们内部系统&#xff0c;由于出口IP相对单一&#xff0c;所以总会被哈希到相同的RealServer。 过去使用LVS…

footer.php置底,CSS五种方式实现Footer置底

页脚置底(Sticky footer)就是让网页的footer部分始终在浏览器窗口的底部。当网页内容足够长以至超出浏览器可视高度时&#xff0c;页脚会随着内容被推到网页底部&#xff1b;但如果网页内容不够长&#xff0c;置底的页脚就会保持在浏览器窗口底部。方法一&#xff1a;将内容部分…

安卓adapter适配器作用_自带安卓系统的便携屏,能玩出什么花样?

之前说到去年出差太多&#xff0c;平常就把便携屏带上了。之前也说了如果是像笔者这样的出差狗也知道&#xff0c;托运需要提前去机场一路着急忙慌&#xff0c;不托运只需要打印登机牌(纸质才给报销)排队安检登机就完了。有的时候可以把标准显示器来回寄&#xff0c;只要包装强…

Typora markdown公式换行等号对齐_Typora编写博客格式化文档的最佳软件

Typora-编写博客格式化文档的最佳软件Typora 不仅是一款支持实时预览的 Markdown 文本编辑器&#xff0c;而且还支持数学公式、代码块、思维导图等功能。它有 OS X、Windows、Linux 三个平台的版本&#xff0c;是完全免费的。作为技术人员或者专业人员&#xff0c;使用Markdown…