高德地图基于阿里云MaxCompute的最佳实践

摘要: 云计算带来的变革不言而喻,作为一种新型的IT交付模式,切实为企业节省IT成本、加快IT与企业业务结合效率、提升创新能力、加强管理水平以及增强系统本身的可靠性等方面提供巨大支持,是企业实现新发展的重要途径,它已然成为全球IT产业的主流声音。

点此查看原文:http://click.aliyun.com/m/42757/

云计算带来的变革不言而喻,作为一种新型的IT交付模式,切实为企业节省IT成本、加快IT与企业业务结合效率、提升创新能力、加强管理水平以及增强系统本身的可靠性等方面提供巨大支持,是企业实现新发展的重要途径,它已然成为全球IT产业的主流声音。

为此,CSDN记者日前采访了国内最早一批提供地图API互联网服务商高德的高级运维专家曾伟,从运维的角度分享了高德上云的背后故事和带来的好处、云上架构、运维核心价值的变化等,最终实现了应用服务可用性上升到99.99%,同比提升了5倍,以及运维人员从原先的45人降到16人。他也表示,企业应当及时抓住云计算技术带来的新机遇,针对自身不足,实施相应的技术和业务变革,拥抱云计算,充分发挥云计算技术在企业管理中的作用,从而增强企业的竞争能力。

高德的IT化信息化之路

高德于2002年成立,这十几年的发展使得高德产品从简单的车载导航产品应用至整个互联网,目前提供的产品或服务主要有基础服务:定位、搜索、线路规划、导航、步行、公交;O2O:酒店、美食、景点等;车联网:AMAP AUTO车机版本、无人驾驶;高德大数据:实时路况,躲避拥堵等。

但是如今强大的产品或服务也经历了一个漫长的IT信息化成长过程,从运维角度的来说有以下几个阶段:
没有运维团队的浑沌阶段。2002 - 2007年是初级的IT阶段,数据生产的服务器由IT部门负责,IDC的服务器是研发人员负责,主要用于地图数据的生产,线上的地图只有一小部分;
开始建立运维团队,专业化运作。2007 - 2014年IT信息化主要分为IT和运维,IT则负责办公网的产品业务,包括办公电脑、打印机、办公流程的软件;而运维全面负责公司IDC机房、服务器、业务,运维整体还处于人肉时代,运维服务效率较低;
2014年7月 - 至今,云上的高德实现自动化运维。此阶段高德开始上云,运维逐步迈向自动化的时代,运维人员的故障处理能力、性能等进一步提升等。

高德的数据采集、加工、整合过程

从最初的数据采集、合成、地理等变化到今天的车辆定位系统,高德的数据加工与整合主要分为这几个阶段:

初级阶段:采集车安装摄像头和GPS、实景采集、邮寄视频光盘等原始的方式;而内部作业员再通过看录像、轨迹进行数据分析和数据制作,从而实现3个月一次的数据更新。在这一阶段是全手工模式,互联网化较低;

系统阶段:采集车开始使用采集系统软件,再在晚上通过网络回传,脱离光盘作业的形式;之后,通过完善的编辑工具、检查工具,实现了高的质量控制和快的流水线速度,从而进入到数据加工厂阶段;

平台化阶段:上线高精采集车采集全景、分米级高精轨迹,以及众包的形式进行社会化采集;内业工作平台化,数据流转任务流转平台化,而且全流程有监控,最终进入到流水线生产阶段;

自动化阶段:未来的采集将全面转向众包化,实现自动回传,而内业的自动化水平高度提升,通过影像识别、大数据分析、自动数据融合等技术提升自动化生产的水平,这也是高德当下努力的方向。

目前,高德主要有地图、导航两个App产品,以及PC地图,同时还开放了API服务,方便移动开发者更好地为用户提供高质量基于位置的服务。

运维之痛

在上云前,高德在运维方面经历了很多的痛苦,比如自建机房带来的运维之痛,高德之前有7个小机房零散分布在全国各个地方,但随着业务的快速增长自建小机房模式带来很多问题,包括IDC电力、空调、网络都很容易故障,也使得当时的运维达到40多人;同时也面临大量的运维需求,因为运维需要负责IDC、电力、网络、服务器、OS、数据库(MySQL、Redis、Oracle、Memcache、PG、MongoDB)、各种应用软件(Nginx、Apache)、开源工具(Jenkins、Puppet),大量的需求使得运维人员的经历分散,产生非常大的压力。另外,有时候因用户激增带来的大流量,加上原本吃紧的带宽等问题,甚至会造成重大活动/节日时的宕机。

图片描述

基于阿里云的最佳运维实践

曾伟表示,高德在运维方面经历的痛和负重在上云后都得到了根本性的改变,首先基于阿里云实现了统一基础设施的运维,让运维人员不再运维基础设施;同时,阿里云提供的各种云服务有负载均衡、弹性计算ECS、云数据库RDS、对象存储OSS、云数据库Redis版、大数据计算服务MaxCompute(原ODPS)等,运维人员只需要使用好这些服务就可以了,不需要去维护具体的组件。另外,高德经常有大型活动,用户访问量会在某个阶段激增,这时就需基于阿里云的弹性伸缩服务,就能实现快速扩展的基础设施。最后,运维人员只需要专注于业务的性能、架构、故障等核心价值即可。

但是,高德在刚开始上云时,对于熟悉传统数据中心的运维人员有可能不熟悉各种云服务组件,以及高德IDC和阿里云并网运行期间,日志实时传输延迟导致实时数据分析会出现延迟的情况。而通过阿里云提供的完善技术、及时的响应、培训支持,快速地解决了遇到的问题,最终运维人员可以很熟练的使用云服务。比如,在高德MySQL数据库转阿里云RDS的过程中,遇到了数据迁云的问题——数据格式、写的方式、导出/导入方式,最后利用阿里云强大的RDS直接通过中转区搭建了DTS系统,实现了跨网数据库迁移的无缝切换和数据一致性。另外,阿里云技术专家毛一鸣也介绍称,高德也用到了阿里自研的DRC产品(Data Replication Center),支持异构数据库实时同步,数据记录变更订阅服务,为跨域实时同步、实时增量分发、异地双活、分布式数据库等场景提供解决方案。

在迁到云上之后,高德地图的应用服务可用性上升到99.99%,比之前的7个小机房提供的服务可用性提升了5倍。另外,从以前的每次大型活动系统常崩溃,到国庆出行高峰的运维人员淡定、系统稳若磐石,充分体现了阿里云计算的稳定性。再者,以前高德的新应用上线和扩容,至少得提前2个月开始采购服务器、上架、装机、人肉扩容、发布,上阿里云之后,弹性扩缩容基本上在20分钟内就完成,新应用上线10到20分钟内就可以完成资源申请到应用发布上线。

图片描述

如今,高德所有核心业务系统已经全部放在云上,由阿里云提供计算服务。在具体的运维人员事情方面,他们不用再运维基础设施——IDC、网络、服务器等;各种数据库、缓存、负载均衡、发布工具都不用自己去维护,使用阿里云的服务即可;异地容灾只需要申请不同地域的云服务就好了,不需要自己去建设机房。安全面方面,阿里云提供了很多服务,比如防攻击(DDos)、流量清洗、防病毒、防欺诈、代码扫描等;毛一鸣总结阿里云为高德提供的服务大概有这几方面,首先是IaaS (Infrastructure-as-a-Service,基础设施即服务):包含多地机房,网络,巡检等;其次是PaaS(Platform-as-a-Service,平台即服务):高德使用到的云产品包含弹性计算ECS、云数据库RDS、对象存储OSS、负载均衡、内容分发网络(CDN)、大数据计算服务MaxCompute(原ODPS)等;最后是SaaS(Software-as-a-Service,软件即服务):高德自身的系统提供的服务(如上图所示)。

整体来说,对于高德运维变化最大的就是运维模式的变化,从原来的IDC到网络到数据库等基础服务都要自己维护,变化为使用阿里云的各种云服务,运维人员可以专注于架构、故障、性能等核心能力上,员工的成就感得到了很大的提升,同时运维人员从原先的45个降到16个。也就是说,全面云化后,是运维核心价值的转变和变革。

最后,曾伟也介绍说,高德除了常规导航服务,在上云后,利用阿里云“数加”平台强大的计算处理能力,比如阿里云的大数据计算服务MaxCompute(原ODPS)、流计算StreamCompute等服务,高德可以做出行线路选择、拥堵大数据、躲避拥堵、城市热点分布、景区推荐、商圈热度,主要是根据用户的定位数据,进行实时的数据挖掘,从而跑出预测模型,实时得到现对用户有用的结果。

如果预测某天下午四点的路况,就是先拿到历史数据,每天训练做一个离线的历史回归、预测模型,再加上当天的出行、天气、节假日、突发情况等实时信息,再对线上模型进行调整优化,从而达到最优的预测。而在面对未来的智能交通和车联网,高德基于车联网推出了AMAP AUTO车机版本,解决了传统车载系统的数据更新慢、用户体验差、实时路况缺失、不够智能化的问题,长期来说无人驾驶也是一个非常重要的方向,但在车联网的背后,也是高德充分利用了云计算大数据的能力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/522651.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何从零开始设计一颗芯片?

戳蓝字“CSDN云计算”关注我们哦!来源:陌上风骑驴看IC作者:陌上风骑驴在各方助力下,集成电路成了时代热点,有大量文章在写芯片设计之复杂之困难,老驴打算从EDA 使用角度捋一遍芯片设计流程。在老驴画出第一…

第5篇:Flowable快速工作流脚手架Jsite_请假实战_部署流程和发起流程

接上一篇:第4篇:Flowable快速工作流脚手架Jsite_启动项目 https://blog.csdn.net/weixin_40816738/article/details/103388465 说明:此版本我已经调通,最新版本正在更新,页面未处理好,因此采用历史版本…

离线计算中的幂等和DataWorks中的相关事项

摘要: 概念 幂等这个词在软件研发中经常被提到。比如消息发送时不应该同时给同个用户推送多次相同的消息,针对同一笔交易的付款也不应该在重试过程中扣多次钱。曾见过一个案例,有个对于一个单据的确认模块没有考虑到幂等性,导致对…

解决在待办任务菜单中都会抛出异常,由于definitionId=undefined导致的问题

文章目录一、部门经理流转1. 登录dept账号2. 在待办任务中,签收任务3. 在待办任务中,办理任务3.1. 响应码5003.2. 请求的url3.3. 页面传递的参数3.4. 控制台报错信息提取3.5. 在获取代办列表FlowTaskService的104行3.6. 在获取代办列表FlowTaskService的…

程序员竟以身试“色”,只因给女友选七夕礼物!看完我酸了

戳蓝字“CSDN云计算”关注我们哦!作者 | 伍杏玲出品 | 程序人生(ID:coder_life)铛铛档,你知道 8 月 7 号是什么日子吗?除了是工作日的星期三,它还是七夕情人节!在程序员一片哀嚎“我…

第6篇:Flowable快速工作流脚手架Jsite_请假实战_部门经理审批

接上一篇:第5篇:Flowable快速工作流脚手架Jsite_请假实战_部署流程和发起流程https://blog.csdn.net/weixin_40816738/article/details/103388680 说明:此版本我已经调通,最新版本正在更新,页面未处理好,因…

华为正式发布方舟编译器,相关源码已开放下载;微软开源量子开发工具包 QDK;GitHub回应突然断供:也很无可奈何的样子……...

关注并标星星CSDN云计算极客头条:速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 本田1.34亿份文档&#xff0…

【MPS最佳实践】媒体工作流转码

摘要:背景 1个输入文件对应多个输出文件(不同分辨率,不同格式等),通过控制台的图形化界面,快速搭建常用视频处理流程。 优势 简单易用,视频上传完成自动触发转码任务。 功能强大,支持…

解决由于没有办理权限导致的403,权限不足

接上一篇:解决在待办任务菜单中都会抛出异常,由于definitionIdundefined导致的问题 https://blog.csdn.net/weixin_40816738/article/details/103389663 文章目录一、问题现象二、问题定位三、解决方案3.1. 登录jsite系统管理员账号,给dept用…

音视频转码技术指南:国内主流云转码服务提供商对比测评

摘要:随着大量视频产生,怎样才能够高效精准地对视频进行云端转码和处理,来适配多终端展示需求和应对复杂的网络情况,是我们视频行业开发人员工作的重中之重。作为从业者,我们会经常接触各大云转码服务商,对…

突发!Python再次第一,Java和C下降,凭什么? ​

编程语言流行指数(PYPL)排行榜近日公布了2019年8月份榜单。在最新一期榜单上, Python的份额高达28.73%,再次蝉联第一,并且增长4.5%,同时成为增长势头较好的语言。而被挤到第二蝉联Java,同比下跌2.1个百分点…

第7篇:Flowable快速工作流脚手架Jsite_请假实战_HR审批

接上一篇:第6篇:Flowable快速工作流脚手架Jsite_请假实战_部门经理审批 https://blog.csdn.net/weixin_40816738/article/details/103388916 说明:此版本我已经调通,最新版本正在更新,页面未处理好,因此采用…

智能助手被指侵犯用户隐私,美三大科技巨头或面临调查;传小米已解散其VR头显Mi VR团队;特斯拉成立反欺诈部门……...

关注并标星星CSDN云计算极客头条:速递、最新、绝对有料。这里有企业新动、这里有业界要闻,打起十二分精神,紧跟fashion你可以的!每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 谷歌将关闭手机端旅游应用Tr…

全面提升,阿里云Docker/Kubernetes(K8S) 日志解决方案与选型对比

摘要:今天,日志服务再次升级Kubernetes(k8s)的日志解决方案。1分钟内即可完成整个集群部署,支持动态扩容,提供采集宿主机日志、容器日志、容器stdout等所有数据源的一站式采集。点此查看原文:ht…

再次“重新定义” 华为争做数据基础设施领航者

戳蓝字“CSDN云计算”关注我们哦!数字经济是随着信息技术革命发展而产生的一种新的经济形态。近年来,随着我国开始更多从经济视角观察数字化问题,数字经济开始升温。7月31日,国家统计局发布2018年我国经济发展新动能指数。测算结果…

《阿里巴巴Android开发手册》正式发布,献给移动开发者的新年礼物

春节余味尚未消,我们为移动开发者准备了一份迟到的新年礼物——《阿里巴巴Android开发手册》,继《阿里巴巴Java开发手册》之后,阿里巴巴开发规范家族又添一丁,「阿里巴巴Android开发规范」认证考试也同步上线。 手册免费下载&…

搜索引擎背后的原理和中文日志检索

摘要: 日志服务支持的两种搜索方式 通过设置分词字符(通常是标点符号),把一段文本划分成不同的单词。分词字符只能是单字节ascii字符这种方式适合于切分英文单词。这种方式对于中文日志,必须要搜索中文语句整体。 点此查看原文:ht…

解决在已办任务菜单中都会抛出异常,由于definitionId=undefined导致的问题

任务办理完了,在已办任务(历史)菜单中,查看一下任务办理的节点信息不为过吧, 其实,也是那个definitionIdundefined导致的,也是由于获取的对象不对,这里我直接修改程序。 解决方案: //修改后…

华为高通5G华山论剑,一文看懂5G芯片背后的明争暗斗

戳蓝字“CSDN云计算”关注我们哦!来源:鲜枣课堂作者:小枣君 6月6日工信部正式发放5G商用牌照之后,国内5G网络建设的步伐大幅加快了。越来越多的城市出现了5G基站和5G信号,5G离我们的距离更近了。面对激动人心的5G&…

阿里云NAS备份服务

摘要: 阿里云NAS(Network Attached Storage)是一款高可靠高可用高性能的分布式存储产品,应用场景包括ECS、HPC、Docker等共享存储。目前已经有大量的客户使用NAS作为他们的数据存储,其中包括今日头条、Ofo这样的大型互…