apache mesos_在Twitter上使用Apache Mesos和Apache Aurora进行资源调度和任务启动

apache mesos

播客的第23集是与Bill Farner的谈话

Bill解释了Twitter如何使用Apache Mesos和Apache Aurora在硬件上获得更多收益,并通过在整个基础架构中利用细粒度的资源调度来节省工程时间(开发和运营)。 Bill谈到了他在Borg上与Google一起在Google上所见到和所经历的力量是如何想在Twitter上运行事物以及他们为Aurora打造什么的。 经过多年在Twitter上的生产运行之后,Aurora是开源的,是Apache基金会的一部分,可以使用。 他们看不到的许多新用例对于他们的团队来说已经变得非常强大,Bill也对此进行了更详细的介绍。

Bill还谈到了使用Aurora中的功能完成的检测的类型,以使现在Twitter上的所有新系统和几乎所有旧系统都在Aurora上运行。 Bill详细介绍了有关Twitter缓存的工作方式以及Aurora的SLA功能如何使其成为现实。 Aurora令人惊叹,它为最终用户(从工程师到分析师的每个人)提供了完全访问其硬件群集的潜在资源的能力。 Aurora提供了配额和抢占等功能,因此可以为任何用户提供对整个硬件基础架构的计算资源的访问权限,而不必担心会浪费资源并始终将生产始终作为优先事项。

Apache Mesos从计算机(物理或虚拟)中提取CPU,内存,存储和其他计算资源,从而使容错和弹性的分布式系统易于构建和有效运行。 Mesos是使用与Linux内核相同的原理构建的,只是在不同的抽象级别上。 Mesos内核在每台机器上运行,并为应用程序(例如Hadoop,Spark,Kafka,Elastic Search)提供API,用于在整个数据中心和云环境中进行资源管理和调度。

Apache Aurora是一个Mesos框架。 Mesos框架是资源的调度程序和任务的启动程序。 Aurora提供的Job抽象由Task模板和用于创建该Task几乎相同的副本的说明组成。 通常,任务是与单个命令行相对应的单个进程 ,例如python2.6 my_script.py 。 但是,有时您必须在单个任务中将单独的进程并置在一起,这些任务在单个容器和chroot (通常称为“沙盒”)中运行。 例如,如果您同时运行多个协作代理,例如logrotateinstaller以及主或从属进程。 Thermos在Mesos任务下提供了过程抽象。

要使用Aurora并快速入门,您应该按以下顺序查看此目录中的文档:

  1. 如何在私人计算机上的虚拟机上 部署Aurora或如何安装Aurora (本教程使用虚拟机方法)。
  2. 作为用户,您可以通过Tutorial快速入门。
  3. 有关引擎盖下Aurora处理流程的概述,请参阅《 用户指南》 。
  4. 要了解如何编写配置文件,请参阅我们的配置教程 。 从那里,查看Aurora + Thermos Reference 。
  5. 然后在Aurora命令行客户端上阅读。
  6. 查找有关Aurora如何执行资源隔离的常规信息和有用的技巧。

有关Mesos和Aurora的更多背景知识,请查看以下三个视频。

使用Apache Mesos进行数据中心管理

Apache Aurora简介视频

Apache Aurora的过去,现在和未来

翻译自: https://www.javacodegeeks.com/2014/10/resource-scheduling-and-task-launching-with-apache-mesos-and-apache-aurora-at-twitter.html

apache mesos

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/339284.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

oracle大于当前月,oracle 现阶段年 当前月 当前周 当前日

当前位置:我的异常网 数据库 oracle 现阶段年 当前月 当前周 当前日oracle 现阶段年 当前月 当前周 当前日www.myexceptions.net 网友分享于:2013-08-16 浏览:296次oracle 当前年 当前月 当前周 当前日Oracle 当前月 当前周 当前年 2010-12-15 15:54…

C语言函数库:动态库和静态库优缺点比较

函数的重要性我们在编写一个C语言程序的时候,经常会遇到好多重复或常用的部分,如果每次都重新编写固然是可以的,不过那样会大大降低工作效率,并且影响代码的可读性,更不利于后期的代码维护。我们可以把他们制作成相应的…

mysql重置增量_摆脱困境:在每种测试方法之前重置自动增量列

mysql重置增量当我们为将信息保存到数据库的功能编写集成测试时,我们必须验证是否将正确的信息保存到数据库。 如果我们的应用程序使用Spring Framework,则可以为此目的使用Spring Test DbUnit和DbUnit 。 但是,很难验证是否在主键列中插入…

oracle itpub论坛,Oracle Service

本帖最后由 sunyunyi 于 2018-11-10 10:33 编辑目前就职海天起点,服务于电力行业,致力于帮助客户解决生产过程中出现的问题,提高生产效率, 爱好书法,周易!愿结交志同道合之士!共同进步! 微信号&…

Linux C语言结构体

前面学习了c语言的基本语法特性&#xff0c;本节进行更深入的学习。预处理程序。 编译指令: 预处理, 宏定义&#xff0c;建立自己的数据类型&#xff1a;结构体&#xff0c;联合体&#xff0c;动态数据结构c语言表达式工具 逻辑运算符&#xff1a; & | ^ ~ << >&g…

ejb构建_如何使用单例EJB,Ehcache和MBean构建和清除参考数据缓存

ejb构建在本文中&#xff0c;我将介绍如何使用单例EJB和Ehcache在Java EE中构建简单的参考数据缓存。 高速缓存将在给定的时间段后重置自身&#xff0c;并且可以通过调用REST端点或MBean方法“手动”清除。 这篇文章实际上是建立在以前的文章中如何建立和清除与单EJB和MBean的一…

oracle中enqueue,ORACLE: Enqueue 烂笔头

Oracle 的enqueue 包含以下模式&#xff1a;模式代码解释1Null mode2Sub-Share3Sub-Exclusive4Share5Share/Sub-Exclusive6ExclusiveOracle的enqueue有如下类型&#xff1a;Enqueue 缩写缩写解释BLBuffer Cache managementBRBackup/RestoreCFControlfile transactionCICross-in…

Linux C语言编程基本原理与实践

重识C语言C语言是一种通用的, 面向过程的编程语言, 在系统与应用软件的开发应用较广是人类和计算机交流的一种方式ANSI C&#xff1a; 是C语言的标准, 为了避免各开发商用的C语言语法的差异C语言的特点: 简单, 快速, 高性能, 兼容性好, 功能强大, 易于学习C语言适合做什么Linux…

listview属性_属性提取器:获取ListView即时更新其元素的最佳方法

listview属性这篇文章是关于如何处理JavaFX ListViews和TableViews的&#xff0c;以及如何通过这些控件了解所包含元素的更改内容。 我想知道为什么在相关书籍中没有找到关于以下模式的任何信息&#xff0c;因为这是一个非常关键的机制。 那里的许多帖子建议通过调用以下命令来…

linux6.5安装oracle,linux [CentOS 6.5]下安装oracle

一&#xff0c;安装oracle依赖包# yum install binutils compat-libstdc-33 compat-libstdc-33.i686 elfutils-libelf elfutils-libelf-devel gcc gcc-c glibc glibc.i686 glibc-common glibc-devel glibc-devel.i686 glibc-headers ksh libaio libaio.i686 libaio-devel libai…

30分钟了解C 11新特性

什么是C 11C 11是曾经被叫做C 0x&#xff0c;是对目前C 语言的扩展和修正&#xff0c;C 11不仅包含核心语言的新机能&#xff0c;而且扩展了C 的标准程序库&#xff08;STL&#xff09;&#xff0c;并入了大部分的C Technical Report 1&#xff08;TR1&#xff09;程序库(数学的…

外链分享已取消无法下载怎么办_微信升级外链规范:“砍一刀”、“帮我加速吧”将被封禁...

北京商报讯(记者魏蔚)朋友圈、微信群遍布的购物分享链接&#xff0c;再度受到微信严控。10月18日晚间&#xff0c;微信宣布&#xff0c;外链规范即将进行更新升级&#xff0c;新增和细化多项外链规则&#xff0c;包括不可违规使用用户头像&#xff1b;不可诱导、误导下载/跳转&…

ef ddl生成不了脚本_如何使用Hibernate从Play生成DDL脚本! 框架项目

ef ddl生成不了脚本好的&#xff0c;因此您一直在使用hibernate属性名称“ hibernate.hbm2ddl.auto ” value “ 更新 ”来不断更新数据库模式&#xff0c; 但是现在您需要一个完整的DDL脚本吗&#xff1f; 从您的Global Class onStart中使用此方法来导出DDL脚本。 只需为其提…

vue php企业站案例,vue 开发企业微信整合案例分析

本文实例讲述了vue 开发企业微信整合。分享给大家供大家参考&#xff0c;具体如下&#xff1a;概述手机端程序可以和企业微信进行整合&#xff0c;我们也可以使用企业微信JSSDK功能&#xff0c;实现一些原生的功能。整合步骤在整合之前需要阅读 整合步骤。1.引入JSSDKnpm i -S …

Invalid Gradle JDK configuration found_带你了解Gradle编译速度是如何提升70%的

前言Gradle作为一款基于Groovy语言的构建工具&#xff0c;已经吸引众多的ant&#xff0c;maven使用者转投gradle的怀抱&#xff0c;和Gradle相比&#xff0c;ant显得冗余复杂&#xff0c;maven显得有些死板落后&#xff0c;而gradle基于DSL语法&#xff0c;特点明显&#xff1a…

【游戏开发】C 游戏编程实例

网络游戏开发分为&#xff1a;服务器编程、客户端编程、人工智能、数据库管理、游戏策划、美工设计、音乐特效等。大型游戏往往需要团队合作开发&#xff0c;因此面向对象的编程思想在网络游戏中得到了广泛应用。游戏开发基本流程&#xff1a;游戏初始化——游戏实现——游戏结…

jax-rs/jersey_使用JAX-RS(Jersey)的HTTP状态错误消息响应中的自定义原因短语

jax-rs/jersey在我最近的一些工作中&#xff0c;我收到了在发生错误时在HTTP状态响应中生成自定义“原因短语”的请求&#xff0c;并将其传递给使用我们REST API的客户端之一。 在这篇文章中&#xff0c;我将演示如何使用Jersey来实现这一目标。 1.定义检查的异常和异常映射器…

linux内核3.14.4,Linux内核4.14.14,4.9.77,4.4.112和3.18.92更新发布

原标题&#xff1a;Linux内核4.14.14&#xff0c;4.9.77&#xff0c;4.4.112和3.18.92更新发布导读正如所承诺的&#xff0c;Linux内核维护者Greg Kroah-Hartman今天发布了针对长期支持的Linux 4.14,4.9,4.4和3.18内核系列的一系列新更新。这些新内核在他们之前发布的一个星期后…

springboot 获取登录浏览器_java项目部署到linux服务器,微信小程序后台springboot项目部署到云服务器(图文详解)...

前面给大家讲了一个点餐系统的开发&#xff0c;包括java点餐后台和微信点餐小程序。可是都是教大家如何在本地把项目跑起来。今天就来教大家如何把这个点餐系统部署到服务器&#xff0c;实现商用。传送门点餐系统的开发&#xff0c;java后台微信小程序&#xff1a;https://blog…

spring体系结构_了解Spring Web应用程序体系结构:经典方法

spring体系结构每个开发人员必须了解两件事&#xff1a; 架构设计是必要的。 花哨的体系结构图没有描述应用程序的真实体系结构。 真正的体系结构是从开发人员编写的代码中找到的&#xff0c;如果不设计应用程序的体系结构&#xff0c;最终将得到一个具有多个体系结构的应用…