在Twitter上使用Apache Mesos和Apache Aurora进行资源调度和任务启动

播客的第23集是与Bill Farner的谈话

Bill解释了Twitter如何使用Apache Mesos和Apache Aurora在硬件上获得更多收益,并通过在整个基础架构中利用细粒度的资源调度来节省工程时间(开发和运营)。 Bill谈到了他在Borg上与Google一起在Google上所看到和经历的力量是如何想在Twitter上运行事物以及他们为Aurora打造了什么的能力。 经过多年在Twitter上的生产运行之后,Aurora是开源的,是Apache基金会的一部分,可以使用。 他们看不到的许多新用例对于他们的团队来说已经变得非常强大,Bill也对此进行了更详细的介绍。

Bill还谈到了使用Aurora中的功能完成的检测类型,以使现在Twitter上的所有新系统和几乎所有旧版系统都在Aurora上运行。 Bill详细介绍了有关Twitter缓存的工作方式以及Aurora的SLA功能如何使其成为现实。 Aurora令人惊叹,它可以为最终用户(从工程师到分析人员的每个人)提供完全访问其硬件群集的潜在资源的能力。 Aurora提供了配额和抢占等功能,因此可以为任何用户提供对整个硬件基础架构的计算资源的访问权限,而不必担心会浪费资源并始终将生产始终作为优先事项。

Apache Mesos从计算机(物理或虚拟)上提取CPU,内存,存储和其他计算资源,从而使容错和弹性的分布式系统易于构建和有效运行。 Mesos是使用与Linux内核相同的原理构建的,只是在不同的抽象级别上。 Mesos内核在每台机器上运行,并为应用程序(例如Hadoop,Spark,Kafka,Elastic Search)提供API,用于在整个数据中心和云环境中进行资源管理和调度。

Apache Aurora是一个Mesos框架。 Mesos框架是资源的调度程序和任务的启动程序。 Aurora提供的Job抽象由Task模板和用于创建该Task几乎相同的副本的说明组成。 通常,任务是与单个命令行相对应的单个进程 ,例如python2.6 my_script.py 。 但是,有时您必须在单个任务中将单独的进程并置在一起,这些任务在单个容器和chroot (通常称为“沙盒”)中运行。 例如,如果您同时运行多个协作代理,例如logrotateinstaller以及主或从属进程。 Thermos在Mesos任务下提供了过程抽象。

要使用Aurora并快速入门,您应该按以下顺序查看此目录中的文档:

  1. 如何在私人计算机上的虚拟机上 部署Aurora或如何安装Aurora (本教程使用虚拟机方法)。
  2. 作为用户,您可以通过Tutorial快速入门。
  3. 有关引擎盖下的Aurora处理流程的概述,请参见《 用户指南》 。
  4. 要了解如何编写配置文件,请参阅我们的配置教程 。 从那里,查看Aurora + Thermos Reference 。
  5. 然后在Aurora命令行客户端上阅读。
  6. 查找有关Aurora如何执行资源隔离的常规信息和有用的技巧。

有关Mesos和Aurora的更多背景知识,请查看以下三个视频。

使用Apache Mesos进行数据中心管理

Apache Aurora简介视频

Apache Aurora的过去,现在和未来

翻译自: https://www.javacodegeeks.com/2014/10/resource-scheduling-and-task-launching-with-apache-mesos-and-apache-aurora-at-twitter.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/361552.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

fatal error C1083: 无法打开预编译头文件:“Debug\a.pch”:No such file or directory

一、解决方法 右键点击你创建的项目,选择“属性标签”点击属性,弹出“项目属性页”,在左侧找到以下位置 配置属性 --> C/C --> 预编译头,并选择它:在右边的菜单中选择 “创建/使用预编译头”中的“不使用预编…

ubunt 下 配置samba 服务器

一. samba的安装: sudo apt-get insall sambasudo apt-get install smbfs 二。修改/etc/samba/smb.conf sudo gedit /etc/samba/smb.conf 在smb.conf最后添加 [myShare]comment Shared Folder with username and passwordpath /home/wangywriteable yesbrowseable yesguest…

Telnet初试(本地测试)

win7下开启Telnet功能: 控制面板-程序和功能- 开启服务 然后回车 这样即可完成一次请求 更多专业前端知识,请上 【猿2048】www.mk2048.com

织梦dede 5.7系统基本参数无法修改保存,提示Token mismatch!

织梦dede 5.7系统基本参数无法修改保存,总是提示Token mismatch! 最开始以为是文件权限问题,反复给权限无法解决。 百度了下,也没有好用的方法 最后还是要自己动手 在dede/sys_info.php 54行找到对应的内容 根据代码判断是 $token变量问题 打…

您是否真的要加快Maven的编译/打包速度? 那么takari生命周期插件就是答案。

像你们中的许多人一样,我正在使用多模块Maven项目 。 与现有的许多系统相比,这不是一个很大的数目,它具有15个模块,3种不同的耳朵部署,带有属性文件的大量参数化以及大约10万行Java代码。 在开发高峰期,由于…

手机MMI体系结构及其实现

摘自:http://blog.csdn.net/zc2007/article/details/2340436 1引言 MMI(ManMachineInter-face),即人机界面,它负责和用户的交互,在必要的时候调用其它模块的功能。MMI模块在整个系统中处于最 高层&#x…

Aspose.Words简单生成word文档

Aspose.Words简单生成word文档 Aspose.Words.Document doc new Aspose.Words.Document(); Aspose.Words.DocumentBuilder builder new Aspose.W…

ubuntu下安装JDK和netbeans

我在ubuntu下安装netbeans十分简单,我下载了jdk-7u1-nb-7_0_1-linux-ml.sh,直接在终端输入 sh jdk-7u1-nb-7_0_1-linux-ml.sh安装的向导就会启动,你只要选择JDK和netbeans安装的目录,向导就自动替你安装jdk和netbeans,…

在带有组合框的值列表的下拉列表中显示显示属性的子集

组合框值列表(inputComboboxListOfValues)应该是使用LOV的非常流行的ADF Faces组件。 坦白说,这是我最喜欢的值列表方法。 在这篇简短的文章中,我将重点介绍ADF开发人员经常忽略的一项功能。 如果默认情况下定义了LOV,…

Cause: com.ibatis.common.xml.NodeletException: Error parsing XML. Cause: jav

报错:Cause: com.ibatis.common.xml.NodeletException: Error parsing XML. Cause: jav 原因:1、在对应的xml文件里面 #A#,只写了一个# 2、xml文件里面有多余的字符,如空格等 转载于:https://www.cnblogs.com/zzw3014/p/11316031.html

摆脱困境:在每种测试方法之前重置自动增量列

当我们为将信息保存到数据库的功能编写集成测试时,我们必须验证是否将正确的信息保存到数据库。 如果我们的应用程序使用Spring Framework,则可以为此目的使用Spring Test DbUnit和DbUnit 。 但是,很难验证是否在主键列中插入了正确的值&am…

仅坚持了9天:京东今日宣布暂停火车票代购业务

仅仅只坚持了9天,对于京东商城销售火车票的讨论一直进行着。不论是否具有销售资质,还是变相的收费。到今天下午为止京东商城发表声明暂停火车票代购业务。以下是京东公告全文:尊敬的京东网友:鉴于京东商城火车票代购业务测试期间出…

path.join 与 path.resolve 的区别

1. 对于以/开始的路径片段,path.join只是简单的将该路径片段进行拼接,而path.resolve将以/开始的路径片段作为根目录,在此之前的路径将会被丢弃,就像是在terminal中使用cd命令一样。 path.join(/a, /b) // a/bpath.resolve(/a, /b…

Android IPC系列(一):AIDL使用详解

概述 AIDL可以实现进程间的通信,由于每个进程都是运行在独立的空间,不同的进程想要交互需要借助一些特殊的方式,AIDL就是其中的一种,AIDL是一种模板,因为实际交互过程中,并不是AIDL起的作用,具体…

如何使用单例EJB,Ehcache和MBean构建和清除参考数据缓存

在本文中,我将介绍如何使用单例EJB和Ehcache在Java EE中构建简单的参考数据缓存。 高速缓存将在给定的时间段后重置自身,并且可以通过调用REST端点或MBean方法“手动”清除。 这篇文章实际上是在以前的文章的基础上建立的 。 唯一的区别是,我…

深入浅出React Native 1: 环境配置

该教程主要介绍如何用react native来开发iOS,所以首先,你需要有一台mac,当然黑苹果也是可以的~ 创建一个react native的项目只需要安装以下五个组件~~(但....坑爹的是,不FQ的话安装慢成狗呀) 1. 安装 xco…

C#排序算法大全

C#排序算法大全 土人 2004-7-21 一、冒泡排序(Bubble) using System; namespace BubbleSorter { public class BubbleSorter { public void Sort(int[] list) { int i,j,temp; bool donefalse; j1; while((j<list.Length)&&(!done)) { donetrue; for…

Spring实战(前言:Spring容器)

Spring容器&#xff0c;顾名思义是用来容纳东西的&#xff0c;装的就是Bean。Spring容器负责创建、配置、管理Bean。spring容器有两个核心接口&#xff1a;BeanFactory和ApplicationContext接口&#xff0c;后者是前者的子接口。在基于spring的Java EE程序中&#xff0c;所有的…

具有WildFly,Arquillian,Jenkins和OpenShift的Java EE 7部署管道

技术提示&#xff03;54展示了如何Arquillianate&#xff08;Arquillianize&#xff1f;&#xff09;一个现有的Java EE项目并在WildFly在已知主机和端口上运行的远程模式下运行这些测试。 技术提示&#xff03;55展示了当WildFly在OpenShift中运行时如何运行这些测试。 这两个…

《那些年啊,那些事——一个程序员的奋斗史》——88

谁也不知道武总脑袋里面会想些什么。这天早上段伏枥还在发愁如何改进这4.3机器的电源管理的时候&#xff0c;武总突然让自己到会议室开会。 段伏枥还没坐下来的时候&#xff0c;武总推过来一台机器&#xff0c;说:“你看看&#xff0c;这机器怎么样。” 段伏枥定睛一看&#xf…