apache mesos
Apache Mesos是一个开放源代码群集管理器,可在分布式应用程序或框架之间提供有效的资源隔离和共享。
Apache Mesos从计算机(物理或虚拟)中提取CPU,内存,存储和其他计算资源,从而使容错和弹性的分布式系统易于构建和有效运行。 它在计算机内部使用应用程序的动态分配。
总之, Apache Mesos由主服务器和从服务器组成。 主机负责在多个从机之间分配工作,并了解每个从机的状态。 对于容错,您可能拥有多个主机。
然后,我们有负责执行应用程序的从站。 从站通过容器(cgroup)隔离执行者和任务(应用程序)。
因此,每个从站都提供其资源,而Apache Mesos负责计划哪个从站将执行它。 请注意,每个从站如果有足够的资源来执行一个任务,则可以执行多个任务。
例如,假设一个从站具有4个CPU(为简化起见,我将不考虑其他参数),那么它可以执行1个任务(4个CPU),2个任务(2个CPU)……
但是Apache Mesos仅管理资源,但是要构建PaaS,我们需要更多类似服务发现或扩展功能的东西。 这就是马拉松比赛的目的 。
马拉松是在A pache Mesos之上运行的框架,并提供:
- 运行Linux二进制文件
- 集群范围的流程主管
- 服务发现和负载平衡(HAProxy)
- 自动化的软件和硬件故障处理
- 部署和扩展
- REST友好
但是使用Marathon的主要优点之一是它简化了所有常见任务并使其自动化。
因此, Marathon的主要任务是将应用程序部署到不同的组件,因此,如果一个组件失败,则将有其他从属为传入的通信提供服务。 但是,此外, Marathon将负责将应用程序重新分配给另一个从站,以便每个应用程序的从站数量保持恒定。
在开发人员机器上安装Apache Mesos和Marathon就像安装VirtualBox , Vagrant和git一样容易。
克隆下一个仓库:
git clone https://github.com/mesosphere/playa-mesos.git
只需从目录运行vagrant-up命令:
cd playa-mesos
vagrant up
第一次需要一些时间,因为它需要下载几个组件。
之后,您可以通过连接到Mesos和Marathon Web Console来检查它是否已正确安装。 http://10.141.141.10:5050和http://10.141.141.10:8080
下一步是安装HAProxy 。 尽管不是必需的,但是如果要执行服务发现和负载平衡,则“需要” HAProxy 。
运行vagrant ssh 。
安装HAProxy
sudo apt-get install haproxy
下载haproxy-marathon-bridge脚本:
wget https://raw.githubusercontent.com/mesosphere/marathon/master/bin/haproxy-marathon-bridge
chmod 755 haproxy-marathon-bridge./haproxy_marathon_bridge localhost:8080 > haproxy.cfg
haproxy -f haproxy.cfg -p haproxy.pid -sf $(cat haproxy.pid)
并配置HAproxy 。 为了避免每次拓扑更改时都必须手动运行此命令,可以运行:
./haproxy_marathon_bridge install_haproxy_system localhost:8080
它会安装脚本本身, HAProxy和一个cronjob ,它每分钟一次ping指定的Marathon服务器之一,并在发生任何更改时刷新HAProxy 。
仅此而已 ,现在我们安装了带有Mesosphere和HAProxy的 Apache Mesos 。 现在该部署Java EE应用程序服务器了。 在这种情况下,我们将使用Apache TomEE 。
我们唯一需要做的就是将JSON文档作为POST发送到http://10.141.141.10:8080/v2/apps
{"id": "projectdemo","cmd": "cd apache-tomee-plus* && sed \"s/8080/$PORT/g\" < ./conf/server.xml > ./conf/server-mesos.xml && ./bin/catalina.sh run -config ./conf/server-mesos.xml","mem": 256,"cpus": 0.5,"instances": 1,"ports":[10000],"constraints": [["hostname", "UNIQUE"]],"uris": ["http://ftp.cixug.es/apache/tomee/tomee-1.7.1/apache-tomee-1.7.1-plus.tar.gz"]
}
该JSON文档将使Marathon在一个节点上部署该应用程序。 让我们解释每个属性:
id:是应用程序的id,这里没有太多秘密。
cmd :选择节点就绪时将执行的命令。 在这种情况下,请注意,我们正在创建server-mesos.xml文件,它是server.xml文件的修改版本,但是将8080端口替换为$ PORT var。 现在就足够了。 最后,它使用server-mesos.xml配置文件启动TomEE 。
mem :节点中将需要的内存。
cpus :节点中将需要的Cpu资源。
instance :我们要复制此应用程序的节点数。 在这种情况下,只有一个,因为我们在本地运行。
ports :哪些端口将所有应用程序实例分组。 基本上,此端口由
HAProxy路由到正确的实例。 我们将在下一段中深入解释。
约束 :约束控制应用程序的运行位置,以优化容错能力或位置。 在这种情况下,我们设置每个应用程序应该在不同的从属设备中。 使用这种方法可以避免端口冲突。
uris :设置要在执行cmd部分之前执行的URI 。 在已知压缩算法的情况下,它会自动解压缩。 因此,您可以直接在cmd中执行cd命令,而不必手动将其解压缩。
因此,让我解释一下这里发生的事情或Mesosphere的作用:
首先,读取JSON文档并检查哪个从站具有可以处理此服务的节点。 在这种情况下,只需找到一个即可。 (实例= 1)。
找到后,将下载uri元素,将其解压缩,然后执行在中指定的命令
当前目录中的cmd属性。
就这样。 但是,等待什么是端口和$ PORT呢?
$ PORT是Mesosphere将分配给要与之通信的节点的随机端口。 此端口用于确保使用重叠的端口分配的Marathon不能运行两个应用程序。
而且通过在群集中的每个主机上运行一个TCP代理,并将其在localhost上的静态端口透明地转发到运行该应用程序的主机,它还用于服务发现和负载平衡。 这样,客户端只需连接到该端口,发现的实现细节就被完全抽象掉了。
因此,我们要做的第一件事是修改TomEE的配置以从Marathon分配的随机端口开始,因此,我们创建了一个新的server.xml文件并将侦听端口设置为$ PORT 。
因此,如果端口是随机的,那么如果客户端不知道从哪个端口启动该如何连接? 这是端口属性的目的。 在此属性中,我们设置为:当我连接到端口10000时,我想连接到已定义并部署到任何从站的应用程序,而与实例数无关。
是的,它可能有点复杂,但让我用一个简单的示例进行说明:
假设我有一个与以前相同的示例,但是有两个实例(instances = 2)。 两个TomEE实例都将在两个不同的从属设备(因此在不同的节点)和不同的端口中启动。 假设31456和31457 。 那么我们如何连接到他们呢?
简单。 您可以使用Marathon的IP和将访问该特定服务器的随机端口( http://10.141.141.10:31456/ ),也可以使用全局定义的端口( http://10.141.141.10:10000 / ),在这种情况下, HAProxy将路由到实例之一(取决于负载平衡规则)。
请注意,这对我们如何在Marathon内的应用程序之间进行通信有很大的影响,因为如果需要在Marathon内部署的应用程序之间进行内部通信,则只需知道该全局端口,因为可以将主机设置为HAProxy来设置localhost将解决它。 因此,从Marathon应用程序中,我们可以简单地使用http:// localhost:10000 /与TomEE通信,因为HAProxy随后会将请求路由到实际运行该服务实例的主机和端口。 在下一张图片中,您可以看到Marathon的仪表板以及如何部署应用程序。 请注意,您可以看到已部署应用程序的IP和端口。 您可以通过单击它或使用Marathon IP (与该链接中提供的相同)但使用端口10000进行访问 。 请记住, HAProxy每分钟更新一次,因此,如果它通过使用随机端口而不是使用端口10000起作用,则可能需要等待一段时间才能刷新HAProxy数据库。
这就是全部,正如您可能会看到的, Apache Mesos和Marathon并不像您最初想象的那么难。
还要注意,这是一篇有关Mesos和Java EE的“ Hello World”文章,但是Mesos和Mesosphere不仅限于服务的健康检查,运行Docker容器,工件存储或定义依赖项,但我发现运行此功能简单的例子,帮助了我这么多的澄清中间层的概念,这是开始的更复杂的情况好点。
翻译自: https://www.javacodegeeks.com/2015/04/apache-mesos-marathon-and-java-ee.html
apache mesos