使用 Spectrum LSF 设置多集群和作业转发

使用 Spectrum LSF 设置多集群和作业转发

以下示例是有关如何使用 Spectrum LSF设置多集群和作业转发的指南。 此示例说明了集群是本地集群,另一个在云中的常见情况。

此示例假定标注为 “OnPremiseCluster” 的内部部署集群使用子网 192.168.0.0/24 ,其管理主机使用 192.168.0.4 (内部部署管理)。 标注为 “HPCCluster” 的云集群使用子网 10.244.128.0/24 ,其管理主机使用 10.244.128.37 (icgen2host-10-244-128-37)。 这两个配置目录都位于 /opt/ibm/lsf/conf中,但您可以根据集群配置来更改目录。

(1) 以下是云集群的 /etc/hosts 文件的示例。 您需要确保 LSF 管理主机的主机名是 DNS-resolveable。


10.244.128.61 icgen2host-10-244-128-61
10.244.128.62 icgen2host-10-244-128-62
10.244.128.63 icgen2host-10-244-128-63

192.168.0.4 on-premise-management # added

对于本地 /etc/hosts 文件,请确保在云集群中添加有关管理主机的信息:

10.244.128.37 icgen2host-10-244-128-37 #added

(2) 这两个集群都需要相互识别,因此您需要修改 /opt/ibm/lsf/conf/lsf.shared。 此配置文件在两个集群中应该相同。


Begin Cluster
ClusterName Servers # Keyword
# modified
HPCCluster (icgen2host-10-244-128-37) # modified
OnPremiseCluster (on-premise-management) # modified
End Cluster

(3) 这两个集群配置为具有不同的 lsb.queues 文件。 在云集群中,您需要将以下行附加到 /opt/ibm/lsf/conf/lsbatch/HPCCluster/configdir/lsb.queues 以注册接收队列:


Begin Queue
QUEUE_NAME=recv_q
RCVJOBS_FROM=OnPremiseCluster
PRIORITY=30
NICE=20
RC_HOSTS=all
End Queue

本地集群配置为在 /opt/ibm/lsf/conf/lsbatch/OnPremiseCluster/configdir/lsb.queues处具有发送队列:

Begin Queue
QUEUE_NAME=send_q
SNDJOBS_TO=recv_q@HPCCluster
PRIORITY=30
NICE=20
End Queue

(4) 通过运行以下命令来重新启动这两个集群:

$ lsfrestart

(5) 重新启动这两个集群后,现在可以将作业从本地转发到云。 在本地集群中,可以测试以下作业:

$ bsub -q send_q sh -c ‘echo $HOSTNAME > /home/lsfadmin/shared/mc-test.txt’

您可以看到该作业出现在 HPCCluster 上,网址为 10.244.128.37。

$ bjobs -aw

JOBID USER STAT QUEUE FROM_HOST EXEC_HOST JOB_NAME SUBMIT_TIME
304 lsfadmin DONE recv_q on-premise-management@OnPremiseCluster:911 icgen2host-10-244-128-39 sh -c ‘echo $HOSTNAME > /home/lsfadmin/shared/mc-test.txt’ Jun 17 02:27

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/592518.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring技术内幕笔记之IOC的实现

IOC容器的实现 依赖反转: 依赖对象的获得被反转了,于是依赖反转更名为:依赖注入。许多应用都是由两个或者多个类通过彼此的合作来实现业务逻辑的,这使得每个对象都需要与其合作的对象的引用,如果这个获取过程需要自身…

奇因子之和(C语言)

题意: 一个整数的因子,就是所有可以整除这个数的数。奇数指在整数中,不能被 2 整除的数。所谓整数 Z 的奇因子,就是可以整除 Z 的奇数。 给定 N 个正整数,请你求出它们的第二大奇因子的和。当然,如果该数只…

Amazon API Gateway CORS 实战

Amazon API Gateway提供了一种实现跨域资源共享(CORS)的方式,以便在Web应用程序中安全地使用API。下面是Amazon API Gateway CORS的实战指南: 创建一个API Gateway REST API并定义资源和方法。在资源上启用CORS,可以通…

程序的重定位

可以理解为编译和链接 过程中产生的地址项都是临时的相对的。编译的时候的地址,在链接时会被修改。最终链接后生成的bin文件的地址项,在加载运行时 也会被修改。 链接器会对所有的输入文件进行扫描,之后就可以确定段的大小,符号定…

从0开始搭建清华ChatGLM3 6b大模型(Windows RTX4090版)

目录 1、硬件及软件说明 2、安装Anaconda 3、安装Git版本控制 ​4、安装pytorch驱动 5、安装ChatGLM3 1、硬件及软件说明 硬件:主要是GPU卡内存要足够,本次搭建使用的RTX4090卡一张,单卡内存24G,为什么选择4090?…

如何在ArcGIS Pro中指定坐标系

在进行制图的时候,为了实现某些特定的效果,需要指定特定的坐标系,但是现有的数据可能不是所需要的坐标系,这时候就需要对现有的数据坐标系进行处理,这里为大家介绍一下ArcGIS Pro中指定坐标系的方法,希望能…

ECMAScript和JavaScript:深入理解它们的关系与区别

ECMAScript和JavaScript:深入理解它们的关系与区别 在讨论ECMAScript和JavaScript之间的关系及其区别时,我们首先需要澄清一些常见的误解。很多人会将这两个术语混为一谈,但实际上,它们指代的是不同的概念。今天,我们…

STM32存储左右互搏 SPI总线读写FRAM MB85RS2M

STM32存储左右互搏 SPI总线读写FRAM MB85RS2M 在中低容量存储领域,除了FLASH的使用,,还有铁电存储器FRAM的使用,相对于FLASH,FRAM写操作时不需要预擦除,所以执行写操作时可以达到更高的速度,其…

蓝牙物联网漏洞攻击的几种方式?

在物联网日益普及的今天,蓝牙技术的广泛应用为我们的生活带来了诸多便利。然而,正如一枚硬币有两面,蓝牙技术的普及也带来了新的安全挑战。近日,一项关于蓝牙物联网漏洞攻击的研究引起了广泛关注。这项研究揭示了蓝牙物联网所面临…

机器视觉在食品安全检测领域的应用与展望

​随着人们生活水平的提高,对食品安全的要求也越来越高。在这种背景下,机器视觉技术作为一种高效、准确的自动化检测手段,在食品安全检测领域扮演着越来越重要的角色。机器视觉系统通过模拟人眼的视觉功能,借助相机和计算机视觉算…

魅族手机怎么录屏?高清视频,轻松录制!

“有人知道魅族手机怎么录屏吗,新买的魅族手机,用了几天感觉挺流畅的,功能也很齐全,最近因为工作原因,需要用到录屏功能,但是我不知道怎么打开,就想问问大家,魅族手机怎么录屏呀。”…

【qt】保存debug到log里

新建一个log.h #ifndef LOG_H #define LOG_H#include <QFile> #include <QTextStream> #include <QDateTime> #include <QMutex> #include <QDir>//选择屏幕打印还是输出到文件可以根据这个宏控制或者控制函数调用位置都可以 //#define _DEBUG …

ARM CCA机密计算架构软件栈简介

本博客描述了Arm机密计算架构(Arm CCA)的固件和软件组件。 在这篇博客中,您将学到如何: 列出组成Arm CCA软件栈的组件集了解Arm CCA引入新软件组件的原因了解监视器和领域管理监视器(RMM)的角色了解如何创建和管理领域1.1 开始之前 我们假设您熟悉AArch64异常模型、AAr…

2024 年 8 款值得收藏的免费 Android 数据恢复软件

如果你发现手机数据全部被删除&#xff0c;先别慌&#xff0c;今天这个视频就来教你如何恢复。 随着市场上数据恢复软件的可用性不断增加&#xff0c;很难选择哪一款是最好的。今天&#xff0c;我们精心挑选了8个最佳免费Android数据恢复软件。他们肯定会帮助你决定最适合你需…

JAVA对象、List、Map和JSON之间的相互转换

JAVA对象、List、Map和JSON之间的相互转换 1.Java中对象和json互转2.Java中list和json互转3.Java中map和json互转 1.Java中对象和json互转 Object obj new Object(); String objJson JSONObject.toJSONString(obj);//java对象转json Object newObj JSONObject.parseObject(…

ECMAScript和JavaScript的区别

ECMAScript 和 JavaScript 之间的区别在于它们各自的定义和用途&#xff1a; ECMAScript 定义&#xff1a; ECMAScript 是 JavaScript 语言的规范。 它是由 Ecma 国际组织的 TC39 委员会开发的标准化脚本语言规范。 作用&#xff1a; ECMAScript 定义了脚本语言的语法、类型、…

引导过程的解析以及教程za

bios加电自检------mbr--------grub-------加载内核文件------启动第一个进程 bios的主要作用&#xff1a;检测硬件是否正常&#xff0c;然后根据bios中的启动项设置&#xff0c;去找内核文件 boot开机启动项顺序&#xff0c;你可以把内核文件放在何处&#xff1f; 1.硬盘 …

Python分支语句

if 语句 if用来根据一个条件判断是否要执行某段逻辑代码&#xff0c;语法是&#xff1a; if 条件:pass这里的条件指的是通过条件运算符和逻辑运算符组成的一个条件表达式&#xff0c;或者就是一个布尔值。有些特殊的使用场景下&#xff0c;也可以直接跟变量名&#xff0c;遵循…

CMake入门教程【基础篇】条件语句(if)

文章目录 if语句语法比较运算符字符串比较文件和目录判断变量判断布尔表达式正则表达式匹配函数和宏判断 示例应用比较运算符示例字符串比较示例文件和目录判断示例变量判断示例布尔表达式示例正则表达式匹配示例函数和宏判断示例 结论 #mermaid-svg-LGW4z5n9jNvtC9OT {font-fa…

ChatGPT 进行 SEO的使用技巧

搜索引擎优化 (SEO) 是使网站对搜索引擎友好的一种不断发展的实践。 自搜索引擎和新兴技术的发展以来&#xff0c;它从未保持不变。 最近发布的 ChatGPT 是一种人工智能对话工具&#xff0c;似乎在搜索引擎优化方面有很好的应用。 从创建吸引人的标题到只需一个简短的提示就可…