Linux和Windows集群中部署HTCondor

目录

 1、集群架构

2、HTCondor版本

3、Linux系统安装

3.1、HTCondor安装

3.2、中央管理节点配置

3.3、其他节点配置

4、Windwos系统安装

5、安全配置

6、参考


 1、集群架构
 

操作系统IP地址
1*Ubuntu22.04192.168.1.74
2Ubuntu22.04192.168.1.60
3Ubuntu22.04192.168.1.67
4Ubuntu20.03192.168.1.136
5Windows10192.168.1.20

2、HTCondor版本

为了兼容Ubuntu22.04,采用了HTCondor10.0.9版本

官网地址:HTCondor DownloadHTCSS is a specialized workload management system for compute-intensive jobs. Built to be flexible, expressive, and compatible with Grid and Cloud computing environments HTCSS was made to increase your Computational Throughput.icon-default.png?t=N7T8https://htcondor.org/htcondor/download/

3、Linux系统安装

采用Ubuntun22.04作为中央管理节点,IP地址为192.168.1.74

其余电脑全部设置为执行点和提交点。

3.1、HTCondor安装

在所有Ubuntu电脑中设置:

wget -qO - https://research.cs.wisc.edu/htcondor/repo/keys/HTCondor-10.0-Key | sudo apt-key add -

如果更换版本,密钥也得更换,此处用的锁10.0版本。

echo "deb [arch=amd64] https://research.cs.wisc.edu/htcondor/repo/ubuntu/10.0 jammy main" | sudo tee /etc/apt/sources.list.d/htcondor.list

apt-get update
apt-get install htcondor

3.2、中央管理节点配置

打开防火墙9618端口

ufw allow 9618/tcp

如果ufw服务没开启:

ufw enable

编辑condor_config文件

vim  /etc/condor/condor_config

在condor_config文件中加上:

ALLOW_WRITE =*

ALLOW_READ=*

CONDOR_HOST=$(FULL_HOSTNAME)

DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD, STARTD

ALLOW_ADVERTISE_MASTER=$(ALLOW_WRITE)
ALLOW_ADVERTISE_STARTD=$(ALLOW_WRITE)
ALLOW_ADVERTISE_SCHEDD=$(ALLOW_WRITE)

DAEMON_LIST设置机器的进程:
示例:
    中央管理主机(可提交可执行)
    DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD, STARTD
    中央管理主机(只提交不执行)
    DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD
    作业提交主机
    DAEMON_LIST = MASTER, SCHEDD
    作业执行主机
    DAEMON_LIST = MASTER, STARTD

安全配置最后介绍,Linux、Windows类似

3.3、其他节点配置

在其余节点(执行点、提交点)下载完HTCondor后,编辑condor_config文件,将host指向中央管理节点,我这里是192.168.1.74,再配置相关节点进程。

vim  /etc/condor/condor_config

CONDOR_HOST=192.168.1.74

#下面三个三选一

DAEMON_LIST = MASTER, SCHEDD  #作业提交主机

DAEMON_LIST = MASTER, STARTD #作业执行主机

DAEMON_LIST = MASTER, SCHEDD,STARTD #作业提交+执行主机

安全配置最后介绍,Linux、Windows类似

4、Windwos系统安装

Windows系统直接到官网下载相应版本msi文件即可。我这里是10.0.9版本

https://research.cs.wisc.edu/htcondor/tarball/10.0/10.0.9/release/icon-default.png?t=N7T8https://research.cs.wisc.edu/htcondor/tarball/10.0/10.0.9/release/Windows详细安装教程参考:

https://www.cnblogs.com/charlee44/p/12207128.htmlicon-default.png?t=N7T8https://www.cnblogs.com/charlee44/p/12207128.html注意在第一步选择创建condor池还是加入condor池时,选择join an existing HTCondor Pool.

Hostname of Central  Manager选择中央管理节点ip,我这里填的是192.168.1.74.

后面根上面博客里教程一样即可。

如果后续需要修改节点进程,在安装目录下的condor_config中修改DAEMON_LIST即可。

5、安全配置

安全配置,Linux与Windows一样。

Linux到/etc/condor下修改condor_config文件

Windows到安装目录下修改condor_condif文件。

为了方便,我没有采用IDTOKENSPassword身份验证。所以注释掉在condor_config中所有关于安全的配置,例如:use SECURITY等。

如果需要更安全的验证,请自行去官网参照官方手册配置:
Security — HTCondor Manual 23.4.0 documentationicon-default.png?t=N7T8https://htcondor.readthedocs.io/en/latest/admin-manual/security.html#password-authenticationLinux可能会有个config.d文件夹,如何里面有配置文件,编辑这个配置文件看看是否有关于安全的配置,如果有注释掉。

在condor_config中加入:

use SECURITY:HOST_BASED

6、参考

Administrative Quick Start Guide — HTCondor Manual 23.4.0 documentationicon-default.png?t=N7T8https://htcondor.readthedocs.io/en/latest/getting-htcondor/admin-quick-start.html

https://www.cnblogs.com/charlee44/p/12207128.htmlicon-default.png?t=N7T8https://www.cnblogs.com/charlee44/p/12207128.html

https://www.twblogs.net/a/5b8389002b71776c51e37dacicon-default.png?t=N7T8https://www.twblogs.net/a/5b8389002b71776c51e37dac

本文合作作者:感情丶剪不断-CSDN博客感情丶剪不断关注react.js,前端框架,面试,css,node.js,es6,vue.js,https,javascript领域.https://blog.csdn.net/qq_46688918

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/710156.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Squid代理服务器配置

需求是:通过外网机(跳板机)访问内网机,并为内网机提供访问网络的能力。 【跳板机T】【内网机N】 公网IP:39.107.xx.xxx 跳板机IP:172.17.216.234 内网机IP:172.17.216.241 Squid代理服务器地址…

Linux磁盘设备LVM介绍和常用场景说明

Linux常见的物理设备数据备份和负载均衡模式 1. LVM技术说明2. 相关概念3. 常用命令3.1 安装lvm命令3.2 创建分区3.3 格式化成LVM3.4 其他格式化 4. 常用场景4.1 创建LVM并挂载4.2 LVM扩容4.2.1 xfs扩容4.2.2 ext4扩容 4.2 缩减逻辑卷lv4.3 缩减vg:(迁移…

设计模式(二)单例模式

单例模式:确保一个类只有一个实例,并提供了全局访问点;主要是用于控制共享资源的访问; 单例模式的实现分为懒汉式和饿汉式。 懒汉式单例在需要时才会创建,而饿汉式单例则在类加载时立即创建实例; 单例模…

印象笔记 - Markdown 入门指南

一、Markdown 是什么? Markdown 是一种轻量级的「标记语言」,创始人为约翰格鲁伯,用简洁的语法代替排版,目前被越来越多的知识工作者、写作爱好者、程序员或研究员广泛使用。其常用的标记符号不超过十个,相对于更为复…

一文速览深度伪造检测(Detection of Deepfakes):未来技术的守门人

一文速览深度伪造检测(Detection of Deepfakes):未来技术的守门人 前言一、Deepfakes技术原理卷积神经网络(CNN):细致的艺术学徒生成对抗网络(GAN):画家与评审的双重角色…

MySQL 逗号分隔查询--find_in_set()函数

业务场景: 在使用MySQL的时候,可能的某个字段存储的是一个英文逗号分割的字符串(这里我们不讨论表设计的合理性),如图所示: 我们在查询的时候需要匹配逗号分割中的某个字符串,该怎么查询呢&am…

CRM 系统:管理工作流程的最佳利器全面解析

一个好的CRM解决方案能够使您业务保持活力——也就是管理客户。这意味着CRM系统提供了包括流程自动化、联系人管理、多渠道管理、数据分析等一系列工具。可以说,CRM是企业管理工作流程的最佳工具之一。 现在,市场上有上万种不同类型的CRM解决方案&#…

机器学习提升秘籍:Scikit-learn学习网站全攻略!

介绍:是一个开源的Python机器学习库,它提供了一整套用于数据挖掘和数据分析的工具,包括各种分类、回归、聚类和降维算法以及模型评估、选择和数据预处理等功能。以下是关于Scikit-learn的一些详细介绍: 算法覆盖广泛:S…

Mendix 开发实践指南|Mendix的核心概念

在当今快速变化的技术环境中,Mendix平台以模型驱动开发方法,重新定义了应用程序的构建过程。本章内容,将深入探讨Mendix的几大核心概念:模型驱动开发、微流、纳流 、 实体模型和页面,旨在帮助我们全面理解Mendix平台的…

java之Bean对象

1. 什么是Bean? Bean被实例化的,是被Spring框架所管理的Java对象。 Spring容器会自动完成Bean的实例化。将所创建的的Bean自动注入到Ioc容器中以供调用。 spring框架中 IOC容器中管理的对象就是Bean对象 2. 第三方bean Bean 因为第三方bean&#xff0…

​LeetCode解法汇总2476. 二叉搜索树最近节点查询

目录链接: 力扣编程题-解法汇总_分享记录-CSDN博客 GitHub同步刷题项目: GitHub - September26/java-algorithms: 算法题汇总,包含牛客,leetCode,lintCode等网站题目的解法和代码,以及完整的mode类&#…

如何在Win系统从零开始搭建Z-blog网站,并将本地博客发布到公网可访问

文章目录 1. 前言2. Z-blog网站搭建2.1 XAMPP环境设置2.2 Z-blog安装2.3 Z-blog网页测试2.4 Cpolar安装和注册 3. 本地网页发布3.1. Cpolar云端设置3.2 Cpolar本地设置 4. 公网访问测试5. 结语 1. 前言 想要成为一个合格的技术宅或程序员,自己搭建网站制作网页是绕…

Linux系统编程之线程互斥锁的使用方法

文章目录 一、Linux上线程开发互斥锁概要二、创建及销毁互斥锁2.1 示例:主线程等待两个线程退出,1线程和2线程打印信息 三、互斥量的初始化问题 一、Linux上线程开发互斥锁概要 互斥量(mutex)从本质上来说是一把锁,在…

Stable Diffusion 模型分享:yayoi_mix(日本美女、真实、照片)

本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里。 文章目录 模型介绍生成案例案例一案例二案例三案例四案例五 下载地址 模型介绍 yayoi_mix 是一个现实模型,是一个针对日本女性训练及合并的模型。 条目内容类型大模型基础模型SD…

前后端项目宝塔linux部署(springboot,vue,python)

宝塔linux安装就省略了,网上一堆 1.部署后端 1.首先把自己项目里面打包好的的jar包上传到服务器随便一个地方,我这里就上传到www/wwwroot下面了,宝塔的文件页面可以很便携上传 2.然后到下面这个页面 选那个java环境管理装个jdk&#xff…

全网首个GDB移植手册【Howto:Porting the GUN Debugger】翻译

Howto:Porting the GUN Debugger ✍【作者】:电子科大不知名程序员 📣【说明】:本文是自己在搭建mcore架构GDB时的参考的手册,具有很强的学习指导性,因原文档(链接:https://www.embecosm.com/a…

企业文件图纸加密有哪些?图纸文件加密防泄密软件如何选?

在现在的市场发展中,对于企业的图纸文件安全问题越来越重视,如设计图纸,重要文件等,一旦泄漏就会给企业造成巨大的经济损失。所以对企业管理者来讲,如何才能选择一款好用的适合本企业的图纸文件加密软件是非常重要的&a…

网络编程难点之select、poll与epoll详解

前言 为什么需要I/O多路复用技术? 首先,I/O多路复用技术主要被应用在需要高性能的网络服务器程序中。 高性能网络服务器程序需要做的事情就是供多个客户端同时进行连接并处理客户端传送过来的数据请求: 对于这种情况,很多人自然…

【招生】江西师范大学—地质灾害研究团队—地理与环境学院/鄱阳湖流域实验室

【招生】江西师范大学—地质灾害研究团队—地理与环境学院/鄱阳湖流域实验室 研究方向:InSAR、极化SAR、GNSS、地球物理、GIS 招生专业:GIS、人文地理 学院地址:江西南昌江西师范大学

什么是数据同步利器DataX,如何使用?

什么是 Datax? DataX 是阿里云 DataWorks数据集成 的开源版本,使用Java 语言编写,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、Ma…