目录
1、集群架构
2、HTCondor版本
3、Linux系统安装
3.1、HTCondor安装
3.2、中央管理节点配置
3.3、其他节点配置
4、Windwos系统安装
5、安全配置
6、参考
1、集群架构
操作系统 | IP地址 | |
1* | Ubuntu22.04 | 192.168.1.74 |
2 | Ubuntu22.04 | 192.168.1.60 |
3 | Ubuntu22.04 | 192.168.1.67 |
4 | Ubuntu20.03 | 192.168.1.136 |
5 | Windows10 | 192.168.1.20 |
2、HTCondor版本
为了兼容Ubuntu22.04,采用了HTCondor10.0.9版本
官网地址:HTCondor DownloadHTCSS is a specialized workload management system for compute-intensive jobs. Built to be flexible, expressive, and compatible with Grid and Cloud computing environments HTCSS was made to increase your Computational Throughput.https://htcondor.org/htcondor/download/
3、Linux系统安装
采用Ubuntun22.04作为中央管理节点,IP地址为192.168.1.74
其余电脑全部设置为执行点和提交点。
3.1、HTCondor安装
在所有Ubuntu电脑中设置:
wget -qO - https://research.cs.wisc.edu/htcondor/repo/keys/HTCondor-10.0-Key | sudo apt-key add -
如果更换版本,密钥也得更换,此处用的锁10.0版本。
echo "deb [arch=amd64] https://research.cs.wisc.edu/htcondor/repo/ubuntu/10.0 jammy main" | sudo tee /etc/apt/sources.list.d/htcondor.list
apt-get update
apt-get install htcondor
3.2、中央管理节点配置
打开防火墙9618端口
ufw allow 9618/tcp
如果ufw服务没开启:
ufw enable
编辑condor_config文件
vim /etc/condor/condor_config
在condor_config文件中加上:
ALLOW_WRITE =*
ALLOW_READ=*
CONDOR_HOST=$(FULL_HOSTNAME)
DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD, STARTD
ALLOW_ADVERTISE_MASTER=$(ALLOW_WRITE)
ALLOW_ADVERTISE_STARTD=$(ALLOW_WRITE)
ALLOW_ADVERTISE_SCHEDD=$(ALLOW_WRITE)
DAEMON_LIST设置机器的进程:
示例:
中央管理主机(可提交可执行)
DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD, STARTD
中央管理主机(只提交不执行)
DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD
作业提交主机
DAEMON_LIST = MASTER, SCHEDD
作业执行主机
DAEMON_LIST = MASTER, STARTD
安全配置最后介绍,Linux、Windows类似
3.3、其他节点配置
在其余节点(执行点、提交点)下载完HTCondor后,编辑condor_config文件,将host指向中央管理节点,我这里是192.168.1.74,再配置相关节点进程。
vim /etc/condor/condor_config
CONDOR_HOST=192.168.1.74
#下面三个三选一
DAEMON_LIST = MASTER, SCHEDD #作业提交主机
DAEMON_LIST = MASTER, STARTD #作业执行主机
DAEMON_LIST = MASTER, SCHEDD,STARTD #作业提交+执行主机
安全配置最后介绍,Linux、Windows类似
4、Windwos系统安装
Windows系统直接到官网下载相应版本msi文件即可。我这里是10.0.9版本
https://research.cs.wisc.edu/htcondor/tarball/10.0/10.0.9/release/https://research.cs.wisc.edu/htcondor/tarball/10.0/10.0.9/release/Windows详细安装教程参考:
https://www.cnblogs.com/charlee44/p/12207128.htmlhttps://www.cnblogs.com/charlee44/p/12207128.html注意在第一步选择创建condor池还是加入condor池时,选择join an existing HTCondor Pool.
Hostname of Central Manager选择中央管理节点ip,我这里填的是192.168.1.74.
后面根上面博客里教程一样即可。
如果后续需要修改节点进程,在安装目录下的condor_config中修改DAEMON_LIST即可。
5、安全配置
安全配置,Linux与Windows一样。
Linux到/etc/condor下修改condor_config文件
Windows到安装目录下修改condor_condif文件。
为了方便,我没有采用IDTOKENS和Password身份验证。所以注释掉在condor_config中所有关于安全的配置,例如:use SECURITY等。
如果需要更安全的验证,请自行去官网参照官方手册配置:
Security — HTCondor Manual 23.4.0 documentationhttps://htcondor.readthedocs.io/en/latest/admin-manual/security.html#password-authenticationLinux可能会有个config.d文件夹,如何里面有配置文件,编辑这个配置文件看看是否有关于安全的配置,如果有注释掉。
在condor_config中加入:
use SECURITY:HOST_BASED
6、参考
Administrative Quick Start Guide — HTCondor Manual 23.4.0 documentationhttps://htcondor.readthedocs.io/en/latest/getting-htcondor/admin-quick-start.html
https://www.cnblogs.com/charlee44/p/12207128.htmlhttps://www.cnblogs.com/charlee44/p/12207128.html
https://www.twblogs.net/a/5b8389002b71776c51e37dachttps://www.twblogs.net/a/5b8389002b71776c51e37dac
本文合作作者:感情丶剪不断-CSDN博客感情丶剪不断关注react.js,前端框架,面试,css,node.js,es6,vue.js,https,javascript领域.https://blog.csdn.net/qq_46688918