探索rsync远程同步和SSH免密登录的奥秘

目录

  • 集群分发脚本xsync
    • scp(secure copy)安全拷贝
    • rsync 远程同步工具
    • 集群分发脚本
  • SSH免密登录
    • 免密登录原理
    • SSH免密登录配置
      • 生成公钥和私钥
      • 授权
      • 测试


在现代科技飞速发展的时代,数据的备份和迁移成为了一个重要的课题。其中,rsync远程同步和SSH免密登录成为了程序员们常用的工具和技巧。它们能够帮助我们高效地进行文件同步和管理,使数据的传输更加快速和安全。
在本篇文章中,我们将深入探索rsync远程同步和SSH免密登录的奥秘。我们将介绍如何配置SSH免密登录,以及如何使用rsync来进行文件的远程同步。

集群分发脚本xsync

scp(secure copy)安全拷贝

(1)定义:scp可以实现服务器与服务器之间的数据拷贝
(2)基本语法:

scp -r $pdir/$fname $user@$host:$pdir/$fname
# scp 命令
# -r 递归
# $pdir/$fname 要拷贝的文件路径/名称
# $user@$host:$pdir/$fname 目的地用户名@主机:目的地路径/名称

(3)案例:
在hadoop102上,把数据拷贝到hadoop103
scp -r jdk1.8.0_371/ root@hadoop103:/opt/module

在hadoop103上,拉取hadoop102的数据
scp -r root@hadoop102:/opt/module/hadoop-3.2.4 ./

rsync 远程同步工具

rsync是一个功能强大的文件同步工具,它能够通过比较源和目标文件的内容差异,只传输差异部分,从而大幅度提升文件传输的效率。这种差异传输的机制,使得rsync在大规模数据备份和迁移中得到了广泛的应用。它能够通过多种传输协议,包括本地文件系统、SSH和RSYNC等,来实现跨平台和跨网络的文件同步。
rsync主要用于备份和镜像,具有速度快、避免复制相同的内容和支持符号链接的特点。
rsync比 scp 复制文件速度要快,rsync只对差异化文件做更新,scp是把所有文件都复制过去

  1. 基本语法
rsync -av $pdir/$fname $user@host:$pdir/$fname
# rsync 命令
# -av   -a 归档拷贝   -v 显示复制过程
# $pdir/$fname 要拷贝的文件路径/名称
# $user@host:$pdir/$fname 目的地用户名@主机目的地路径/名称
  1. 案例:
    在hadoop102上,同步hadoop102上的数据到hadoop103
    rsync -av hadoop-3.2.4/ root@hadoop103:/opt/module/hadoop-3.2.4/

集群分发脚本

循环复制文件到所有节点的相同目录下

rsync命令原始拷贝rsync -av /opt/module root@hadoop103:/opt
期望脚本使用方式:xsync 要同步的文件名称
期望脚本在任何路径都能使用(脚本放在声明了全局环境变量的路径)

[amo@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_371/bin:/opt/module/hadoop-3.2.4/bin:/opt/module/hadoop-3.2.4/sbin:/home/amo/.local/bin:/home/amo/bin

home目录下创建bin文件夹,并在该文件夹下创建xsync文件vim xsync (名字随便起)

#!/bin/bash#1.判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fi#2.遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
doecho ========= = $host =============#3.遍历所有目录,一个个发送for file in $@do#4.判断文件是否存在if [ -e $file ]then#5.获取父目录pdir=$(cd -P $(dirname $file); pwd)#6.获取当前文件的名称filename=$(basename $file)ssh $host "mkdir -p $pdir"rsync -av $pdir/$filename $host:$pdirelseecho $file does not exists!fidone
done

修改脚本 xsync 具有执行权限
chmod 777 xsync

测试脚本
xsync /bin
将脚本复制到/bin中,以便全局调用
sudo cp xsync /bin/
同步环境变量配置(root所有者)
sudo ./bin/xsync /etc/profile.d/my_env.sh

环境变量生效source /etc/profile

SSH免密登录

SSH免密登录则是一种安全的通信协议,它能够建立起安全的连接,从而实现在远程服务器上执行命令,而无需手动输入密码。通过使用公钥和私钥的加密方式,SSH免密登录能够防止密码被窃取,并提供更高的安全性。

免密登录原理

  1. A服务器通过ssh-keygen -t rsa命令生成密钥对(公钥和私钥)
  2. A服务器通过ssh-copy-id 服务器B命令将公钥拷贝到B服务器
  3. A服务器ssh访问B服务器(数据用私钥加密)
  4. B服务器接收到数据后,去授权的key中查找A服务器的公钥,并解密数据
  5. 将采用A公钥加密后的数据返回给A服务器

SSH免密登录配置

#切换到home目录下
cd ~ 
# 查看home目录下的所有文件(包括隐藏文件)
ll -al 
# 切换到.ssh文件夹下
cd .ssh
# 生成公钥和私钥
ssh-keygen -t rsa
# 授权给另一个服务器
ssh-copy-id hadoop103

生成公钥和私钥

# 生成公钥和私钥
[root@hadoop102 .ssh]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:pCATVCsPvIqYqZMz0KYnHxIE5V7gsqz+MU41co6SkNY root@hadoop102
The key's randomart image is:
+---[RSA 2048]----+
|.o=..            |
|.+ o .           |
|..O +   .        |
|o=.O . o         |
|=+oE.+. S        |
|B=+ * .          |
|X*.= .           |
|X.=.o            |
|.Ooo             |
+----[SHA256]-----+

授权

将生成的公钥通过命令拷贝到你要授权的服务器

# 授权
[root@hadoop102 .ssh]# ssh-copy-id hadoop103
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@hadoop103's password: Number of key(s) added: 1Now try logging into the machine, with:   "ssh 'hadoop103'"
and check to make sure that only the key(s) you wanted were added.[root@hadoop102 .ssh]# ssh-copy-id hadoop104
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@hadoop104's password: Number of key(s) added: 1Now try logging into the machine, with:   "ssh 'hadoop104'"
and check to make sure that only the key(s) you wanted were added.

测试

[amo@hadoop102 ~]$ ssh hadoop103
Last login: Fri Mar  1 19:40:22 2024 from 192.168.1.1
[amo@hadoop103 ~]$ 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/712576.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大数据毕业设计之前端04:管理系统为什么要自己实现图标组件

关键字:BuildAdmin、Icon、图标、Vue、ElementUI 前言 说到图标,在BuildAdmin中用到的地方很多。比如上一篇中的折叠图标,还有菜单栏图标、导航菜单栏图标等。常见的图标有:ElementUI图标、font-awesome、iconfont阿里图标以及本…

94. 递归实现排列型枚举 刷题笔记

思路 依次枚举 每个位置用哪个数字 要求按照字典序最小来输出 而每次搜索下一层时i都是从1开始 也就是说 如果有小的数可以填上 那么该方案会填上这个数字 例如 当n等于3 第一次搜索 1 2 3输出后返回 返回后此时i3 第二个位置填3 1 3 2 输出后返回 此时返回到第一层…

云计算 2月21号 (linux文件及用户管理)

一、文件管理 1.1快捷键 编辑命令: Ctrl a :移到命令行首 Ctrl e :移到命令行尾 Ctrl u :从光标处删除至命令行首 Ctrl k :从光标处删除至命令行尾 Ctrl w :从光标处删除至字首 Ctrl d &#x…

20240301-2-ZooKeeper面试题(二)

11. Chroot 特性 3.2.0 版本后,添加了 Chroot 特性,该特性允许每个客户端为自己设置一个命名空间。如果一个客户端设置了 Chroot,那么该客户端对服务器的任何操作,都将会被限制在其自己的命名空间下。 通过设置 Chroot&#xff…

Win11远程桌面登陆教程

必备软件 Remote Desktop 这个软件用于便捷操作 Tailscale 这个用于创建虚拟局域网让两台设备处于同一个网段便于远程连接 详细步骤 0、打开电脑设置允许远程连接模式 把这里的开关打开就行。 1、设置允许登陆的用户以及密码 在管理员模式下的宿主电脑上面输入以下命令…

支付宝小程序中唤起支付(前后端)

Java后台获取支付宝支付唯一订单号 /*** 支付宝小程序支付*/PostMapping(value "/xcxPayZFBTHREE")ResponseBodypublic Map<String,Object> xcxPayZFBTHREE(RequestBody byte[] req) {HashMap<String, Object> objectObjectMap new HashMap<>();…

jax可微分编程的笔记(7)

jax可微分编程的笔记(7) 第七章 优化算法 从优化理论的整体框架来看&#xff0c;任何优化问题都可以被分解为 模型的建立&#xff0c;损失函数的构造以及优化算法的选取这三个部分。 其中优化算法的具体形式&#xff0c;又依赖于步长下降方向和终止条件 的选取。 对于多维函…

JavaScript 浏览器元素滚动 scrollIntoView()

scrollIntoView() ​ DOM 规范中没有涉及的一个问题是如何滚动页面中的某个区域。为填充这方面的缺失&#xff0c;不同浏览器实现了不同的控制滚动的方式。在所有这些专有方法中&#xff0c;HTML5 选择了标准化 scrollIntoView()。 ​ scrollIntoView() 方法存在于所有 HTML …

深度学习中常见的backbone、neck、head的理解

在深度学习中&#xff0c;常见的backbone、neck和head是指网络结构的不同部分&#xff0c;它们各自承担着不同的功能&#xff1a; Backbone&#xff08;骨干网络&#xff09;&#xff1a;骨干网络通常是指整个深度神经网络的主要部分&#xff0c;负责提取输入数据的特征。骨干网…

寒假作业Day 02

这是第二天的作业&#xff0c;fighting&#xff01; Day 02 一、选择题 首先char* s[6]是指针数组&#xff0c;也就是其存储的都是这些字符串的地址&#xff0c;其实际上的类型为char**&#xff0c;而fun函数传入了s数组的首地址。而后续fun函数中打印字符&#xff0c;p[i]即…

ad18学习笔记十六:如何放置精准焊盘到特定位置,捕抓功能的讲解

网上倒是一堆相关的指导 AD软件熟练度提升&#xff0c;如何设置板框捕捉&#xff1f;_哔哩哔哩_bilibili 关于Altium Designer 20 的捕抓功能的讲解_ad捕捉设置-CSDN博客 AD软件捕捉进阶实例&#xff0c;如何精确的放置布局元器件&#xff1f;_哔哩哔哩_bilibili AD绘制PCB…

项目-SERVER模块-Socket模块

Socket模块 一、Socket模块是什么&#xff1f;二、代码实现1.成员变量2.构造、析构函数3.获取套接字文件描述符4.创建套接字5.绑定地址信息6.开始监听连接请求7.向服务器发起连接8.获取新连接9.接收数据10.非阻塞接收数据11.发送数据12.非阻塞发送数据13.关闭套接字14.创建一个…

何时使用子查询?一个使用子查询的SQL示例及其工作原理

何时使用子查询&#xff1f;给出一个使用子查询的SQL示例&#xff0c;并解释其工作原理。 子查询&#xff0c;也称为内部查询或嵌套查询&#xff0c;是嵌入在另一个SQL查询中的查询。外部查询&#xff0c;有时称为外部查询或主查询&#xff0c;是包含子查询的查询。子查询可以…

20240301作业

1.使用fwrite、fread将一张随意的bmp图片&#xff0c;修改成德国的国旗 #include <stdio.h> #include <string.h> #include <unistd.h> #include <stdlib.h> int main(int argc, const char *argv[]) {FILE* fp fopen("./gaoda.bmp","…

24.3.1 《CLR via C#》 笔记9

第十二章 泛型 泛型&#xff1a;支持泛型值类型、泛型引用类型、泛型接口、泛型委托&#xff1b;允许在引用类型、值类型和接口中定义泛型方法&#xff1b;泛型参数变量要么称为T&#xff0c;要么以T开头 具有泛型类型参数的类型称为开放类型&#xff0c;不允许构造实例&#…

Java毕业设计 基于SpringBoot vue 社区团购系统

Java毕业设计 基于SpringBoot vue 社区团购系统 SpringBoot vue 社区团购系统 功能介绍 前端用户: 首页 图片轮播 商品信息 商品分类展示 搜索 商品详情 点我收藏 添加到购物车 立即购买 我要开团 去参团 评论 公告资讯 资讯详情 登录 注册 个人中心 更新信息 点我充值 我的订…

Mysql笔记3

1、快速创建表 原理&#xff1a; 将一个查询结果当做一张表新建 这个可以完成表的快速复制 create table emp2 as select * from emp; mysql> select * from emp2; ---------------------------------------------------------------------- …

【vscode提取函数快捷键】提取函数,减少大方法的复杂度

在 Visual Studio Code 中&#xff0c;提取函数的快捷键取决于你所使用的编程语言和安装的插件。以下是一些常用的快捷键组合&#xff0c;可以用来在 Visual Studio Code 中提取函数&#xff1a; 执行以下步骤来提取函数&#xff1a; 选中要提取的代码块。右键单击选中的代码…

System Verilog学习笔记(十二)——数组(2)

System Verilog学习笔记&#xff08;十二&#xff09;——数组&#xff08;2&#xff09; 动态数组 在编译时不会为其定制尺寸&#xff0c;而是在仿真运行时来确定动态数组一开始为空&#xff0c;需要使用new[ ]来为其分配空间声明方式 int dyn[],d2[]; //声明了两个动态数组…

git之远程操作

一.分布式版本控制系统 分布式版本控制系统通常也有⼀台充当“中央服务器”的电脑&#xff0c;但这个服务器的作⽤仅仅是⽤来⽅便“交换”⼤家的修改&#xff0c;没有它⼤家也⼀样⼲活&#xff0c;只是交换修改不⽅便⽽已。有了这个“中央服务器”的电脑&#xff0c;这样就不怕…