Windows下安装Sqoop

Windows下安装Sqoop

  • 一、Sqoop简介
  • 二、Sqoop安装
    • 2.1、Sqoop官网下载
    • 2.2、Sqoop网盘下载
    • 2.3、Sqoop安装(以version:1.4.7为例)
      • 2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录
      • 2.3.2、新增环境变量 SQOOP_HOME
      • 2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin
      • 2.3.4、验证 Sqoop 是否安装成功:sqoop version
      • 2.3.5、问题处理(找不到或无法加载主类 org.apache.sqoop.Sqoop)
        • 2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理
          • 2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
            • 2.3.5.1.1.1、官网下载
            • 2.3.5.1.1.2、网盘下载
          • 2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
          • 2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中
      • 2.3.6、重新验证 Sqoop 是否安装成功:sqoop version

一、Sqoop简介

1.1、Sqoop是什么
Sqoop是一个用于Hadoop和结构化数据存储(如关系型数据库)之间进行高效传输大批量数据的工具。
它包括以下两个方面:
1.1.1、​可以使用Sqoop将数据从关系型数据库管理系统(如MySql)导入到Hadoop系统(如HDFS、Hive、HBase)中。
1.1.2、将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)。
1.2、底层实现原理
​ Sqoop的核心设计思想是利用MapReduce加快数据传输速度。也就是说Sqoop的导入和导出功能是通过基于Map Task(只有map)的MapReduce作业实现的。所以它是一种批处理方式进行数据传输,难以实现实时的数据进行导入和导出。
1.3、特点
优点:它可以将跨平台的数据进行整合。
缺点:它不是很灵活。
1.4、Sqoop的重要的几个关键词
import :从关系型数据库到Hadoop
export :从Hadoop到关系型数据库。
1.5、主要执行操作

Mysql-->HDFS:import
Mysql-->Hive:import
Mysql-->HBase:import
HDFS-->Mysql:export
Hive-->Mysql:export

二、Sqoop安装

本篇以 version:1.4.7 为例来演示Sqoop的安装步骤。

2.1、Sqoop官网下载

官网下载地址:http://archive.apache.org/dist/sqoop/
下载:sqoop-1.4.7.tar.gz 这个文件
在这里插入图片描述

2.2、Sqoop网盘下载

或者网盘下载:https://pan.baidu.com/s/1hL9ZuBxCxynRt-WCs6m6lQ?pwd=yyds
下载:sqoop-1.4.7.tar.gz 这个文件

2.3、Sqoop安装(以version:1.4.7为例)

2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录

解压 sqoop-1.4.7.tar.gzD:\bigdata\sqoop\1.4.7
在这里插入图片描述

2.3.2、新增环境变量 SQOOP_HOME

在这里插入图片描述

2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin

在这里插入图片描述

2.3.4、验证 Sqoop 是否安装成功:sqoop version

管理员权限打开cmd命令窗口。输入:

sqoop version

在这里插入图片描述
发现报错:找不到或无法加载主类 org.apache.sqoop.Sqoop

2.3.5、问题处理(找不到或无法加载主类 org.apache.sqoop.Sqoop)

2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理

解决办法:下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
2.3.5.1.1.1、官网下载

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 下载地址:http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
在这里插入图片描述

2.3.5.1.1.2、网盘下载

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 网盘下载:https://pan.baidu.com/s/1Pb-esaxv2Rj9CwfqOwm9tA?pwd=yyds

2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz:
在这里插入图片描述
可以看到解压目录中有:sqoop-1.4.6.jar , 这个文件

2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中

将解压后的 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib
在这里插入图片描述

2.3.6、重新验证 Sqoop 是否安装成功:sqoop version

在这里插入图片描述
至此,Windows下安装Sqoop,安装成功!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/31486.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Nginx负载均衡(重点)

正向代理 部署正向代理 server { listen 80; server_name localhost; #charset koi8-r; #access_log logs/host.access.log main; location / { root html; index index.html index.htm; proxy_pass http://20.0.0.60:80…

Apple AudioToolbox 之 音频编解码(AudioConverterRef)

今天记录是的是 使用 AudioToolbox 框架 使用 AudioConverterRef 工具进行本地音频文件的编码和解码。 本文打仓库代码为: JBLocalAudioFileConvecter 分别实现了: flac,mp3等其他音频编码文件 转换成 pcm文件。 (解码)pcm文件 …

macos搭建appium-iOS自动化测试环境

目录 准备工作 安装必需的软件 安装appium 安装XCode 下载WDA工程 配置WDA工程 搭建appiumwda自动化环境 第一步:启动通过xcodebuild命令启动wda服务 分享一下如何在mac电脑上搭建一个完整的appium自动化测试环境 准备工作 前期需要准备的设备和账号&…

javabean 中临时字段的处理:@Transient

当我们使用spring data jpa开发的时候,会将实体类中的成员变量与表中的字段一一对应,当我们在实体类中加上一个数据库表没有对应字段的成员变量的时候,此时我们只要在这个成员变量上加上注解Transient Transient表示该属性并非一个到数据库表…

Linux: debug: systemtap: 如何调用内核函数

https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html-single/systemtap_beginners_guide/index#mainsect-network 从这个实例可以看到,可以直接调用内核的代码。但是对于inline的就不行了,因为根本就找不到其代码地址。 probe kernel.function…

Mask DINO环境配置

1. 准备工作 cuda11.3cudnncuda11对应最新版即可pytorch1.10.1torchvision0.11.2torchaudio0.10.1 2. 环境 conda create -n env_name python3.9 conda activate env_name conda install pytorch1.10.1 torchvision0.11.2 torchaudio0.10.1 cudatoolkit11.3 -c pytorch -c c…

【深度学习笔记】TensorFlow 常用函数

TensorFlow 提供了一些机器学习中常用的数学函数,并封装在 Module 中,例如 tf.nn Module 提供了神经网络常用的基本运算,tf.math Module 则提供了机器学习中常用的数学函数。本文主要介绍 TensorFlow 深度学习中几个常用函数的定义与用法&…

机器学习---监督学习和非监督学习

根据训练期间接受的监督数量和监督类型,可以将机器学习分为以下四种类型:监督学习、非监督学习、半监督学习和强化学习。 监督学习 在监督学习中,提供给算法的包含所需解决方案的训练数据,成为标签或标记。 简单地说,…

IoTDB 小白“踩坑”心得:入门安装部署篇

小伙伴介绍! 大家好,我是 zai,一个基本功不那么扎实、没有太多经验的大学生。我刚刚加入社区,接触 IoTDB,目前仍处于学习阶段,所以我会跟大家分享我学习过程中踩过的一些雷,以及对应的解决办法&…

网络资源利用最大化:爬虫带宽优化解决方案

大家好,作为一名专业的爬虫程序员,我们都知道在爬取大量数据的过程中,网络带宽是一个十分宝贵的资源。如果我们不合理地利用网络带宽,可能会导致爬虫任务的效率低下或者不稳定。今天,我将和大家分享一些优化爬虫带宽利…

【2023年11月第四版教材】《第2章-信息技术发展(第一部分)》

《第2章-信息技术发展(第一部分)》 章节说明1 计算机软硬件2 计算机网络2.1 网络的作用范围2.2 OSI模型2.3 广域网协议2.4 网络协议2.5 TCP/IP2.6 软件定义网络(SDN)2.7 第五代移动通信技术 章节说明 大部分为新增内容&#xff0…

打印沙漏()

本题要求你写个程序把给定的符号打印成沙漏的形状。例如给定17个“*”,要求按下列格式打印 ************ *****所谓“沙漏形状”,是指每行输出奇数个符号;各行符号中心对齐;相邻两行符号数差2;符号数先从大到小顺序递…

超低功耗在智能门锁行业的应用

1. 名词解释 在本体上以电子方式识别、处理人体生物特征信息、电子信息、网络通讯信息等并控制机械执行机构实施启闭的门锁”叫电子智能门锁。通俗地理解,智能门锁是电子信息技术与机械技术相结合的全新的锁具品类,是在传统机械锁基础上升级改进的&…

【结构型设计模式】C#设计模式之桥接模式

题目:设计一个桥接模式来实现图形和颜色之间的解耦。 解析: 桥接模式是一种结构型设计模式,它将抽象部分与实现部分分离,使它们可以独立变化。在这个例子中,抽象部分是图形(如圆形、正方形)&am…

SpringBoot运行流程源码分析------阶段二(run方法核心流程)

run方法核心流程 在分析和学习整个run方法之前,我们可以通过以下流程图来看下SpringApplication调用的run方法处理的核心操作包含哪些。 从上面的流程图中可以看出,SpringApplication在run方法中重点做了以下几步操作 获取监听器和参数配置打印banner…

.NET6使用SqlSugar操作数据库

1.//首先引入SqlSugarCore包 2.//新建SqlsugarSetup类 public static class SqlsugarSetup{public static void AddSqlsugarSetup(this IServiceCollection services, IConfiguration configuration,string dbName "ConnectString"){SqlSugarScope sqlSugar new Sq…

函数的递归

1、什么是递归? 程序调用自身的编程技巧称为递归。 递归作为一种算法在程序设计语言中广泛应用。一个过程或函数在其定义或说明中有直接或间接调用自身的一种方法,它通常把一个大型复杂的问题层层转化为一个与原问题相似的规模较小的问题来求解&#x…

CM11 链表分割 题解

题目描述: 链表分割_牛客题霸_牛客网 (nowcoder.com) 现有一链表的头指针 ListNode* pHead,给一定值x,编写一段代码将所有小于x的结点排在其余结点之前,且不能改变原来的数据顺序,返回重新排列后的链表的头指针。 题解…

记录 pl-table 表格头部文字抖动的问题

本文记录一个实际开发中 pl-table 的问题,项目比较老,vue还是2.x版本。pl-table 是基于 el-table 改造过来的表格展示组件,已经停止更新。 问题描述 当 data 内数据动态改变时,pl-table 的表头部分,列的文字会左右抖动…

工业4.0:欢迎来到智能制造

制造业正在经历一场被称为“工业4.0”的全新技术革命,这场革命将数字化、网络化、智能化和自动化技术融合在一起,旨在打造高质、高效、高产且可持续的智能工厂。工业4.0将彻底改变产品制造的方式,颠覆我们对制造业的传统认知。 什么是工业4.…