Windows下安装Sqoop

Windows下安装Sqoop

  • 一、Sqoop简介
  • 二、Sqoop安装
    • 2.1、Sqoop官网下载
    • 2.2、Sqoop网盘下载
    • 2.3、Sqoop安装(以version:1.4.7为例)
      • 2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录
      • 2.3.2、新增环境变量 SQOOP_HOME
      • 2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin
      • 2.3.4、验证 Sqoop 是否安装成功:sqoop version
      • 2.3.5、问题处理(找不到或无法加载主类 org.apache.sqoop.Sqoop)
        • 2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理
          • 2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
            • 2.3.5.1.1.1、官网下载
            • 2.3.5.1.1.2、网盘下载
          • 2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
          • 2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中
      • 2.3.6、重新验证 Sqoop 是否安装成功:sqoop version

一、Sqoop简介

1.1、Sqoop是什么
Sqoop是一个用于Hadoop和结构化数据存储(如关系型数据库)之间进行高效传输大批量数据的工具。
它包括以下两个方面:
1.1.1、​可以使用Sqoop将数据从关系型数据库管理系统(如MySql)导入到Hadoop系统(如HDFS、Hive、HBase)中。
1.1.2、将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)。
1.2、底层实现原理
​ Sqoop的核心设计思想是利用MapReduce加快数据传输速度。也就是说Sqoop的导入和导出功能是通过基于Map Task(只有map)的MapReduce作业实现的。所以它是一种批处理方式进行数据传输,难以实现实时的数据进行导入和导出。
1.3、特点
优点:它可以将跨平台的数据进行整合。
缺点:它不是很灵活。
1.4、Sqoop的重要的几个关键词
import :从关系型数据库到Hadoop
export :从Hadoop到关系型数据库。
1.5、主要执行操作

Mysql-->HDFS:import
Mysql-->Hive:import
Mysql-->HBase:import
HDFS-->Mysql:export
Hive-->Mysql:export

二、Sqoop安装

本篇以 version:1.4.7 为例来演示Sqoop的安装步骤。

2.1、Sqoop官网下载

官网下载地址:http://archive.apache.org/dist/sqoop/
下载:sqoop-1.4.7.tar.gz 这个文件
在这里插入图片描述

2.2、Sqoop网盘下载

或者网盘下载:https://pan.baidu.com/s/1hL9ZuBxCxynRt-WCs6m6lQ?pwd=yyds
下载:sqoop-1.4.7.tar.gz 这个文件

2.3、Sqoop安装(以version:1.4.7为例)

2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录

解压 sqoop-1.4.7.tar.gzD:\bigdata\sqoop\1.4.7
在这里插入图片描述

2.3.2、新增环境变量 SQOOP_HOME

在这里插入图片描述

2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin

在这里插入图片描述

2.3.4、验证 Sqoop 是否安装成功:sqoop version

管理员权限打开cmd命令窗口。输入:

sqoop version

在这里插入图片描述
发现报错:找不到或无法加载主类 org.apache.sqoop.Sqoop

2.3.5、问题处理(找不到或无法加载主类 org.apache.sqoop.Sqoop)

2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理

解决办法:下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
2.3.5.1.1.1、官网下载

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 下载地址:http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
在这里插入图片描述

2.3.5.1.1.2、网盘下载

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 网盘下载:https://pan.baidu.com/s/1Pb-esaxv2Rj9CwfqOwm9tA?pwd=yyds

2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz:
在这里插入图片描述
可以看到解压目录中有:sqoop-1.4.6.jar , 这个文件

2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中

将解压后的 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib
在这里插入图片描述

2.3.6、重新验证 Sqoop 是否安装成功:sqoop version

在这里插入图片描述
至此,Windows下安装Sqoop,安装成功!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/31486.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Nginx负载均衡(重点)

正向代理 部署正向代理 server { listen 80; server_name localhost; #charset koi8-r; #access_log logs/host.access.log main; location / { root html; index index.html index.htm; proxy_pass http://20.0.0.60:80…

Apple AudioToolbox 之 音频编解码(AudioConverterRef)

今天记录是的是 使用 AudioToolbox 框架 使用 AudioConverterRef 工具进行本地音频文件的编码和解码。 本文打仓库代码为: JBLocalAudioFileConvecter 分别实现了: flac,mp3等其他音频编码文件 转换成 pcm文件。 (解码)pcm文件 …

macos搭建appium-iOS自动化测试环境

目录 准备工作 安装必需的软件 安装appium 安装XCode 下载WDA工程 配置WDA工程 搭建appiumwda自动化环境 第一步:启动通过xcodebuild命令启动wda服务 分享一下如何在mac电脑上搭建一个完整的appium自动化测试环境 准备工作 前期需要准备的设备和账号&…

【深度学习笔记】TensorFlow 常用函数

TensorFlow 提供了一些机器学习中常用的数学函数,并封装在 Module 中,例如 tf.nn Module 提供了神经网络常用的基本运算,tf.math Module 则提供了机器学习中常用的数学函数。本文主要介绍 TensorFlow 深度学习中几个常用函数的定义与用法&…

机器学习---监督学习和非监督学习

根据训练期间接受的监督数量和监督类型,可以将机器学习分为以下四种类型:监督学习、非监督学习、半监督学习和强化学习。 监督学习 在监督学习中,提供给算法的包含所需解决方案的训练数据,成为标签或标记。 简单地说,…

IoTDB 小白“踩坑”心得:入门安装部署篇

小伙伴介绍! 大家好,我是 zai,一个基本功不那么扎实、没有太多经验的大学生。我刚刚加入社区,接触 IoTDB,目前仍处于学习阶段,所以我会跟大家分享我学习过程中踩过的一些雷,以及对应的解决办法&…

超低功耗在智能门锁行业的应用

1. 名词解释 在本体上以电子方式识别、处理人体生物特征信息、电子信息、网络通讯信息等并控制机械执行机构实施启闭的门锁”叫电子智能门锁。通俗地理解,智能门锁是电子信息技术与机械技术相结合的全新的锁具品类,是在传统机械锁基础上升级改进的&…

SpringBoot运行流程源码分析------阶段二(run方法核心流程)

run方法核心流程 在分析和学习整个run方法之前,我们可以通过以下流程图来看下SpringApplication调用的run方法处理的核心操作包含哪些。 从上面的流程图中可以看出,SpringApplication在run方法中重点做了以下几步操作 获取监听器和参数配置打印banner…

.NET6使用SqlSugar操作数据库

1.//首先引入SqlSugarCore包 2.//新建SqlsugarSetup类 public static class SqlsugarSetup{public static void AddSqlsugarSetup(this IServiceCollection services, IConfiguration configuration,string dbName "ConnectString"){SqlSugarScope sqlSugar new Sq…

函数的递归

1、什么是递归? 程序调用自身的编程技巧称为递归。 递归作为一种算法在程序设计语言中广泛应用。一个过程或函数在其定义或说明中有直接或间接调用自身的一种方法,它通常把一个大型复杂的问题层层转化为一个与原问题相似的规模较小的问题来求解&#x…

CM11 链表分割 题解

题目描述: 链表分割_牛客题霸_牛客网 (nowcoder.com) 现有一链表的头指针 ListNode* pHead,给一定值x,编写一段代码将所有小于x的结点排在其余结点之前,且不能改变原来的数据顺序,返回重新排列后的链表的头指针。 题解…

工业4.0:欢迎来到智能制造

制造业正在经历一场被称为“工业4.0”的全新技术革命,这场革命将数字化、网络化、智能化和自动化技术融合在一起,旨在打造高质、高效、高产且可持续的智能工厂。工业4.0将彻底改变产品制造的方式,颠覆我们对制造业的传统认知。 什么是工业4.…

MRO工业品采购过程中,采购人员要注意哪些事项

MRO工业品指工厂或企业对其生产和工作设施、设备进行保养、维修,保证其运行所需要的非生产性物料,这些物料可能是用于设备保养、维修的备品备件,也可能是保证企业正常运行的相关设备,耗材等物资,如安全防护、传媒广电、…

(一)创建型设计模式:3、建造者模式(Builder Pattern)

目录 1、建造者模式含义 2、建造者模式的讲解 3、使用C实现建造者模式的实例 4、建造者模式的优缺点 5、建造者模式VS工厂模式 1、建造者模式含义 The intent of the Builder design pattern is to separate the construction of a complex object from its representatio…

检测ChatGPT生成内容的工具经常误报,怪不得OpenAI停用它

​近日,加利福尼亚大学戴维斯分校的学生被指控使用ChaGPT作弊。他的老师指控他在历史考试中使用了ChatGPT,这一指控得到了某生成式内容检测工具的支持。然而,该名学生坚决否认这一指控,他通过提供在线文档的编辑日志为自己洗清了嫌…

Git仓关联多个远程仓路径

前言 Git仓如果需要将代码push到多个仓,常用的做法是添加多个远程仓路径,然后分别push。这样虽然可以实现目的,但是需要多次执行push指令,很麻烦。 本文介绍关联多个远程仓路径且执行一次push指令的方法:git remote …

【Docker】Docker私有仓库的使用

目录 一、搭建私有仓库 二、上传镜像到私有仓库 三、从私有仓库拉取镜像 一、搭建私有仓库 首先我们需要拉取仓库的镜像 docker pull registry 然后创建私有仓库容器 docker run -it --namereg -p 5000:5000 registry 这个时候我们可以打开浏览器访问5000端口看是否成功&…

微服务与Nacos概述-3

流量治理 在微服务架构中将业务拆分成一个个的服务,服务与服务之间可以相互调用,但是由于网络原因或者自身的原因,服务并不能保证服务的100%可用,如果单个服务出现问题,调用这个服务就会出现网络延迟,此时…

Redis_主从复制

8. 主从复制 8.1 简介 主从库采用读写分离的方式 读操作:主库、从库都可以处理写操作:首先写到主库执行,然后再将主库同步给从库。 实现读写分离,性能扩展 容灾快速恢复 8.2 主从复制步骤 创建一个目录 ,在root下创建一个m…

hive on tez资源控制

sql insert overwrite table dwintdata.dw_f_da_enterprise2 select * from dwintdata.dw_f_da_enterprise; hdfs文件大小数量展示 注意这里文件数有17个 共计321M 最后是划分为了21个task 为什么会有21个task?不是128M 64M 或者说我这里小于128 每个文件一个map…