Big Data Tools插件

一些介绍

在Jetbrains的产品中,均可以安装插件,其中:Big Data Tools插件可以帮助我们方便的操作HDFS,比如 IntelliJ IDEA(Java IDE) PyCharm(Python IDE) DataGrip(SQL IDE) 均可以支持Bigdata Tool插件。

 下面以DataGrip(PyCharm、IDEA相同)为例

安装插件

如图,在设置->Plugins(插件)-> Marketplace(市场),搜索Big Data Tools,点击Install安装即可

 

 基础设置

 需要对Windows系统做一些基础设置,配合插件使用  

解压Hadoop(Linux版本的,解压时报错正常现象不必理会)安装包到Windows系统,如解压到:D:\develop\hadoop\hadoop-3.3.4

设置$HADOOP_HOME环境变量指向:D:\develop\hadoop\hadoop-3.3.4

hadoop.dll    https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dllicon-default.png?t=N7T8https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dll

winutils.exe  https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exeicon-default.png?t=N7T8https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exe

自行下载,

将hadoop.dll和winutils.exe放入$HADOOP_HOME/bin中

打开插件

 

 

 或者如图指定Windows上解压的Hadoop安装文件夹的etc/hadoop目录也可以

 

 使用

 现在就可以以图形化的形式使用了

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/38550.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【RabbitMQ问题踩坑】RabbitMQ设置手动ack后,消息队列有多条消息,只能消费一条,就不继续消费了,这是为什么 ?

现象:我发送5条消息到MQ队列中,同时,我在yml中设置的是需要在代码中手动确认,但是我把代码中的手动ack给关闭了,会出现什么情况? yml中配置,配置需要在代码中手动去确认消费者消费消息成功&…

教学技能大赛包括哪些内容

在教育的广阔天地里,教师的角色至关重要。他们不仅是知识的传递者,更是学生心灵成长的引导者。那么,当教师们聚集一堂,参加一场教学技能大赛时,会有哪些内容成为他们展示自我、互相学习的舞台呢? 教学技能大…

盛科7132版本编译记录

7132编译总结: 1.新增具有root权限的用户,rootfs系统编译时不能使用root,否则很麻烦,编译出来后命令使用会出问题 useradd zhuwei_new passwd zhuwei_new usermod -aG wheel zhuwei_new nano /etc/pam.d/su 找到以下…

为什么要禁用透明大页面

在安装CDH(Clouderas Distribution Including Apache Hadoop)环境时,禁用透明大页面(Transparent HugePages,THP)是一个推荐的系统优化步骤。以下是禁用透明大页面的一些原因: 1. **性能影响**…

瓦罗兰特报错57/error code59/报错903的解决办法

《无畏契约》在注重产品设计之预,也注重世界观、英雄性格的塑造,里面的英雄灵感来源于不同的国家和地区,有非常本土化的特色,每个英雄的性格人设非常鲜明。这些人物特色让这款游戏有了新的玩法。很多玩家都进入到游戏体验。然后有…

SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution

CVPR2024 香港理工大学&OPPO&bytedancehttps://github.com/cswry/SeeSR?tabreadme-ov-file#-licensehttps://arxiv.org/pdf/2311.16518#page5.80 问题引入 因为有些LR退化情况比较严重,所以超分之后的结果会出现语义的不一致的情况,所以本文训…

微信小程序实现双向数据绑定

微信小程序实现了类似Vue.js的双向数据绑定机制,允许你在WXML模板中绑定数据源,并在数据变化时自动更新视图。尽管其内部实现与Vue.js不同,但对开发者而言,使用体验是相似的。 如何在微信小程序中实现双向数据绑定: 定…

Android SurfaceFlinger——系统动画服务启动(十四)

在了解了 SurfaceFlinger、HWC、OpenGL ES 和 EGL 等相关概念和基础信息后,我们通过系统动画的调用流程引入更多的内容。 一、解析init.rc 开机就启动进程,肯定就要从 rc 文件开始。负责开机动画的进程是 bootanimation。 1、bootanim.rc 源码位置:/frameworks/base/cmds…

vue中避免多次请求字典接口

vuex缓存所有字典项 背景vuex管理所有字典项调用字典接口处理字典项数据的filter页面中使用字典 背景 每次用到字典都需要通过对应的字典type调用一次字典接口,当一个页面用到字典项很多时,接口请求炒鸡多,会导致接口响应超时。 本篇文章改为…

Python入门 2024/7/1

目录 第一个程序hello world 数据类型 注释 变量 用type类型查看数据类型 ​编辑 数据类型转换 ​编辑 标识符 运算符 字符串的三种定义方式 字符串拼接 ​编辑​编辑 字符串格式化 第一个程序hello world 区分c和python c是printf python是print print("h…

图论·Bellman_ford算法

无负权回路例题 带负权回路例题 Bellman_ford算法 适用条件 单源最短路径存在负权值边检测负权回路 核心操作 松弛&#xff1a;对每条边与源点的距离重新计算 if (dist[item.v1] ! INT_MAX && dist[item.v1] item.w < dist[item.v2]) {dist[item.v2] dist[i…

晶振在硬件系统中的位置选择与优化策略

在现代电子设备中&#xff0c;晶振扮演着至关重要的角色&#xff0c;它们提供稳定且精确的时钟信号&#xff0c;是系统心脏般的存在。然而&#xff0c;晶振的性能不仅取决于其本身的质量&#xff0c;还与它在硬件系统中的位置选择紧密相关。一个恰当的位置能够最大限度地减少外…

基于K线最短路径构造的非流动性因子

下载地址https://download.csdn.net/download/SuiZuoZhuLiu/89492221

软件工程简答

什么是软件工程 软件工程&#xff1a;将系统化的、规范的、可量化的方法应用于软件的开发、运行和维护&#xff0c;即将工程化方法应用于软件。支持软件工程的根基在于质量关注点。 软件工程的基础是过程层&#xff0c;将各个技术层次结合在一起。方法层为构建软件提供技术上的…

springboot调用wsdl接口

springboot调用wsdl接口 maven依赖 <!--xml报文数据--><dependency><groupId>com.fasterxml.jackson.dataformat</groupId><artifactId>jackson-dataformat-xml</artifactId><version>2.9.8</version></dependency><…

nodejs--【Express基本使用】

10 【Express基本使用】 https://www.expressjs.com.cn/ 基于 Node.js 平台&#xff0c;快速、开放、极简的 web 开发框架。 1.Express的安装方式 Express的安装可直接使用npm包管理器上的项目&#xff0c;在安装npm之前可先安装淘宝镜像&#xff1a; npm install -g cnpm -…

Mysql 对重复数据筛选过滤

在日常开发工作中常会遇到要对数据库中的重复数据做筛选的操作需求&#xff0c;可以考虑使用排序函数&#xff08;ROW_NUMBER()&#xff09; 第一种写法&#xff1a;row_number() over(partition by 一个或多个分组列 order by 一个或多个排序列 asc/desc) as 别名 //如果不写a…

PostgreSQL 数据库设计与管理(四)

1. 数据库设计原则 1.1 规范化 规范化是组织数据库结构的一种方法&#xff0c;旨在减少数据冗余并提高数据完整性。常用的规范化范式包括&#xff1a; 第一范式&#xff08;1NF&#xff09;&#xff1a; 确保每列都是原子的&#xff0c;不可再分。第二范式&#xff08;2NF&a…

领先Intel 旗舰60%,AMD锐龙9000系桌面CPU彻底杀疯了

早在月初台北国际电脑展上&#xff0c;Intel 公布了下一代低功耗移动端处理器 Lunar Lake。 也就是第二代移动版酷睿 Ultra。 而作为叫板王&#xff0c;AMD 丝毫不怂&#xff0c;不但掏出了 Ryzen AI 300 移动端处理器应对。 还抢在 Intel 之前带来了全新一代 Zen 5 架构 Ryz…

前端vue项目升级nodejs后无法运行了

问题描述&#xff1a; 运行、打包都正常的vue项目&#xff0c;在将nodejs升级到v20.14.0后&#xff0c;均报错了&#xff1a; Error: error:0308010C:digital envelope routines::unsupported opensslErrorStack: [ error:03000086:digital envelope routines::initializ…