用户行为分析遇到的问题-ubantu16,hadoop3.1.3

用户行为分析传送门

我的版本
ubantu16
hadoop 3.1.3
habse 2.2.2
hive3.1.3
zookeeper3.8.3
sqoop 1.46/1.47 我sqoop把MySQL数据往hbase导数据时候有问题

重磅：大数据课程实验案例：网站用户行为分析（免费共享）

用户行为分析-小数据集 - CSDN App

手把手教你做厦门大学用户行为分析-小数据集-操作视频： https://b23.tv/yJ94TV1

Hmaster节点老掉：配置zookeeper

密码相关的问题

第一个是root账户的密码，ubantu是没给root设置密码的，那怎么且换root用户呢

sudo -i #此时就已经切换到root用户了
passwd root #设置root账户密码

第二个问题是MySQL root的密码

sudo mysql #进入MySQL
#登录进去之后
use mysql;ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '你的密码';
flush privileges;

ubuntu22.04 密钥存储在过时的 trusted.gpg 密钥环中

遇到缺密钥的情况：

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys  这里换成缺的那个密钥

我的配置：

~/.bashrc

export FLUME_HOME=/usr/local/flume
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$PATH:$FLUME_HOME/binexport SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SBT_HOME/bin:$SQOOP_HOME/bin
export CLASSPATH=$CLASSPATH:$SQOOP_HOME/lib
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_212
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=${JAVA_HOME}/bin:$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/usr/local/hbase/bin:export HBASE_HOME=/usr/local/hbaseexport ZOOKEEPER_HOME=/usr/local/zookeeper-3.8.3-bin
export PATH=$PATH:$ZOOKEEPER_HOME/binexport PIG_HOME=/usr/local/pig
export PATH=$PATH:/usr/local/pig/bin

core-site.xml

<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>dfs.http.address</name><value>0.0.0.0:50070</value></property>
</configuration>

hdfs-site.xml

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>Master:50090</value></property><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property><property><name>dfs.namenode.http-address</name><value>Master:50070</value></property>
</configuration>

yarn-site.xml

<?xml version="1.0"?>
<configuration><property><name>yarn.resourcemanager.hostname</name><value>Master</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.application.classpath</name><value>/usr/local/hadoop/etc/hadoop:/usr/local/hadoop/share/hadoop/common/lib/*:/usr/local/hadoop/share/hadoop/common/*:/usr/local/hadoop/share/hadoop/hdfs:/usr/local/hadoop/share/hadoop/hdfs/lib/*:/usr/local/hadoop/share/hadoop/hdfs/*:/usr/local/hadoop/share/hadoop/mapreduce/lib/*:/usr/local/hadoop/share/hadoop/mapreduce/*:/usr/local/hadoop/share/hadoop/yarn:/usr/local/hadoop/share/hadoop/yarn/lib/*:/usr/local/hadoop/share/hadoop/yarn/*</value></property>
</configuration>

mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.map.memory.mb</name><value>1536</value>
</property>
<property><name>mapreduce.map.java.opts</name><value>-Xmx1024M</value>
</property>
<property><name>mapreduce.reduce.memory.mb</name><value>3072</value>
</property>
<property><name>mapreduce.reduce.java.opts</name><value>-Xmx2560M</value>
</property></configuration>

步骤二

问题1

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
请添加图片描述

问题2

hive插入数据报错

问题3
请添加图片描述
原因：
在这里插入图片描述

把hive/lib下的guava-19.0.jar 删掉
将hadoop\share\hadoop\common\lib 下的包复制到hive\lib

步骤三

问题1
请添加图片描述
问题2
ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 解决办法
ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 解决办法

步骤4

问题1：跟着教程有时候安不上RMySQL,实在没办法手动导入吧2
R无法安装RMySQL程序包解决方案
问题2：安不上ggplot2

R中命令行安装ggplot2不成功
安装一个rstudio在rstudio里面找install,手动安

ubantu16如何安装R3.6

我的source.list,换成我的源，把原来的改个名，万一出错了还能改回来

deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb https://cloud.r-project.org/bin/linux/ubuntu xenial-cran35/

安装R3.6以及Rstudio：

---------r3.6的安装--------
#第一步下载公钥
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 51716619E084DAB9
#更新软件源
sudo apt-get update
#安装
sudo apt install --no-install-recommends r-base
-------rstudio的安装---------
sudo apt-get install gdebi-corewget https://download2.rstudio.org/rstudio-server-1.0.136-amd64.debsudo gdebi rstudio-server-1.0.136-amd64.debrstudio-server start

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/234918.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

5G+云渲染技术：将如何快速推进XR和元宇宙？

5G+云渲染技术：将如何快速推进XR和元宇宙？

XR&#xff08;扩展现实&#xff09;领域正在以惊人的速度增长。目前&#xff0c;到 2024 年&#xff0c;一些专家表示这个行业的价值将达到 3000 亿美元。 这个行业发展如此迅速的部分原因是 XR 将在商业环境中的带来巨大利益。近年来&#xff0c;很多企业遇到了将增强现实和…
阅读更多...
RabbitMQ不公平分发问题分析及问题解决

RabbitMQ不公平分发问题分析及问题解决

1.不公平分发 1.1 不公平分发策略是什么&#xff1f; 在 RabbitMQ 中&#xff0c;不公平分发&#xff08;Unfair Dispatch&#xff09;是指当多个消费者&#xff08;Consumers&#xff09;同时订阅同一个队列&#xff08;Queue&#xff09;时&#xff0c;消息的分发机制是不公…
阅读更多...
I.MX6ULL_Linux_驱动篇(48)linux I2C驱动

I.MX6ULL_Linux_驱动篇(48)linux I2C驱动

I2C 是很常用的一个串行通信接口&#xff0c;用于连接各种外设、传感器等器件。本章我们来学习一下如何在 Linux 下开发 I2C 接口器件驱动&#xff0c;重点是学习 Linux 下的 I2C 驱动框架&#xff0c;按照指定的框架去编写 I2C 设备驱动。本章同样以 I.MX6U-ALPHA 开发板上的 …
阅读更多...
Java数据结构-模拟ArrayList集合思想，手写底层源码(1)，底层数据结构是数组，编写add添加方法，正序打印和倒叙打印

Java数据结构-模拟ArrayList集合思想，手写底层源码(1)，底层数据结构是数组，编写add添加方法，正序打印和倒叙打印

package com.atguigu.structure; public class Demo02_arrayList {public static void main(String[] args) {MyGenericArrayListV1 arrayListV1 new MyGenericArrayListV1();//arr.add(element:100,index:1);下标越界&#xff0c;无法插入//初始化&#xff08;第一次添加&…
阅读更多...
Java 栈和队列的交互实现

Java 栈和队列的交互实现

文章目录 队列和栈的区别一.用队列模拟实现栈1.1入栈1.2出栈1.3返回栈顶元素1.4判断栈是否为空 二.用栈模拟实现队列2.1 入队2.2出队2.3peek2.4判断队列是否为空 三.完整代码3.1 队列模拟实现栈3.2栈模拟实现队列 队列和栈的区别 栈和队列都是常用的数据结构&#xff0c;它们的…
阅读更多...
令人惊叹的代码技巧

令人惊叹的代码技巧

在编程世界中&#xff0c;有一些令人惊叹的代码技巧和巧妙的实现方式。以下是一些我见过的令人印象深刻的代码技巧&#xff1a; 函数式编程魔法&#xff1a; 使用函数式编程的一些特性&#xff0c;比如高阶函数、匿名函数和Lambda表达式&#xff0c;可以使代码更为简洁、易读。…
阅读更多...
飞天使-k8s知识点1-kubernetes架构简述

飞天使-k8s知识点1-kubernetes架构简述

文章目录 名词功能要点 k8s核心要素CNCF 云原生框架简介k8s组建介绍 名词 CI 持续集成, 自动化构建和测试&#xff1a;通过使用自动化构建工具和自动化测试套件&#xff0c;持续集成可以帮助开发人员自动构建和测试他们的代码。这样可以快速检测到潜在的问题&#xff0c;并及早…
阅读更多...
揭秘Spark学习框架网站：让你轻松掌握大数据处理神器！

揭秘Spark学习框架网站：让你轻松掌握大数据处理神器！

介绍&#xff1a;Apache Spark是一个开源的大数据处理框架&#xff0c;它致力于实现高速、易用和复杂分析。Spark最初由加州大学伯克利分校的AMPLab于2009年开始开发&#xff0c;并于2010年成为Apache的开源项目之一。由于其出色的性能表现与丰富的功能特性&#xff0c;Spark已…
阅读更多...
【计算机四级（网络工程师）笔记】操作系统概论

【计算机四级（网络工程师）笔记】操作系统概论

目录 一、OS的概念 1.1OS的定义 1.2OS的特征 1.2.1并发性 1.2.2共享性 1.2.3随机性 1.3研究OS的观点 1.3.1软件的观点 1.3.2资源管理器的观点 1.3.3进程的观点 1.3.4虚拟机的观点 1.3.5服务提供者的观点 二、OS的分类 2.1批处理操作系统 2.2分时操作系统 2.3实时操作系统 2.4嵌…
阅读更多...
SpringBoot之IOCDI的详细解析

SpringBoot之IOCDI的详细解析

3.3.2 IOC详解 通过IOC和DI的入门程序呢&#xff0c;我们已经基本了解了IOC和DI的基础操作。接下来呢&#xff0c;我们学习下IOC控制反转和DI依赖注入的细节。 3.3.2.1 bean的声明 前面我们提到IOC控制反转&#xff0c;就是将对象的控制权交给Spring的IOC容器&#xff0c;由…
阅读更多...
c语言编写http服务器（Linux下运行）

c语言编写http服务器（Linux下运行）

参考文章&#xff1a;https://blog.csdn.net/baixingyubxy/article/details/125964986?spm1001.2014.3001.5506 上面是详细讲解&#xff0c;我这篇是总结了他的代码&#xff0c;因为他没给整体代码 所有代码&#xff1a; #include <stdio.h> #include <stdlib.h&g…
阅读更多...
爬虫入门--爬取电影TOP250-附源码解析

爬虫入门--爬取电影TOP250-附源码解析

爬取电影TOP250 1 知识小课堂1.1 什么是爬虫1.2 爬虫能做什么 2 代码解析2.1 运行环境2.2 过程解析2.2.1 第一步&#xff1a;引入两个模块2.2.2 找到网址2.2.3 拉去页面全内容 2.2.42.3 完整代码 1 知识小课堂 1.1 什么是爬虫 爬虫&#xff0c;也叫网络蜘蛛&#xff0c;如果把…
阅读更多...
02 ModBus TCP

02 ModBus TCP

目录 一、ModBus TCP 一帧数据格式 二、0x01 读线圈状态 三、0x03读保持寄存器 四、0x05写单个线圈 五、0x06 写单个寄存器 六、0x0f写多个线圈 七、0x10&#xff1a;写多个保持寄存器 八、通信过程 九、不同modbus通信模式的应用场景 一、ModBus TCP 一帧数据格式 其…
阅读更多...
图神经网络 （GNN） 概述

图神经网络 （GNN） 概述

GNN 作者 with DALLE 3 一、说明 神经网络是受人脑工作启发的计算模型&#xff0c;能够从复杂的非结构化数据&#xff08;如图像、文本、音频和视频&#xff09;中学习。然而&#xff0c;还有许多其他类型的数据无法用传统的神经网络轻松表示&#xff0c;例如那些具有图形结构的…
阅读更多...
基于YOLOv8的结核病预测系统设计与实现

基于YOLOv8的结核病预测系统设计与实现

一、项目背景 本系统的目的是通过痰液图像来检测出结核杆菌的携带者&#xff0c;及时采取治疗措施&#xff0c;在病情早期对其进行相关治疗减少结核病的传播。程序使用的样本是经过染色处理可以使得结核杆菌在显微镜拍摄的医学图像&#xff0c;通过检测医学图像中的结核杆菌诊…
阅读更多...
Android Canvas状态save与restore，Kotlin

Android Canvas状态save与restore，Kotlin

Android Canvas状态save与restore&#xff0c;Kotlin private fun f1() {val bitmap BitmapFactory.decodeResource(resources, R.mipmap.pic).copy(Bitmap.Config.ARGB_8888, true)val canvas Canvas(bitmap)val paint Paint(Paint.ANTI_ALIAS_FLAG)paint.color Color.RED…
阅读更多...
初始redis

初始redis

目录 前言&#xff1a; 1.盛赞redis 2 redis特性 3.redis的典型应用场景 4.安装并启动redis 前言&#xff1a; 本章将带领读者进入Redis的世界&#xff0c;了解它的前世今生、众多特性、典型应用场景、安装配置、如何用好等&#xff0c;最后会对Redis发展过程中的重要版本…
阅读更多...
EMNLP 2023 亮点回顾：大模型时代下的 NLP 研究

EMNLP 2023 亮点回顾：大模型时代下的 NLP 研究

作为自然语言处理&#xff08;NLP&#xff09;领域的顶级盛会&#xff0c;EMNLP 每年都成为全球研究者的关注焦点。2023 年的会议在新加坡举行&#xff0c;聚集了数千名来自世界各地的专家学者&#xff0c;也是自疫情解禁以来&#xff0c;中国学者参会最多的一次。巧的是&#…
阅读更多...
appium工具相关

appium工具相关

一、appium基本介绍 1、appium 基本介绍 定义&#xff1a;appium 就是一款非常流行和好用的第三方工具&#xff0c;通过该工具我们可以配合 python 脚本实现 IOS / Android 多平台的APP 自动化测试。作用&#xff1a;在编写测试脚本的PC机和运行 APP 的真机或设备之前充当一个…
阅读更多...
CSS操纵元素的禁用和启用

CSS操纵元素的禁用和启用

通常表单控件都会有属性readonly、disabled对元素进行只读、禁用等操作。 而有时候我们想要div也达到类似效果&#xff0c;可以用CSS样式pointer-events: none进行控制。 科普知识 CSS样式的pointer-events: none用于控制一个元素能否响应鼠标操作。当该属性设置为none时&am…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023