ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理

 进入VirtuakBox官网,网址链接:Oracle VM VirtualBoxicon-default.png?t=N7T8https://www.virtualbox.org/

 网页连接:Ubuntu Virtual Machine Images for VirtualBox and VMwareicon-default.png?t=N7T8https://www.osboxes.org/ubuntu/

将下发的ds_db01.sql数据库文件放置mysql中

12、编写Scala代码,使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变,同时添加静态分区,分区字段为etl_date,类型为String,且值为当前日期的前一天日期(分区字段格式为yyyyMMdd)。使用hive cli执行show partitions ods.user_info命令,将结果截图粘贴至答案表.docx中对应的任务序号下;
13、 编写Scala代码,使用Spark将MySQL的ds_db01库中表sku_info的全量数据抽取到Hive的ods库中表sku_info。字段名称、类型不变,同时添加静态分区,分区字段为etl_date,类型为String,且值为当前日期的前一天日期(分区字段格式为yyyyMMdd)。使用hive cli执行show partitions ods.sku_info命令,将结果截图粘贴至答案表.docx中对应的任务序号下;

软件名称

版本

ubuntu

18.04    64 位

Hadoop:hadoop-3.1.3.tar.gz

3.1.3

Jdk:jdk-8u212-linux-x64.tar.gz

1.8

Spark:spark-3.1.1-bin-hadoop3.2.tgz

3.1.1

Hive:apache-hive-3.1.2-bin.tar.gz

3.1.2

MySQL

5.7

Scala:scala-2.12.x.tgz

2.12

Vue.js

3.2

ECharts

5.1

JDBC驱动:   mysql-connector-java-5.1.37.jar

集成开发工具:IDEA 2022 社区版

一、下载并安装virtualbox

VirtualBox是功能强大的x86和AMD64/Intel64虚拟化企业和家庭使用的产品。VirtualBox不仅是面向企业客户的功能极其丰富的高性能产品,它还是唯一一个根据GNU通用公共许可证(GPL)第3版条款作为开源软件免费提供的专业解决方案。参见"关于VirtualBox“做个介绍。

目前,VirtualBox运行在Windows、Linux、macOS和Solaris主机上,并支持大量来宾操作系统包括但不限于Windows (NT 4.0、2000、XP、Server 2003、Vista、Windows 7、Windows 8、Windows 10)、DOS/Windows 3.x、Linux (2.4、2.6、3.x和4.x)、Solaris和OpenSolaris、OS/2和OpenBSD。

VirtualBox正在积极开发,发布频繁,功能、支持的客户操作系统和运行平台越来越多。VirtualBox是一个由专门公司支持的社区项目:鼓励每个人都做出贡献,同时Oracle确保产品始终符合专业质量标准。

virtualbox7.0.8版本的安装

1.进入VirtuakBox官网,网址链接:Oracle VM VirtualBoxicon-default.png?t=N7T8https://www.virtualbox.org/

选择左侧的Downloads。

2.进入界面如下,选择如下库红框中的选项,点击即可下载。

3.下载后得到目标程序

4.安装过程点击next,选择自己安装路径即可。

 安装成功后进入的初始界面

二、Ubuntu的下载与安装

 ubuntu是一个全功能的Linux操作系统,它基于Debian发行版,可以在社区和专业支持下免费获得,unity是它的默认桌面环境。其他桌面默认提供其他风格的Ubuntu,比如Ubuntu Gnome、Lubuntu、Xubuntu等等。一个紧密集成的优秀应用程序的选择包括在内,令人难以置信的各种附加软件只是点击几下鼠标。Ubuntu的默认安装包含了广泛的软件,包括LibreOffice、Firefox、Empathy、Transmission等。Ubuntu的开发由典范有限公司。南非企业家马克·舒托沃尔斯拥有的一家公司。

ubuntu18.04.6操作系统

下载

网页连接:Ubuntu Virtual Machine Images for VirtualBox and VMwareicon-default.png?t=N7T8https://www.osboxes.org/ubuntu/

初始界面如下,接着往下滑,下载Ubuntu 18.04.6 Bionic Beaver的64位。

点击下载按钮,等待完事后,解压安装包后会有一个.vdi文件,先保存好。

下载安装完成后

1.现在打开VirtualBox,看到新建(N)按钮了吧,点击。

2.进入后,编辑自己的名称呀,和安装文件夹,点击下一步。

 3.这个就看着办了,要是没啥追求,就做个实验,像我这么选择就行。

4.选择使用已有的虚拟硬盘文件,由于我是安装成功后才写的此文章,所以能看到下面有这个信息,第一次安装这里是空白的。

5.点击5.右侧红框框里得东西。

6.进入后,呈现下面的情况,由于我已经安装完成,正常这部里面也是空白的,点击注册。

7.你得出去把最开始下载的ubuntu18.04.6移动到这个新建的Stitch.文件中,选择它即可。但是我的已经安装不了了,因为我已经有安装过这个版本的了。

8.这里挂载的磁盘按理说的位置应该是:D:\桌面\大数据应用开发\ubuntu\Ubuntu 18.04.6 (64bit).vdi

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/237200.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

无约束优化问题求解笔记(2):最速下降法

目录 3. 最速下降法3.1 最速下降法的基本思想3.2 基于精确搜索的最速下降法3.3 基于精确搜索的最速下降法的程序实现3.4 基于精确搜索的最速下降法的缺点 Reference 3. 最速下降法 3.1 最速下降法的基本思想 最速下降法是典型的线搜索方法. 设 f f f 是 R n \mathbb{R}^n R…

Easyexcel读取单/多sheet页

Easyexcel读取单/多sheet页 此文档会说明单个和多个的sheet页的读取方法,包括本人在使用过程中的踩坑点。 依赖不会的自行百度导入,话不多说,直接上干货。以下示例基于2.x,新版本基本类似 1、创建实体 实体是用来接收对应列的数据…

【QT】QGraphicsView和QGraphicsItem坐标转换

坐标转换 QGraphicsItem和QGraphicsView之间的坐标转换需要通过QGraphicsScene进行转换 QGraphicsView::mapToScene() - 视图 -> 场景QGraphicsView::mapFromScene() - 场景 -> 视图QGraphicsItem::mapToScene() - 图元 -> 场景QGraphicsItem::mapFromScene() - 场景 …

C++ Qt开发:StringListModel字符串列表映射组件

Qt 是一个跨平台C图形界面开发库,利用Qt可以快速开发跨平台窗体应用程序,在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置,实现图形化开发极大的方便了开发效率,本章将重点介绍QStringListModel字符串映射组件的常用方法及…

线程(四)

线程(一) ~ 线程(四)章节导图 导图https://naotu.baidu.com/file/07f437ff6bc3fa7939e171b00f133e17 线程安全 什么是线程安全? 业务中多线程同时访问一个对象或方法时我们不需要做额外的处理(像单线程编程一样)程序可以正常运行并能获取…

JS模块化规范之ES6及UMD

JS模块化规范之ES6及总结 前言ES6模块化概念基本使用ES6实现 UMD(Universal Module Definition)总结 前言 ESM在模块之间的依赖关系是高度确定的,与运行状态无关,编译工具只需要对ESM模块做静态分析,就可以从代码字面中推断出哪些模块值未曾被…

RocketMQ系统性学习-RocketMQ原理分析之Broker接收消息的处理流程

🌈🌈🌈🌈🌈🌈🌈🌈 【11来了】文章导读地址:点击查看文章导读! 🍁🍁🍁🍁🍁🍁&#x1f3…

【git学习笔记 01】打标签

文章目录 一、声明二、对标签的基本认知什么是标签?为什么要打标签?如何生成类似github中readme的图标 三、标签相关命令四、示例操作 一、声明 本帖持续更新中如有纰漏,望批评指正!参考视频链接,非常感谢原作者&…

5 分钟内搭建一个免费问答机器人:Milvus + LangChain

搭建一个好用、便宜又准确的问答机器人需要多长时间? 答案是 5 分钟。只需借助开源的 RAG 技术栈、LangChain 以及好用的向量数据库 Milvus。必须要强调的是,该问答机器人的成本很低,因为我们在召回、评估和开发迭代的过程中不需要调用大语言…

Backtrader 文档学习-Data Feeds(下)

Backtrader 文档学习-Data Feeds(下) 1. Data Resampling 当数据仅在单个时间范围内可用,需要在不同的时间范围内进行分析时,就需要进行一些重采样。 “重采样”实际上应该称为“上采样”,因为它是从一个源时间区间到…

C++的泛型编程—模板

目录 一.什么是泛型编程? ​编辑 ​编辑 二.函数模板 函数模板的实例化 当不同类型形参传参时的处理 使用多个模板参数 三.模板参数的匹配原则 四.类模板 1.定义对象时要显式实例化 2.类模板不支持声明与定义分离 3.非类型模板参数 4.模板的特化 函数模板…

MySQL的安装及如何连接到Navicat和IntelliJ IDEA

MySQL的安装及如何连接到Navicat和IntelliJ IDEA 文章目录 MySQL的安装及如何连接到Navicat和IntelliJ IDEA1 MySQL安装1.1 下载1.2 安装(解压)1.3 配置1.3.1 添加环境变量1.3.2 新建配置文件1.3.3 初始化MySQL1.3.4 注册MySQL服务1.3.5 启动MySQL服务1.3.6 修改默认账户密码 1…

Windows中安装nvm进行Node版本控制

1.nvm介绍 nvm英文全程也叫node.js version management,是一个node.js的版本管理工具。nvm和npm都是node.js版本管理工具,但是为了解决node各种不同之间版本存在不兼容的问题,因此可以通过nvm安装和切换不同版本的node。 2.nvm下载 可在点…

6个免费设计资源站,设计师们赶紧收藏!

本期给大家分享5个免费的设计资源站,设计师必备的设计设计神奇,绝对能帮助你在工作中事半功倍,赶紧收藏吧~ 1、菜鸟图库 https://www.sucai999.com/?vNTYwNDUx 菜鸟图库是我推荐过很多次的网站,主要是站内素材多,像…

PHPStorm一站式配置

phpstorm安装好之后,先别急着编码。工欲善其事,必先利其器,配置好下面这些之后让编码事半功倍。 主题 Appearance & Behavior -> Appearance -> Theme 选中 [Light with Light Header] 亮色较为护眼 关闭更新 Appearance & …

C#学习笔记 - C#基础知识 - C#从入门到放弃 - C# 方法

C# 入门基础知识 - 方法 第8节 方法8.1 C# 函数/方法简介8.2 方法的声明及调用8.2.1 参数列表方法的声明及调用8.2.2 参数数组方法的声明及调用8.2.3、引用参数与值参数 8.3 静态方法和实例方法8.3.1 静态、实例方法的区别8.2.3 静态、实例方法的声明及其调用 8.4 虚方法8.4.1 …

Linux学习(3)——基本命令-文件

1、cat:查看文件内容--上下合并文件 注意:cat只能查看普通的文本文件 如果文件内容过多会显示不全 选项效果-n显示行号包括空行-b跳过空白行编号;注意,在一行打了空格不算空白行,enter键直接跳过这一行才算-s将所有连续…

【JAVA】CyclicBarrier源码解析以及示例

文章目录 前言CyclicBarrier源码解析以及示例主要成员变量核心方法 应用场景任务分解与合并应用示例 并行计算应用示例 游戏开发应用示例输出结果 数据加载应用示例 并发工具的协同应用示例 CyclicBarrier和CountDownLatch的区别循环性:计数器的变化:用途…

[c]用指针进行四个数排序

#include<stdio.h> void swap(int*p1,int*p2)//定义函数&#xff0c;实现两个数值交换 {int temp;temp*p1;*p1*p2;*p2temp; } void psort( int *pa, int *pb,int *pc,int *pd) {int i1;for(i1;i<3;i)//对四个数排序&#xff0c;至少3次循环&#xff0c;交换过后是升序…

DDPM推导笔记

各位佬看文章之前&#xff0c;可以先去看看这个视频&#xff0c;并给这位up主点赞投币&#xff0c;这位佬讲解的太好了&#xff1a;大白话AI 1.前置知识的学习 1.1 正态分布特性 ​ &#xff08;1&#xff09;正态分布的概率密度函数 f ( x ) 1 2 π σ e − ( x − μ ) …