大数据学习整理资料

基础:
1,HDFS(懂原理就行,会基础命令)
https://www.bilibili.com/video/BV1gt411q7qw?spm_id_from=333.788.videopod.episodes&vd_source=a7b3a19b19885546976b75c802e7a3f8&p=27
2,MapReduce(理解原理流程思想,大数据处理的核心思想,实际工作不用)
https://www.bilibili.com/video/BV1gt411q7qw?spm_id_from=333.788.videopod.episodes&vd_source=a7b3a19b19885546976b75c802e7a3f8&p=27
3,Hive(主要是SQL和一些特性,窗口函数,分区分桶,UDF,工作中用的很多)
https://www.bilibili.com/video/BV1AJ411U7mV/?spm_id_from=333.999.0.0&vd_source=a7b3a19b19885546976b75c802e7a3f8
4,Yarn(懂原理就行,实际就是简单的提交任务,查看资源分配情况)
https://www.bilibili.com/video/BV1bJ4m1G7Jr?spm_id_from=333.788.videopod.episodes&vd_source=a7b3a19b19885546976b75c802e7a3f8&p=2
5,Scala
https://www.bilibili.com/video/BV1Xh411S7bP/?share_source=copy_web&vd_source=ff61be89956a9a5ff6eb014a549cb20a
6,SQL(刷一些热门的sql题目)
https://www.nowcoder.com/exam/oj?page=1&tab=SQL%E7%AF%87&topicId=268
数仓:
1,数仓分层模型
https://www.bilibili.com/video/BV13G411A7qF/?spm_id_from=333.999.0.0&vd_source=a7b3a19b19885546976b75c802e7a3f8
离线:
1,Spark
https://www.bilibili.com/video/BV12142167BL?spm_id_from=333.788.videopod.episodes&vd_source=a7b3a19b19885546976b75c802e7a3f8&p=3
实时
1,Flink
https://www.bilibili.com/video/BV1eg4y1V7AN/?spm_id_from=333.337.search-card.all.click
2,Kafka
https://www.bilibili.com/video/BV1Gp421m7UN/?spm_id_from=333.337.search-card.all.click&vd_source=a7b3a19b19885546976b75c802e7a3f8

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/56186.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C语言的预处理指令

文章目录 宏定义简单的宏带参数的宏宏的通用属性实际编程中,遵守的一些规范预定义宏参数个数可变的宏#运算符与##运算符(了解即可,用的不多) 条件编译#if指令和#endif指令defined运算符#ifdef指令和#ifndef指令#elif指令和#else指令 C语言中,…

SwiftUI 6.0(iOS 18)自定义容器值(Container Values)让容器布局渐入佳境(上)

概述 我们在之前多篇博文中已经介绍过 SwiftUI 6.0(iOS 18)新增的自定义容器布局机制。现在,如何利用它们对容器内容进行“探囊取物”和“聚沙成塔”,我们已然胸有成竹了。 然而,除了上述鬼工雷斧般的新技巧之外&…

finereport 数据下钻

目标:点击某块汇总的单元格,然后直接在原表的位置下钻到明细表,且不会影响整个大屏的结构,同时又支持明细表再回退到汇总表的功能 1、新建tab组件 1、新建决策报表 将 body 的布局方式改为「绝对布局」 2、将 Tab 块拖入 body…

@Id、@GeneratedValue的作用,以及@GeneratedValue的使用

在Java持久化API(JPA)中,Id和GeneratedValue注解是用于定义实体类的主键字段和主键生成策略的。这两个注解在构建基于JPA的ORM(对象关系映射)框架(如Hibernate)的应用时非常关键。 Id Id注解用…

小白都来用这款AI绘画神器,IDEOGRAM2.0,轻松画出高质量图片

大家好!我是宇航,一位喜欢AI绘画的10年技术专家,专注于输出AI绘画与视频内容 今天给大家介绍一款绝对的生图神器——Ideogram2.0! 不论你是AI小白,手残党还是资深玩家,无论你是做网页设计,电商&#xff0c…

【Python爬虫实战】正则:从基础字符匹配到复杂文本处理的全面指南

🌈个人主页:https://blog.csdn.net/2401_86688088?typeblog 🔥 系列专栏:https://blog.csdn.net/2401_86688088/category_12797772.html 目录 前言 一、正则表达式 (一)正则表达式的基本作用 &#xf…

The Android SDK location cannot be at the filesystem root

win11, 安装启动完Android Studio后,一直显示 The Android SDK location cannot be at the filesystem root因此需要下载SDK包,必须开启代理。 开启代理后,在System下开启自动检测代理,如图 重启Android Studio&a…

尚硅谷rabbitmq 2024 消息可靠性答疑二 第22节

returnedMessage()只有失败才调用,confirm()成功失败了都会调用,为什么? 在RabbitMQ中,消息的确认和返回机制是为了确保消息的可靠传递和处理。confirm和returnedMessage方法的调用时机和目的不同,因此它们的行为也有…

Java微信支付接入(8) - API V3 Native 用户取消订单API

官方文档:https://pay.weixin.qq.com/wiki/doc/apiv3/apis/chapter3_4_3.shtml 实现用户主动取消订单的功能 定义取消订单接口 /*** 用户取消订单* param orderNo* return* throws Exception*/ ApiOperation("用户取消订单") PostMapping("/cance…

swoole框架有哪些呢

基于 Swoole 的 PHP 框架有很多,以下是一些比较流行和常用的框架: Hyperf:高性能企业级协程框架,基于 Swoole 4.4 实现。提供丰富的组件,如协程版的 MySQL 客户端、Redis 客户端、WebSocket 服务端及客户端等1。 Swof…

【微信小程序_11_全局配置】

摘要:本文介绍了微信小程序全局配置文件 app.json 中的常用配置项,重点阐述了 window 节点的各项配置,包括导航栏标题文字、背景色、标题颜色,窗口背景色、下拉刷新样式以及上拉触底距离等。通过这些配置可实现小程序窗口外观的个性化设置,提升用户体验。 微信小程序_11_全…

C语言 | Leetcode C语言题解之第462题最小操作次数使数组元素相等II

题目&#xff1a; 题解&#xff1a; static inline void swap(int *a, int *b) {int c *a;*a *b;*b c; }static inline int partition(int *nums, int left, int right) {int x nums[right], i left - 1;for (int j left; j < right; j) {if (nums[j] < x) {swap(…

树莓派应用--AI项目实战篇来啦-5.OpenCV绘画函数的使用

1. 介绍 OpenCV作为一款功能强大的计算机视觉库&#xff0c;被广泛地应用于图像处理和计算机视觉领域。 除了在机器视觉和人工智能领域有者广泛的应用&#xff0c;OpenCV 还能够媲美艺术家的创造力&#xff0c;通过其强大的绘图函数&#xff0c;绘制出令人叹为观止的艺术画作。…

flask项目框架搭建

目录结构 blueprints python包&#xff0c;蓝图文件&#xff0c;相当于路由组的概念,方便模块化开发 例如auth.py文件 from flask import Blueprint, render_templatebp Blueprint("auth", __name__, url_prefix"/auth")bp.route("/login") d…

Python数据可视化常用工具,值得收藏!!!

我们了解了如何使用 Pandas 进行简单的绘图,使用 Pandas 自带的绘图功能能够快速地生成一些基本的图表,例如折线图、柱状图等.但为了实现更复杂或专业的可视化效果,我们通常还需要借助更为强大的绘图库——Matplotlib. 本篇文章将详细介绍如何结合 Matplotlib 和 Pandas 实现数…

Redis-缓存一致性

缓存双写一致性 更新策略探讨 面试题 缓存设计要求 缓存分类&#xff1a; 只读缓存&#xff1a;&#xff08;脚本批量写入&#xff0c;canal 等&#xff09;读写缓存 同步直写&#xff1a;vip数据等即时数据异步缓写&#xff1a;允许延时&#xff08;仓库&#xff0c;物流&a…

C++: AVL树的实现

一.AVL树的旋转 AVL树是平衡搜索二叉树的一种。 平衡因子&#xff1a;节点右树的高度减左树的高度&#xff0c;AVL树规定平衡因子的绝对值小于2。若不在这个范围内&#xff0c;说明该树不平衡。 AVL树节点&#xff1a; struct AVLTreeNode {AVLTreeNode(const T& data …

数据结构--堆的深度解析

目录 引言 一、基本概念 1.1堆的概念 1.2堆的存储结构 1.3堆的特点 二、 堆的基本操作 2.1初始化 2.2创建堆 2.3插入元素 2.4删除元素 2.5堆化操作 2.6堆的判空 2.7获取堆顶元素 三、堆的常见应用 1. 优先队列 2. 堆排序 3. Top-k 问题 4. 图论中的应用 四…

rom定制系列------小米5x_miui12安卓11定制固件界面预览 小米5x第三方固件

&#x1f49d;&#x1f49d;&#x1f49d;此固件来源于客户卡刷固件定制。客户需要修改为线刷。并且修改账号锁功能。 可以让客户使用官方平台批量进行刷写。方便操作。 定制机型以及功能预览&#x1f49d;&#x1f49d;&#x1f49d; 小米5x版本miui12.5.8安卓11固件。此机型…

中国网络隐私保护:机遇与挑战并存的未来

随着数字经济的蓬勃发展&#xff0c;中国已进入大数据和互联网高速发展的时代。伴随而来的&#xff0c;是公众对网络隐私保护的强烈需求。从电子支付到社交平台&#xff0c;从智能家居到人脸识别&#xff0c;网络数据正在全面渗透到人们生活的方方面面。然而&#xff0c;数据隐…