尚硅谷大数据项目《在线教育之采集系统》笔记001

视频地址:尚硅谷大数据项目《在线教育之采集系统》_哔哩哔哩_bilibili

目录

P004

P006

P007

P009

P010

P017

P025

P026

P027

P028

P030


P004

将数据以图形图表的方式展示出来!

P006

数据埋点

所谓埋点就是在应用中特定的流程收集一些信息,用来跟踪应用使用的状况,后续用来进一步优化产品或是提供运营的数据支撑,包括访问数(Visits),访客数(Visitor),停留时长(Time On Site),页面浏览数(Page Views)和跳出率(Bounce Rate)。这样的信息收集可以大致分为两种:页面统计(track this virtual page view),统计操作行为(track this button by an event)。

数据埋点是什么?设置埋点的意义是什么? - 知乎

埋点:嵌入到程序中捕捉到用户的行为,将捕捉到的行为发送到用户服务器当中,进而写入到用户行为数据库(mysql...)中进行存储。

在线url网址编码、解码器-BeJSON.com

P007

 

  1. ODS
  2. DIM
  3. DWD
  4. DWS
  5. ADS

 用户画像:给用户打标签,挖掘潜在客户。

P009

框架版本,Apache开源、CDH商用、HDP商用,都有一整套的大数据开发框架。

P010

flume:读取用户行为数据,采集日志文件。

datax:读取mysql的数据。

kafka:解耦,消息中间件。


mysql:存储业务数据

hdfs:存储数仓数据

hbase、redis:响应速度快,存储实时响应的结果。

MongoDB:存储json格式的数据、响应速度快。

P017

P025

[atguigu@node001 ~]$ cd /opt/module/data_mocker/01-onlineEducation
[atguigu@node001 01-onlineEducation]$ java -jar edu2021-mock-2022-06-18.jar 
SLF4J: Class path contains multiple SLF4J bindings.{"common":{"ar":"14","ba":"Xiaomi","ch":"oppo","is_new":"1","md":"Xiaomi 10 Pro ","mid":"mid_233","os":"Android 9.0","sc":"1","sid":"50d36ad5-fc85-45c6-9267-e661ce120226","uid":"505","vc":"v2.1.134"},"displays":[{"display_type":"query","item":"9","item_type":"course_id","order":1,"pos_id":5},{"display_type":"query","item":"8","item_type":"course_id","order":2,"pos_id":5},{"display_type":"query","item":"9","item_type":"course_id","order":3,"pos_id":5},{"display_type":"promotion","item":"4","item_type":"course_id","order":4,"pos_id":5},{"display_type":"recommend","item":"7","item_type":"course_id","order":5,"pos_id":1},{"display_type":"query","item":"3","item_type":"course_id","order":6,"pos_id":3},{"display_type":"query","item":"6","item_type":"course_id","order":7,"pos_id":2},{"display_type":"promotion","item":"2","item_type":"course_id","order":8,"pos_id":1},{"display_type":"promotion","item":"9","item_type":"course_id","order":9,"pos_id":2}],"page":{"during_time":7934,"item":"17614","item_type":"order_id","last_page_id":"course_detail","page_id":"order"},"ts":1645499594528}
---演算中...---
---演算完成  ---
[atguigu@node001 01-onlineEducation]$ 

P026

#! /bin/bashssh node001 "cd /opt/module/data_mocker/01-onlineEducation/;java -jar edu2021-mock-2022-06-18.jar 1>/dev/null 2>&1 &"
[atguigu@node001 bin]$ cd ~
[atguigu@node001 ~]$ ll
总用量 36
drwxrwxr-x. 2 atguigu atguigu 4096 5月  15 21:01 bin
drwxr-xr-x. 2 atguigu atguigu 4096 5月  10 11:00 公共
drwxr-xr-x. 2 atguigu atguigu 4096 5月  10 11:00 模板
drwxr-xr-x. 2 atguigu atguigu 4096 5月  10 11:00 视频
drwxr-xr-x. 2 atguigu atguigu 4096 5月  10 11:00 图片
drwxr-xr-x. 2 atguigu atguigu 4096 5月  10 11:00 文档
drwxr-xr-x. 2 atguigu atguigu 4096 5月  10 11:00 下载
drwxr-xr-x. 2 atguigu atguigu 4096 5月  10 11:00 音乐
drwxr-xr-x. 2 atguigu atguigu 4096 5月  10 11:00 桌面
[atguigu@node001 ~]$ cd bin
[atguigu@node001 bin]$ ll
总用量 24
-rwxrwxrwx. 1 atguigu atguigu  136 5月  15 21:07 jpsall
-rwxrwxrwx  1 atguigu atguigu  668 5月  15 21:17 kf.sh
-rwxrwxrwx. 1 atguigu atguigu 1150 5月  15 21:19 myhadoop.sh
-rwxrwxrwx  1 atguigu atguigu  141 5月  15 21:01 xcall
-rwxrwxr-x. 1 atguigu atguigu  733 5月   9 20:43 xsync
-rwxrwxrwx. 1 atguigu atguigu  574 5月  15 21:06 zk.sh
[atguigu@node001 bin]$ vim mock.sh
[atguigu@node001 bin]$ chmod 777 mock.sh
[atguigu@node001 bin]$ mock.sh
[atguigu@node001 bin]$ jps
4921 jar
4942 Jps
[atguigu@node001 bin]$ cd /opt/module/data_mocker/01-onlineEducation/log/
[atguigu@node001 log]$ ll
总用量 10240
-rw-rw-r-- 1 atguigu atguigu 10483421 7月  25 11:27 app.log
[atguigu@node001 log]$ 

P027

#! /bin/bashfor host in node001 node002 node003
doecho =============== $host ===============ssh $host jps# ssh $host "$*"
done

P028

/opt/module/hadoop/hadoop-3.1.3/share/hadoop/hdfs/webapps/static

时间戳转化,将时间戳格式化为具体的时间。

    'date_tostring' : function (v) {
      // return moment(Number(v)).format('ddd MMM DD HH:mm:ss ZZ YYYY');
      return Number(v).toLocaleString;
    },

P030

[atguigu@node001 kafka_2.12-3.0.0]$ bin/kafka-console-producer.sh --bootstrap-server node001:9092 --topic first
>aaa
>bbb
>
[atguigu@node002 zookeeper-3.5.7]$ cd /opt/module/kafka/kafka_2.12-3.0.0/
[atguigu@node002 kafka_2.12-3.0.0]$  bin/kafka-server-start.sh -daemon config/server.properties
[atguigu@node002 kafka_2.12-3.0.0]$ bin/kafka-console-consumer.sh --bootstrap-server node001:9092 --topic first
[2023-07-25 16:52:16,870] WARN [Consumer clientId=consumer-console-consumer-1125-1, groupId=console-consumer-1125] Error while fetching metadata with correlation id 2 : {first=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
aaa
bbb

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/7962.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

springboot 整合Caffeine项目中使用介绍

java接口的查询如何能提高性能&#xff0c;比每次都去数据库中查询要快的方案有了&#xff0c;就是下面要介绍的。 一、添加依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-cache</artifactId>…

(css)自定义登录弹窗页面

(css)自定义登录弹窗页面 效果&#xff1a; 代码&#xff1a; <!-- 登录弹窗 --> <el-dialog:visible.sync"dialogVisible"title"用户登录"width"25%"centerclass"custom-dialog":show-close"false":close-on-cli…

安卓逆向入门指南:介绍与准备

安卓逆向入门指南&#xff1a;介绍与准备 简介 安卓逆向工程是指通过分析、修改和破解安卓应用程序&#xff0c;获取其内部逻辑&#xff0c;探索其实现细节或者进行二次开发的技术过程。在这个系列博客中&#xff0c;我们将介绍安卓逆向的基础知识、常用工具和技术&#xff0…

【NLP】温和解读:transformer的核心思想

变压器模型及其关键组件的概述。 一、介绍 在这篇博文中&#xff0c;我将讨论本世纪最具革命性的论文“注意力是你所需要的一切”&#xff08;Vaswani et al.&#xff09;。首先&#xff0c;我将介绍自我注意机制&#xff0c;然后介绍变形金刚的架构细节。在之前的博客文章《从…

基于C#的无边框窗体动画效果的完美解决方案 - 开源研究系列文章

最近在整理和编写基于C#的WinForm应用程序&#xff0c;然后碰到一个其他读者也可能碰到的问题&#xff0c;就是C#的Borderless无边框窗体的动画效果问题。 在Visual Studio 2022里&#xff0c;C#的WinForm程序提供了Borderless无边框窗体的样式效果&#xff0c;但是它没提供在无…

【Rust 基础篇】Rust 不可反驳模式与可反驳模式

导言 在Rust编程中,模式(Pattern)是一种强大的工具,用于匹配和解构数据。模式匹配不仅可以用于简单的变量绑定,还可以处理复杂的数据结构,从而让代码更加简洁和清晰。在本篇博客中,我们将探讨Rust模式的两种形式:不可反驳模式(Irrefutable Patterns)和可反驳模式(R…

区间预测 | MATLAB实现基于QRF随机森林分位数回归多变量时间序列区间预测模型

区间预测 | MATLAB实现基于QRF随机森林分位数回归多变量时间序列区间预测模型 目录 区间预测 | MATLAB实现基于QRF随机森林分位数回归多变量时间序列区间预测模型效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.Matlab实现基于QRF随机森林分位数回归多变量时间序列区间…

dp,最长上升子序列升级版

AcWing 896. 最长上升子序列 II - AcWing 896. 最长上升子序列 II 给定一个长度为 N 的数列&#xff0c;求数值严格单调递增的子序列的长度最长是多少。 输入格式 第一行包含整数 N。 第二行包含 N 个整数&#xff0c;表示完整序列。 输出格式 输出一个整数&#xff0c;表…

Visual Studio Code Python 扩展中的包管理

排版&#xff1a;Alan Wang Python 凭借其简单的语法和强大的库&#xff0c;目前已成为最流行的编程语言之一&#xff0c;也是最适合那些刚接触编程的人们的语言。但是&#xff0c;随着项目复杂性和规模的增长&#xff0c;管理依赖项的复杂性也会增加。当新用户不断承接更成熟的…

数分面试题-SQL常见面试题型1

目录标题 1、连续时间问题1.1 最近一周内的活跃天数1.2 每个用户一周内最大连续活跃天数1.3 计算截至当前&#xff0c;每个用户已经连续签到的天数 2、时间间隔问题举例3、sql窗口分析函数3.1 有一个日志登陆列表&#xff0c;获取用户在某个页面停留时长3.2 寻找至少连续出现3次…

【Docker】Docker容器编排

目录 一、Docker Compose1.2Docker Compose 环境安装1.3 YAML 文件格式及编写注意事项2.3 Docker Compose配置常用字段2.4 Docker Compose 常用命令 二、Docker Compose实验2.1编写Nginx的Dockerfile脚本2.2编写MySQL&#xff0c;Dockerfile脚本2.3编写PHP&#xff0c;Dockerfi…

K8S中网络如何通信

Kubernetes 提出了一个自己的网络模型“IP-per-pod”&#xff0c;能够很好地适应集群系统的网络需求&#xff0c;它有下面的这 4 点基本假设&#xff1a; 集群里的每个 Pod 都会有唯一的一个 IP 地址。Pod 里的所有容器共享这个 IP 地址。集群里的所有 Pod 都属于同一个网段。…

STM32MP157驱动开发——按键驱动(POLL 机制)

文章目录 “POLL ”机制&#xff1a;APP执行过程驱动使用的函数应用使用的函数pollfd结构体poll函数事件类型实现原理 poll方式的按键驱动程序(stm32mp157)gpio_key_drv.cbutton_test.cMakefile修改设备树文件编译测试 “POLL ”机制&#xff1a; 使用休眠-唤醒的方式等待某个…

MySQL主从复制、读写分离

目录 一、MySQL的复制类型 二、MySQL主从复制工作流程 三、MySQL的同步方式 1、异步复制&#xff08;Async Replication&#xff09; 2、同步复制&#xff08;sync Replication&#xff09; 3、半同步复制&#xff08;Async Replication&#xff09; 四、MySQL应用场景 …

《向量数据库指南》:向量数据库Pinecone移动到生产环境

目录 概述 准备项目结构 测试查询结果 估计pod和副本的适当数量和大小 对索引进行负载测试 备份索引 性能调优 配置监控 规划扩展 了解如何获取支持 本文档的目的是通过预见生产环境中的问题并确定生产索引的最佳实践来准备用户开始在生产环境中使用其Pinecone索引。…

TCP/IP 五层协议模型

转载大佬文章 我们每天使用互联网&#xff0c;本质上是在传输/接收各种数据&#xff0c;具体如何传输则是按照一系列互联网协议进行的。我们常说的网络七层模型&#xff0c;五层模型&#xff0c;四层模型都是对数据传输过程做了细化的分层。 按照五层模型比较好理解&#xff0c…

操作系统启动相关概念(BIOS、MBR、GPT、BRUB)

不管是 Windows 还是 Linux 操作系统&#xff0c;底层设备一般均为物理硬件&#xff0c;操作系统启动之前会对硬件进行检测&#xff0c;然后硬盘引导启动操作系统&#xff0c;如下为操作系统启动相关的各个概念。 一、BIOS 基本输入输出系统&#xff08;Basic Input Output Sy…

牛客网-刷SQL(10)

题目&#xff1a;现在运营想要找到每个学校gpa最低的同学来做调研&#xff0c;请你取出每个学校的最低gpa。 示例&#xff1a;user_profile iddevice_idgenderageuniversitygpaactive_days_within_30question_cntanswer_cnt12138male21北京大学3.4721223214male复旦大学41552…

近期总结的一些TypeScript小tip

const vs readonly const 用于修饰变量&#xff0c;readonly 用于变量的属性 const x: boolean;const x: {readonly a: boolean; } {a: true; };对于数组&#xff0c;const 只能保证地址不改动&#xff0c;ReadonlyArray<Number>则可以直接禁用 push/pop never vs un…

基于Java+SpringBoot+vue前后端分离校园周边美食探索分享平台设计实现

博主介绍&#xff1a;✌全网粉丝30W,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专…