在线教育数仓项目(数据采集部分1)

文章目录

  • 数据仓库概念
  • 项目需求及架构设计
    • 项目需求分析
    • 系统数据流程设计
    • 框架版本选型
    • 集群规模估算
    • 集群资源规划设计
  • 数据生成模块
    • 目标数据
      • 页面
      • 事件
      • 曝光
      • 启动
      • 播放
      • 错误
    • 数据埋点
      • 主流埋点方式（了解）
      • 埋点数据上报时机
      • 埋点数据日志结构
    • 服务器和JDK准备
      • 服务器准备
      • 编写集群分发脚本xsync
      • SSH无密登录配置
      • JDK准备
      • 环境变量配置说明
        • 登录Shell和非登录Shell的区别
    • 模拟数据
      • 使用说明
      • 集群日志及业务数据生成脚本

数据仓库概念

数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业改进业务流程、提高产品质量等。

数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等

业务数据：就是各行业在处理事务过程中产生的数据。比如用户在网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在MySQL、Oracle等数据库中。

用户行为数据：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。比如页面浏览、点击、停留、评论、点赞、收藏等。用户行为数据通常存储在日志文件中。

爬虫数据：通常是通过技术手段获取其他公司网站的数据。

项目需求及架构设计

项目需求分析

1）采集平台
（1）用户行为数据采集平台搭建
（2）业务数据采集平台搭建

2）离线需求
在这里插入图片描述
3）实时需求
在这里插入图片描述

系统数据流程设计

在这里插入图片描述

框架版本选型

在这里插入图片描述

集群规模估算

在这里插入图片描述

集群资源规划设计

下面是根据您提供的信息转换成的Markdown表格：

服务名称子服务hadoop102hadoop103hadoop104
hadoop102服务器√--
hadoop103服务器-√-
hadoop104服务器---
HDFSNameNode√--
HDFSDataNode√√√
HDFSSecondaryNameNode--√
YarnNodeManager√√√
YarnResourcemanager-√-
ZookeeperZookeeper Server√√√
Flume（采集日志）Flume√√-
KafkaKafka√√√
Flume（消费Kafka日志）Flume--√
Flume（消费Kafka业务）Flume--√
Hive√√√
MySQLMySQL√--
DataX√√√
Spark√√√
DolphinSchedulerApiApplicationServer√--
DolphinSchedulerAlertServer√--
DolphinSchedulerMasterServer√--
DolphinSchedulerWorkerServer√√√
DolphinSchedulerLoggerServer√√√
SupersetSuperset√--
服务数总计161112

数据生成模块

目标数据

我们要收集和分析的数据主要包括页面数据、事件数据、曝光数据、启动数据、播放数据和错误数据。

页面

页面数据主要记录一个页面的用户访问情况，包括访问时间、停留时间、页面路径等信息。

1）日志范例如下

{"actions": [
…],"common": {
…},"displays": […],"page": {"during_time": 11622,"item": "57","item_type": "course_id","last_page_id": "course_list","page_id": "course_detail"},"ts": 1645529967261
}

2）所有页面类型如下：

home("首页")
course_list("列表页")
course_detail("商品详情")
chapter_video("章节视频")
cart("购物车")
order("下单结算")
payment("支付页面")
exam("考试")
mine("我的")

3）所有页面对象类型如下：

course_id("课程Id")
keyword("搜索关键词")
video_id("视频id")
chapter_id("章节id")
coupon_id("购物券id")
order_id("订单id")
paper_id("考卷id")
exam_id("考试id")

事件

事件数据主要记录应用内一个具体操作行为，包括操作类型、操作对象、操作对象描述等信息。

1）日志范例：

{"actions": [{"action_id": "favor_add","item": "57","item_type": "course_id","ts": 1645529967261},{"action_id": "cart_add","item": "57","item_type": "course_id","ts": 1645529967261}],"common": {
…},"displays": [
…],"page": {
…},"ts": 1645529967261
}

注：对于下单、支付等业务数据，可从业务数据库获取。

2）所有动作类型如下

favor_add（新增收藏）
review_add（新增课程评价）
comment_add（新增章节评价）
cart_add（加购物车）

3）所有动作目标类型如下：

course_id("课程Id")
keyword("搜索关键词")
video_id("视频id")
chapter_id("章节id")
coupon_id("购物券id")
order_id("订单id")
paper_id("考卷id")
exam_id("考试id")

曝光

曝光数据主要记录页面所展示的内容，包括曝光对象，曝光类型等信息。

1）曝光日志范例：

{"actions": […],"common": {…},"displays": [{"display_type": "query","item": "6","item_type": "course_id","order": 1,"pos_id": 4},{"display_type": "query","item": "8","item_type": "course_id","order": 2,"pos_id": 5},{"display_type": "query","item": "1","item_type": "course_id","order": 3,"pos_id": 4},{"display_type": "query","item": "10","item_type": "course_id","order": 4,"pos_id": 1},{"display_type": "promotion","item": "4","item_type": "course_id","order": 5,"pos_id": 4},{"display_type": "promotion","item": "4","item_type": "course_id","order": 6,"pos_id": 4},{"display_type": "query","item": "9","item_type": "course_id","order": 7,"pos_id": 1}],"page": {…},"ts": 1645529967261
}

2）所有曝光类型如下：

promotion("商品推广")
recommend("算法推荐商品")
query("查询结果商品")
activity("促销活动")

3）所有曝光对象类型如下：

course_id("课程Id")
keyword("搜索关键词")
video_id("视频id")
chapter_id("章节id")
coupon_id("购物券id")
order_id("订单id")
paper_id("考卷id")
exam_id("考试id")

启动

启动数据记录应用的启动信息。

1）启动日志范例:

{"common": {…},"start": {"entry": "notice","first_open": 0,"loading_time": 17970,"open_ad_id": 20,"open_ad_ms": 2876,"open_ad_skip_ms": 0},"ts": 1645532980257
}

2）所有启动入口类型如下：

icon("图标"),
notice("通知"),
install("安装后启动");

播放

播放日志记录播放信息。

1）播放日志范例：

{"appVideo": {"play_sec": 19,"video_id": "3904"},"common": {
…},"ts": 1645526307119
}

错误

错误数据记录应用使用过程中的错误信息，包括错误编号及错误信息。

上述五种日志都有可能包含错误信息，此处仅对 appVideo 的错误日志进行展示。

1）错误日志范例

{"appVideo":{…},"common":{…},"err":{"error_code":3485,"msg":" Exception in thread \\  java.net.SocketTimeoutException\\n \\tat com.yudan.edu2021.mock.log.AppError.main(AppError.java:xxxxxx)"},"ts":1645538276217
}

数据埋点

主流埋点方式（了解）

目前主流的埋点方式，有代码埋点（前端/后端）、可视化埋点、全埋点三种。

  • 代码埋点是通过调用埋点SDK函数，在需要埋点的业务逻辑功能位置调用接口，上报埋点数据。例如，我们对页面中的某个按钮埋点后，当这个按钮被点击时，可以在这个按钮对应的 OnClick 函数里面调用SDK提供的数据发送接口，来发送数据。
  • 可视化埋点只需要研发人员集成采集 SDK，不需要写埋点代码，业务人员就可以通过访问分析平台的“圈选”功能，来“圈”出需要对用户行为进行捕捉的控件，并对该事件进行命名。圈选完毕后，这些配置会同步到各个用户的终端上，由采集 SDK 按照圈选的配置自动进行用户行为数据的采集和发送。
  • 全埋点是通过在产品中嵌入SDK，前端自动采集页面上的全部用户行为事件，上报埋点数据，相当于做了一个统一的埋点。然后再通过界面配置哪些数据需要在系统里面进行分析。

埋点数据上报时机

埋点数据上报时机包括两种方式。

方式一，在离开该页面时，上传在这个页面产生的所有数据（页面、事件、曝光、错误等）。优点，批处理，减少了服务器接收数据压力。缺点，不是特别及时。

方式二，每个事件、动作、错误等，产生后，立即发送。优点，响应及时。缺点，对服务器接收数据压力比较大。

埋点数据日志结构

我们的日志结构大致可分为三类，一是普通页面埋点日志，二是启动日志，三是播放日志。

普通页面日志结构如下，每条日志包含了，当前页面的页面信息，所有事件（动作）、所有曝光信息以及错误信息。除此之外，还包含了一系列公共信息，包括设备信息，地理位置，应用信息等，即下边的common字段。

1）普通页面埋点日志格式

{"actions": [{"action_id": "favor_add","item": "57","item_type": "course_id","ts": 1645529967261},{"action_id": "cart_add","item": "57","item_type": "course_id","ts": 1645529967261}],"common": {"ar": "16","ba": "iPhone","ch": "Appstore","is_new": "1",--是否首日使用，首次使用的当日，该字段值为1，过了24:00，该字段置为0。"md": "iPhone 8","mid": "mid_161","os": "iOS 13.3.1","sc": "2","sid": "9acef85b-067d-49f9-9520-a0dda943304e","uid": "272","vc": "v2.1.134"},"displays": [{"display_type": "query","item": "6","item_type": "course_id","order": 1,"pos_id": 4},{"display_type": "query","item": "8","item_type": "course_id","order": 2,"pos_id": 5},{"display_type": "query","item": "1","item_type": "course_id","order": 3,"pos_id": 4},{"display_type": "query","item": "10","item_type": "course_id","order": 4,"pos_id": 1},{"display_type": "promotion","item": "4","item_type": "course_id","order": 5,"pos_id": 4},{"display_type": "promotion","item": "4","item_type": "course_id","order": 6,"pos_id": 4},{"display_type": "query","item": "9","item_type": "course_id","order": 7,"pos_id": 1}],"page": {"during_time": 11622,"item": "57","item_type": "course_id","last_page_id": "course_list","page_id": "course_detail"},"err":{"error_code":1359,"msg":" Exception in thread \\  java.net.SocketTimeoutException\\n \\tat com.yudan.edu2021.mock.log.AppError.main(AppError.java:xxxxxx)"},"ts": 1645529967261
}

2）启动日志格式

启动日志结构相对简单，主要包含公共信息，启动信息和错误信息。

{"common": {"ar": "1","ba": "Redmi","ch": "wandoujia","is_new": "1","md": "Redmi k30","mid": "mid_356","os": "Android 11.0","sc": "2","sid": "76909678-abaf-41c4-916d-a0a72f546bc1","uid": "161","vc": "v2.1.134"},"start": {"entry": "notice","first_open": 0,"loading_time": 17970,"open_ad_id": 20,"open_ad_ms": 2876,"open_ad_skip_ms": 0},"err":{"error_code":2959,"msg":" Exception in thread \\  java.net.SocketTimeoutException\\n \\tat com.yudan.edu2021.mock.log.AppError.main(AppError.java:xxxxxx)"},"ts": 1645532980257
}

3）播放日志

播放日志结构相对简单，主要包含公共信息，播放信息和错误信息。

{"appVideo": {"play_sec": 19,"video_id": "3904"},"common": {"ar": "4","ba": "Sumsung","ch": "oppo","is_new": "0","md": "Sumsung Galaxy S20","mid": "mid_253","os": "Android 11.0","sc": "1","sid": "47157c4a-4790-4b9a-a859-f0d36cd62a10","uid": "329","vc": "v2.1.134"},"err":{"error_code":3485,"msg":" Exception in thread \\  java.net.SocketTimeoutException\\n \\tat com.yudan.edu2021.mock.log.AppError.main(AppError.java:xxxxxx)"},"ts": 1645526307119
}

服务器和JDK准备

服务器准备

安装如下文档配置步骤，分别安装hadoop102、hadoop103、hadoop104三台主机。
具体配置链接

编写集群分发脚本xsync

1）xsync集群分发脚本

  • 需求：循环复制文件到所有节点的相同目录下

  • 需求分析

    ①rsync命令原始拷贝：

    rsync -av /opt/module root@hadoop103:/opt/

    ②期望脚本：
    xsync要同步的文件名称

    ③说明：在/home/yudan/bin这个目录下存放的脚本，atguigu用户可以在系统任何地方直接执行。

  • 脚本实现

    ①在用的家目录/home/atguigu下创建bin文件夹

      [yudan@hadoop102 ~]$ mkdir bin

    ②在/home/yudan/bin目录下创建xsync文件，以便全局调用

      [yudan@hadoop102 ~]$ cd /home/yudan/bin[yudan@hadoop102 ~]$ vim xsync

    #!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
doecho ====================  $host  ====================#3. 遍历所有目录，挨个发送for file in $@do#4 判断文件是否存在if [ -e $file ]then#5. 获取父目录pdir=$(cd -P $(dirname $file); pwd)#6. 获取当前文件的名称fname=$(basename $file)ssh $host "mkdir -p $pdir"rsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fidone
done

    ③修改脚本xsync具有执行权限

      [yudan@hadoop102 bin]$ chmod +x xsync

    ④测试脚本

      [yudan@hadoop102 bin]$ xsync xsync

SSH无密登录配置

  • hadoop102上生成公钥和私钥：

      [yudan@hadoop102 .ssh]$ ssh-keygen -t rsa

    然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

  • 将hadoop102公钥拷贝到要免密登录的目标机器上

      [yudan@hadoop102 .ssh]$ ssh-copy-id hadoop102[yudan@hadoop102 .ssh]$ ssh-copy-id hadoop103[yudan@hadoop102 .ssh]$ ssh-copy-id hadoop104

  • hadoop103上生成公钥和私钥：

      [yudan@hadoop103 .ssh]$ ssh-keygen -t rsa

    然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

  • 将hadoop103公钥拷贝到要免密登录的目标机器上

      [yudan@hadoop103 .ssh]$ ssh-copy-id hadoop102[yudan@hadoop103 .ssh]$ ssh-copy-id hadoop103[yudan@hadoop103 .ssh]$ ssh-copy-id hadoop104

  • hadoop104上生成公钥和私钥：

      [yudan@hadoop104 .ssh]$ ssh-keygen -t rsa

    然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

  • 将hadoop104公钥拷贝到要免密登录的目标机器上

      [yudan@hadoop102 .ssh]$ ssh-copy-id hadoop102[yudan@hadoop103 .ssh]$ ssh-copy-id hadoop103[yudan@hadoop104 .ssh]$ ssh-copy-id hadoop104

JDK准备

  • 卸载现有JDK（3台节点）

      [yudan@hadoop102 opt]# sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps[yudan@hadoop103 opt]# sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps[yudan@hadoop104 opt]# sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

    （1）rpm -qa：表示查询所有已经安装的软件包
    （2）grep -i：表示过滤时不区分大小写
    （3）xargs -n1：表示一次获取上次执行结果的一个值
    （4）rpm -e --nodeps：表示卸载软件

  • 将JDK导入到hadoop102的/opt/software文件夹下面

    JDK安装包
    链接: https://pan.baidu.com/s/1-bY0-GN85TJRhp-levcoSg?pwd=8ah6
    提取码: 8ah6

  • 在Linux系统下的opt目录中查看软件包是否导入成功

      [yudan@hadoop102 software]# ls /opt/software/看到如下结果：jdk-8u212-linux-x64.tar.gz

  • 解压JDK到/opt/module目录下

      [yudan@hadoop102 software]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

  • 配置JDK环境变量

    • 新建/etc/profile.d/my_env.sh文件

        [yudan@hadoop102 module]# sudo vim /etc/profile.d/my_env.sh#JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_212export PATH=$PATH:$JAVA_HOME/bin

    • 让环境变量生效

        [yudan@hadoop102 software]$ source /etc/profile.d/my_env.sh

  • 测试JDK是否安装成功

      [yudan@hadoop102 module]# java -version如果能看到以下结果、则Java正常安装java version "1.8.0_212"

  • 分发JDK

      [yudan@hadoop102 module]$ xsync /opt/module/jdk1.8.0_212/

  • 分发环境变量配置文件
    [yudan@hadoop102 module]$ sudo /home/yudan/bin/xsync /etc/profile.d/my_env.sh

  • 分别在hadoop103、hadoop104上执行source

      [yudan@hadoop103 module]$ source /etc/profile.d/my_env.sh[yudan@hadoop104 module]$ source /etc/profile.d/my_env.sh

环境变量配置说明

Linux的环境变量可在多个文件中配置，如/etc/profile，/etc/profile.d/*.sh，/.bashrc，/.bash_profile等，下面说明上述几个文件之间的关系和区别。

bash的运行模式可分为login shell和non-login shell。

例如，我们通过终端，输入用户名、密码，登录系统之后，得到就是一个login shell。而当我们执行以下命令ssh hadoop103 command，在hadoop103执行command的就是一个non-login shell。

登录Shell和非登录Shell的区别

在这里插入图片描述
这两种shell的主要区别在于，它们启动时会加载不同的配置文件，login shell启动时会加载/etc/profile，/.bash_profile，/.bashrc。non-login shell启动时会加载~/.bashrc。

模拟数据

使用说明

模拟数据生成文件地址
链接: https://pan.baidu.com/s/1ZYFLlkhI4JqvzugvySs_Sg
提取码: k93s

  1. 将application.yml、edu2021-mock-2022-06-18.jar、path.json、edu0222.sql、logback.xml上传到hadoop102的/opt/module/data_mocker目录下

    创建applog路径

     [yudan@hadoop102 module]$ mkdir /opt/module/data_mocker

  2. 需要安装配置MySQL
    MySQL安装包
    链接: https://pan.baidu.com/s/1Yov8DpOPaji58Axzp6VDWA?pwd=us87
    提取码: us87

    （1）将MySQL安装文件拷贝到/opt/software

     01_mysql-community-common-5.7.16-1.el7.x86_64.rpm02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm04_mysql-community-client-5.7.16-1.el7.x86_64.rpm05_mysql-community-server-5.7.16-1.el7.x86_64.rpmmysql-connector-java-5.1.27-bin.jar

    （2）卸载自带的Mysql-libs（如果之前安装过MySQL，要全都卸载掉）

     [yudan@hadoop102 software]$ rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps

    （3）安装 MySQL 依赖

     [yudan@hadoop102 software]$ sudo rpm -ivh 01_mysql-community-common-5.7.16-1.el7.x86_64.rpm[yudan@hadoop102 software]$ sudo rpm -ivh 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm[yudan@hadoop102 software]$ sudo rpm -ivh 03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm

    （4）安装 mysql-client

     [yudan@hadoop102 software]$ sudo rpm -ivh 04_mysql-community-client-5.7.16-1.el7.x86_64.rpm

    （5）安装 mysql-server

     [yudan@hadoop102 software]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm

    注意：如果报如下错误，这是由于yum安装了旧版本的GPG keys所造成，从rpm版本4.1后，在安装或升级软件包时会自动检查软件包的签名。

     warning: 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEYerror: Failed dependencies:libaio.so.1()(64bit) is needed by mysql-community-server-5.7.16-1.el7.x86_64解决办法[yudan@hadoop102 software]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm --force --nodeps

    （6）启动 MySQL

     [yudan@hadoop102 software]$ sudo systemctl start mysqld

    （7）查看 MySQL 密码

     [yudan@hadoop102 software]$ sudo cat /var/log/mysqld.log | grep password

    （8）配置只要是root用户 + 密码，在任何主机上都能登录MySQL数据库。

     i）用刚刚查到的密码进入MySQL（如果报错，给密码加单引号）[yudan@hadoop102 software]$ mysql -uroot -p'password'ii）设置复杂密码（由于MySQL密码策略，此密码必须足够复杂）mysql> set password=password("Qs23=zs32");iii）更改MySQL密码策略mysql> set global validate_password_length=4;mysql> set global validate_password_policy=0;iv）设置简单好记的密码mysql> set password=password("000000");v）进入MySQL库mysql> use mysqlvi）查询user表mysql> select user, host from user;vii）修改user表，把Host表内容修改为%mysql> update user set host="%" where user="root";viii）刷新mysql> flush privileges;ix）退出mysql> quit;

  3. 需要安装配置MySQL

    sql文件地址
    通过网盘分享的文件：edu.sql
    链接: https://pan.baidu.com/s/1gQ3z-boyI7aSaPC8t2Yz3A?pwd=fyxm
    提取码: fyxm

（1）登录Navicat等连接MySQL工具，创建数据库edu

（2）在数据库edu下，运行edu.sql文件

集群日志及业务数据生成脚本

在hadoop102的/home/atguigu目录下创建bin目录，这样脚本可以在服务器的任何目录执行。

[yudan@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/yudan/.local/bin:/home/yudan/bin

1）在/home/yudan/bin目录下创建脚本mock.sh

[yudan@hadoop102 bin]$ vim mock.sh

2）在脚本中编写如下内容

#! /bin/bash
ssh hadoop102 "cd /opt/module/data_mocker/;java -jar edu2021-mock-2022-06-18.jar 1>/dev/null 2>&1 &"

3）修改脚本执行权限

[yudan@hadoop102 bin]$ chmod +x mock.sh

4）测试脚本

[yudan@hadoop102 module]$ mock.sh

5）在hadoop102的/opt/module/data_mocker/log目录上查看生成的数据

[yudan@hadoop102 log]$ ls
app.log

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/876270.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

白鲸开源CEO郭炜荣获「2024中国数智化转型升级先锋人物」称号

白鲸开源CEO郭炜荣获「2024中国数智化转型升级先锋人物」称号

2024年7月24日，由数据猿主办，IDC协办，新华社中国经济信息社、上海大数据联盟、上海市数商协会、上海超级计算中心作为支持单位，举办“数智新质力拓未来 2024企业数智化转型升级发展论坛——暨AI大模型趋势论坛”数据猿“年中特别策…
阅读更多...
探索 Electron：构建用户友好的登录页面流程

探索 Electron：构建用户友好的登录页面流程

Electron是一个开源的桌面应用程序开发框架，它允许开发者使用Web技术（如 HTML、CSS 和 JavaScript）构建跨平台的桌面应用程序，它的出现极大地简化了桌面应用程序的开发流程，让更多的开发者能够利用已有的 Web 开发技能…
阅读更多...
指针的面试题

指针的面试题

这里写目录标题 判断链表中是否有环描述代码检测链表中是否存在环链表中存在环想检测链表中是否存在环，而不需要找到环的入口 判断链表中是否有环 题目 描述 判断给定的链表中是否有环。如果有环则返回true，否则返回false。 数据范围：链表…
阅读更多...
Spring Boot集成canal快速入门demo

Spring Boot集成canal快速入门demo

1.什么是canal？ canal 是阿里开源的一款 MySQL 数据库增量日志解析工具，提供增量数据订阅和消费。 工作原理 MySQL主备复制原理 MySQL master 将数据变更写入二进制日志（binary log）, 日志中的记录叫做二进制日志事件&#xff…
阅读更多...
二叉树_堆（下卷）

二叉树_堆（下卷）

前言 接前面两篇的内容，接着往下讲二叉树_堆相关的内容。 正文 那么，回到冒泡排序与堆排序的比较。 我们知道冒泡排序的时间复杂度为 O ( N 2 ) O(N^2) O(N2)，这个效率是不太好的。 那么，我们的堆排序的时间复杂度如何呢&…
阅读更多...
017、Vue动态tag标签

017、Vue动态tag标签

文章目录 1、先看效果2、代码 1、先看效果 2、代码 <template><div class "tags"><el-tag size"medium"closable v-for"item,index in tags":key"item.path":effect"item.title$route.name?dark:plain"cl…
阅读更多...
数据结构 - AVL树

数据结构 - AVL树

文章目录 一、AVL树的介绍二、AVL树的实现1、基本框架2、查找3、插入4、删除5、测试6、总代码 三、AVL树的性能 一、AVL树的介绍 1、概念 AVL树&#xff08;Adelson-Velsky and Landis Tree&#xff09;是一种自平衡的二叉搜索树。它得名于其发明者G. M. Adelson-Velsky和E. M…
阅读更多...
Vue 状态管理 Vue CLI

Vue 状态管理 Vue CLI

Vue 状态管理 & Vue CLI 1、状态管理2、集中状态管理2.1 Vuex2.1.1 Vuex核心概念2.1.2 Vuex Store实例2.1.3 Vuex Getter2.1.4 Vuex Mutation2.1.4 Vuex Actions2.1.4 Vuex Module 2.2 Pinia2.2.1功能增强 3、Vuex 实现原理4、Pinia 实现原理5、CLI5.1 实现 1、状态管理 将…
阅读更多...
【CG】计算机图形学（Computer Graphics）基础（其贰）

【CG】计算机图形学（Computer Graphics）基础（其贰）

0 学习视频 B站GAMES101-现代计算机图形学入门-闫令琪 ※ 接上文【CG】计算机图形学&#xff08;Computer Graphics&#xff09;基础&#xff08;其壹&#xff09; 7 光线追踪 7.1 为什么需要光线追踪&#xff1f; 光栅化无法妥善处理全局效果 &#xff08;软&#xff09;阴…
阅读更多...
一天搞定React（5）——ReactRouter（下）【已完结】

一天搞定React（5）——ReactRouter（下）【已完结】

Hello&#xff01;大家好&#xff0c;今天带来的是React前端JS库的学习&#xff0c;课程来自黑马的往期课程&#xff0c;具体连接地址我也没有找到&#xff0c;大家可以广搜巡查一下&#xff0c;但是总体来说&#xff0c;这套课程教学质量非常高&#xff0c;每个知识点都有一个…
阅读更多...
MATLAB基础：函数与函数控制语句

MATLAB基础：函数与函数控制语句

今天我们继续学习Matlab中函数相关知识。 API的查询和调用 help 命令是最基本的查询方法&#xff0c;可查询所有目录、指定目录、命令、函数。 我们直接点击帮助菜单即可查询所需的API函数。 lookfor 关键字用于搜索相关的命令和函数。 如&#xff0c;我们输入lookfor inpu…
阅读更多...
开源物联网网关ThingsBoard IoT Gateway

开源物联网网关ThingsBoard IoT Gateway

前几天测试了Neuron&#xff0c;这是一个令人印象深刻的平台&#xff0c;不过它不能算是完全免费的平台&#xff0c;因为它还是有商业许可要求的&#xff0c;挺贵的&#xff0c;大几万的&#xff0c;而且它有走向闭源的趋势。所以也在寻找它的替代方案。 今天看到一个ThingsBo…
阅读更多...
Django项目中报错：django.template.exceptions.TemplateDoesNotExist: index.html

Django项目中报错：django.template.exceptions.TemplateDoesNotExist: index.html

访问127.0.0.1&#xff1a;8000访问出错 查看报错原因 到Django项目当中找到settings.py&#xff0c;找到TEMPLATES中的DIRS: 添加如下代码&#xff0c;并导入OS模块&#xff1a; "DIRS": [os.path.join(BASE_DIR,templates)] 再次访问IP地址&#xff1a;
阅读更多...
C++（入门1）

C++（入门1）

C参考文档 Reference - C Reference C 参考手册 - cppreference.com cppreference.com 第一个C程序 #include<stdio.h> int main() {printf("Hello C\n");return 0; }由上述代码可知C是兼容C语言 第一个C标准程序 #include<iostream> using names…
阅读更多...
【机器学习】智驭未来：机器学习如何重塑制造业的转型与升级

【机器学习】智驭未来：机器学习如何重塑制造业的转型与升级

&#x1f4dd;个人主页&#x1f339;&#xff1a;Eternity._ &#x1f339;&#x1f339;期待您的关注 &#x1f339;&#x1f339; ❀目录 &#x1f50d;1. 引言&#x1f4d2;2. 机器学习重塑制造业生产流程&#x1f338;预测性维护&#xff1a;减少停机时间&#xff0c;提高设…
阅读更多...
实现共模噪声电流相互抵消的方法

实现共模噪声电流相互抵消的方法

共模传导路径中噪声电流相互抵消&#xff0c;从而使总的共模电流减小&#xff0c; 终达到降噪的目的。目前为实现共模噪声电流相互抵消&#xff0c;主要是采用动点电容抵消法。 动点电容抵消法原理 动点电容抵消法就是选取合适的动点&#xff0c;添加原副边跨接电容&#xff0c…
阅读更多...
黑马头条Day10-定时计算热点文章、xxl-job

黑马头条Day10-定时计算热点文章、xxl-job

一、今日内容 1. 需求分析 目前实现的思路&#xff1a;从数据库直接按照发布时间倒序查询 问题&#xff1a; 如果访问量比较大&#xff0c;直接查询数据库&#xff0c;压力较大新发布的文章会展示在前面&#xff0c;并不是热点文章 2. 实现思路 解决方案&#xff1a;把热点…
阅读更多...
CCS（Code Composer Studio 10.4.0）编译软件中文乱码怎么解决

CCS（Code Composer Studio 10.4.0）编译软件中文乱码怎么解决

如果是所有文件都出现了中文乱码这时建议直接在窗口首选项中修改&#xff1a;选择"Window" -> "Preferences"&#xff0c;找到"General" -> "Workspace"&#xff0c;将"Text file encoding"选项设置为"Other&quo…
阅读更多...
深度解析Linux-C——函数和内存管理

深度解析Linux-C——函数和内存管理

目录 函数指针&#xff1a; 指针函数&#xff1a; 参数为指针的函数&#xff1a; 参数为数组的函数&#xff1a; C语言内存管理 stdlib.h头文件常用函数介绍 1、局部变量 2、全局变量 3、 堆空间变量 4、静态变量 5、常量 函数指针&#xff1a; 指向函数的指针&#…
阅读更多...
Linux文件与相关函数的知识点3

Linux文件与相关函数的知识点3

main函数参数 int main(int argc,char *argv[]) { return 0; } C语言规定了main函数的参数只能有两个&#xff0c;一个是argc,一个是argv并且&#xff0c;argc只能是整数&#xff0c;第二个必须是指向字符 串的指针数组。 argc: 参数表示命令行中参数的个数&#xff0…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023