HDFS、MapReduce原理--学习笔记

1.Hadoop框架

1.1框架与Hadoop架构简介

(1)广义解释
从广义上来说,随着大数据开发技术的快速发展与逐步成熟,在行业里,Hadoop可以泛指为:Hadoop生态圈。
也就是说,Hadoop指的是大数据生态圈整体。
(2)狭义解释
从狭义上来说,Hadoop是指Hadoop这个开源框架,它的核心组件有:
a)HDFS(分布式文件系统):解决海量数据存储;
b)MapReduce(分布式计算):解决海量数据计算;
c)YARN(作业资源调度):解决资源任务调度。
为什么大数据框架Hadoop需要引入分布式技术呢?
分布式指的是:多台计算机(或服务器)完成不同事情。
比如,多台电脑完成不同工作,类似于:一个餐厅厨房有3个人,一个人买菜、一个人切菜、一个人炒菜,效率提高了
从广义上来说,Hadoop指的是Hadoop大数据生态圈;而从狭义上而言,Hadoop是指Hadoop开源框架。

2.HDFS组件

2.1HDFS简介

HDFS(Hadoop Distribute File System)指的是:Hadoop分布式文件系统,是Hadoop核心组件之一,用于提供分布式存储服务。
HDFS分布式文件系统的基础架构是怎样的呢?包含三个角色:
(1)NameNode主节点

HDFS系统的主角色,是一个独立的进程。
a)负责管理HDFS整个文件系统;
b)负责管理DataNode。

(2)DataNode从节点

HDFS系统的从角色,是一个独立进程。
a)主要负责数据的存储,即存入数据和取出数据。

(3)Secondary NameNode辅助节点

NameNode的辅助,是一个独立进程。
a)主要帮助NameNode完成元数据整理工作(打杂)。[Hive]
1)数据信息存储在了HDFS分布式文件系统中
(2)使用DataGrip客户端编写HQL程序
(3)MySQL存储元数据,且映射存储在HDFS中的数据信息

由于单机存储性能有限,此时,采用更多数量的服务器提供分布式存储,可以实现1+1>2的效果。

2.2 管理数据资源

1,分块管理
当有了HDFS分布式文件存储系统,就可以来存储数据文件了。
那么,当把大小不一的数据文件存储到各台服务器中,会遇到什么麻烦呢?
(1)在hdfs-site.xml文件中配置[了解]
要如何设置默认文件上传到HDFS中拥有的副本数量呢?路径名:

/export/server/hadoop/etc/hadoop/hdfs-site.xml
# 在文件中的<configuration>标签内做设定.
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

HDFS在使用分块管理数据的同时,还对数据块进行了备份处理,并实现了三副本机制。

2.3edits与fsimage

我们知道,在HDFS中,文件是被划分了一堆堆的block块
那么,如果文件很大且很多,而HDFS又是如何记录及整理文件和block块的关系呢?
实际上,NameNode主节点就会负责处理这些问题。

在NameNode主节点中,有:
(1)edits:负责记录文件、块信息,有很多edits
(2)fsimage:会将多个edits合并为fsimage

(1)edits
edits是一个流水账文件,记录了HDFS中的每一次操作,以及本次操作影响的文件及对应的block信息。
(2)fsimage
为了操作便捷,会将全部的edits,都合并为最终结果,此时,就得到了一个fsimage文件。
通常地,edits用于记录每一次操作,多个或所有edits文件合并成fsimage。

2.4查看元数据文件

了解了edits和fsimage后,则会有个问题产生:edits和fsimage存放在哪呢?

1)NameNode存放路径:
edits和fsimage路径: /export/data/hadoop/dfs/name/current2)DataNode存放路径
edits和fsimage路径: /export/data/hadoop/dfs/data/current

在HDFS基础架构的不同角色中,对于元数据的处理遵循:
(1)NameNode:元数据管理维护
(2)SecondaryNameNode:元数据合并
(1)NameNode:元数据管理维护
NameNode基于edits和FSImage的配合,会完成整个文件系统数据文件的管理:

a)每次对HDFS的操作,均被edits文件记录
b)edits达到大小上限后,会开启新的edits记录
c)定期进行edits的合并操作
如当前没有fsimage文件,会将全部edits合并为第一个fsimage;
如当前已存在fsimage文件,将全部edits和已存在的fsimage进行合并,形成新的fsimage;
d)重复123流程。

(2)SecondaryNameNode:元数据合并
SecondaryNameNode会通过http从NameNode拉取数据(edits和fsimage),然后合并完成后,定期提供给NameNode使用。
对于元数据的合并,是一个定时过程,只要有一个达到条件就执行。基于:

dfs.namenode.checkpoint.period,默认3600(秒)即1小时
dfs.namenode.checkpoint.txns,默认1000000,即100W次事务

检查是否达到条件,默认60秒检查一次,基于:

dfs.namenode.checkpoint.check.period,默认60(秒),来决定

2.5元数据存储原理

HDFS的基础架构为:
(1)NameNode主节点
用于管理HDFS元数据(文件路径,文件的大小,文件的名字,文件权限,文件的block切片信息….)。
(2)DataNode从节点
用于真正存储数据块。
(3)Secondary NameNode辅助节点
用于辅助NameNode,并分担其工作量。
元数据在NameNode、Secondary NameNode之间是怎么来存储的呢?

1)NameNode
1)NameNode第一次启动时,先把最新的fsimage文件中内容加载到内存中,同时会把
edits文件中内容也加载到内存中;
2)客户端发起指令(增删改查等操作),NameNode接收到客户端指令把每次产生的新的指令操作先放到内存中;
3)然后把刚才内存中新的指令操作写入到edits_inprogress文件中;
4)edits_inprogress文件中数据到了一定阈值的时候,把文件中历史操作记录写入到序列化的edits备份文件中(同时更新文件名);
5)NameNode就在上述2-4步中循环操作...

(2)Secondary NameNode

1)当Secondary NameNode检测到自己距离上一次检查点(checkpoint)已经1小时或者事务数达到100w,就触发Secondary NameNode询问NameNode是否对edits文件和fsimage文件进行合并操作;
2)NameNode告知可以进行合并;
3)Secondary NameNode将NameNode上积累的所有edits和一个最新的fsimage下载/拉取到本地,并加载到内存进行合并(这个过程称检查点checkpoint);
4)Secondary NameNode把刚才合并后的fsimage.checkpoint文件拷贝给NameNode;
5)NameNode把拷贝过来的最新的fsimage.checkpoint文件,重命名为fsimage,覆盖原来的文件。

一般地,edits、fsimage存储的文本内容都进行了序列化和反序列化操作,因此内容基本乱码。

2.6HDFS存储原理

副本机制
当使用HDFS分布式文件系统存储数据时,遵循三个原理机制:(1)副本机制
(2)负载均衡机制
(3)心跳机制
副本机制指的是:为了保证数据安全和效率,每个block块会默认切割为128MB(134217728字节),且block块信息会存储多个副本,默认是3个。
而当存储多个副本,满足条件:

1)第一副本保存在客户端所在服务器;
(2)第二副本保存在和第一副本不同机架服务器上;
(3)第三副本保存在和第二副本相同机架的不同服务器中。

Rack是机架名称,Node是服务器名称。机架与服务器之间满足:

1)一个机架上,可以安装多台服务器
(2)一个服务器中,运行一个DataNode服务

block如何选择写入副本的DataNode呢?

a)第一个副本选择本地机架,距离近,上传速度快;
b)第二个副本选择远程机架的随机节点,保证数据的可靠性;
c)第三个副本选择第二个副本所在机架的随机节点,而不是其他机架,是同时兼顾可靠性+效率的。

当备份第2、3个副本时,通常存放在一个机架中,遵循就近原则。

2.7负载均衡机制

负载均衡就是一种计算机网络技术,用来在计算机集群、网络连接、CPU、磁盘或其他资源中分配负载,以达到最佳化资源使用、最大化吞吐率、最小化响应时间,同时避免过载的目的。
通俗地说,负载均衡就是给各个服务器node分配的任务尽可能均匀一些,不至于谁特别闲,谁又特别忙。
负载均衡机制是NameNode为了保证不同的DataNode中block块信息大体一致,而分配存储任务时,会优先保存在存储容量比较大的DataNode上。
一般地,集群往往需要通过负载均衡,来对外提供服务。而HDFS存储数据时,也遵循负载均衡机制。
在负载均衡机制下,节点的磁盘利用率会尽可能的均等。
比如,在集群环境中,不同服务器存储的block信息效果。
虽然HDFS存储数据时,遵循负载均衡,但这种均衡属于相对均衡,即尽可能均等分配。

2.8心跳机制

心跳机制就是每隔几分钟发送一个固定信息给服务端,服务端收到后回复一个固定信息。如果服务端几分钟内,没有收到客户端信息,则视客户端已断开。发包方可以是
客户端,也可以是服务端,具体看哪边实现更方便、合理。

1)DataNode每隔3秒钟向NameNode汇报自己的状态信息;
(2)如果某个时刻,DataNode连续10次不汇报了,NameNode会认为DataNode有可能宕机了;
(3)NameNode就会每5分钟(300000毫秒)继续发送一次确认消息,连续2次没有收到回复,就认定DataNode此时一定宕机了。

2.9HDFS读写数据

HDFS写入数据流程
在HDFS写入数据时,有几个注意事项:

1)数据包
每次读取64kb大小的数据,称之为一个packet数据包。然后将packet数据包写入一个队列中,反复多次读完文件的全部数据,且都会写入到队列(data queue)中;
(2)记录信息
NameNode会对文件进行一系列检查,比如是否有同名文件、路径对不对等,并记录新文件的信息到元数据中,以及记录文件写入的数据块信息
(3)保存副本
NameNode会管理对应的DataNode,确认数据是否已经被保存在block块中。当检测到至少保存了一个副本的数据,则认为数据已保存成功。

写入流程:

1)客户端给NameNode,发起写入数据的请求;
2)NameNode接收到客户端请求后,开始校验(是否有权限、路径是否存在、文件是否
存在等),如果校验成功,就告知客户端可以准备写入数据;
3)客户端收到可以写入的消息后,开始把文件数据分割成默认128MB大小的block块,并且把block块数据拆分成64kb的packet数据包,然后放入传输队列;
4)客户端携带block块信息,再次向NameNode发送请求,获取能够存储block块的DataNode列表;
5)NameNode查看当前距离上传位置较近且不忙的DataNode,放入列表中,返回给客户端;
6)客户端连接DataNode,开始发送packet数据包,第一个DataNode接收完后,就给客户端ack应答(客户端就可以传入下一个packet数据包),同时第一个DataNode开始复制刚才接收到的数据包给DataNode2,接收后也复制给DataNode3(复制成功也需要返回ack应答),最终建立了pipeline传输通道以及ack应答通道;
7)其他packet数据包,根据第一个packet数据包经过的传输通道和应答通道,循环传入packet,直到当前block块传输完成(存储了block信息的DataNode需要把已经存储的块信息定期的同步给NameNode);
8)其他block块数据存储,反复多次执行上述4-7步,直到所有block块传输完成,意味着文件数据被写入成功(NameNode把该文件的元数据也要保存);
9)最后客户端和NameNode互相确认,文件数据已经保存完成。

2.10HDFS读取数据流程

在HDFS读取数据时,有几个注意事项:
NameNode会对文件进行一系列检查,比如如文件是否存在,是否有权限获取等。
读取流程:

1)客户端给NameNode发送读取文件请求;
2)NameNode接收到请求,然后进行一系列校验(路径是否存在、文件是否存在、是否有权限等),如果没有问题,就告知可以开始读取;
3)客户端需要再次和NameNode确认当前文件在哪些DataNode中存储;
4)NameNode查看当前距离下载位置较近且不忙的DataNode,放入列表中返回给客户端;
5)客户端找到最近的DataNode开始读取文件对应的block块信息(每次传输是以64kb的packet数据包),放到内存缓冲区中;
6)接着读取其他block块信息,循环上述3-5步,直到所有block块读取完毕(根据块编号拼接成完整数据)7)最后从内存缓冲区把数据通过流写入到目标文件中。

3,归档模式

,为什么要归档呢?
在存入数据文件到HDFS时,会发现每个小文件单独存放到HDFS都会占用一个block块,那么HDFS就需要依次存储每个小文件的元数据信息,浪费资源。当然,归档后也更加便于集中管理!
当要对一些数据文件进行归档时,语法:
hadoop archive -archiveName 归档名称.har -p 原始文件的目录 归档文件的存储目录
归档后文件结尾为.har。
若要查看归档后的目录或文件信息,可以使用命令:

# 查看文件或目录列表信息
hdfs dfs -ls 目录或文件名
# 查看文件内容
hdfs dfs -cat 文件名
# 查看归档内的单个文件内容
hdfs dfs -cat har:///xxx/归档名称.har/文件名hadoop archive -archiveName test.har -p
/itheima/code /arch

3.1垃圾桶机制

垃圾桶模式,类似于Windows系统的回收站

1)未设定垃圾桶模式时
删除数据则无法恢复,直接永久删除了
(2)设定垃圾桶模式后
已删除的文件或不会立刻消失,而是会存放在HDFS
的/user/root/.Trash/Current/目录下
此时,可以去垃圾桶里把文件进行恢复,并继续使用

当设定垃圾桶模式时,有两种常见方式:

1)直接在Shell中使用vi命令修改
这个方式设定垃圾桶模式有个缺陷: 先关闭Hadoop服务,比如在node1中执行
stop-all.sh,而后再启动服务
(2)使用第3方终端软件修改,比如NotePad++
修改模式后,保存文件即可生效.
/export/server/hadoop-3.3.0/etc/hadoop
# 找到core-site.xml

修改core-site.xml文件,记得必须先在文件的标签下添加

<!-- 设置垃圾桶模式 -->
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>

当设定为垃圾桶模式后,可以执行命令:

# 删除hdfs中的某文件
hdfs dfs -rm 文件名
# 恢复已删除的文件
hdfs dfs -mv /user/root/.Trash/Current/路径及文件名 指定恢复到的目录名

当未设定垃圾桶模式时,删除文件则直接被丢失了。[注意]
还需注意的是:在Web页面上点击按钮删除文件时,是永久删除(会跳过回收站,直接删除)。
当在HDFS中,从垃圾桶中恢复数据,执行的是mv移动命令

4,MapReduce组件

MapReduce简介
MapReduce表示分布式计算,顾名思义,即以分布式技术完成数据的统计,得到需要的结果。
MapReduce也是Hadoop核心组件之一,用于提供分布式计算服务。
a)Map阶段并行处理输入的数据;
b)Reduce阶段对Map结果进行汇总处理。
在大数据开发技术下的分布式计算引擎,常见模式有

1)分散 -> 汇总模式
MapReduce
(2)中心调度 -> 步骤执行模式
Spark、Flink

4.1统计词频

1)先要进入到mapreduce所在目录,命令:

cd /export/server/hadoop-3.3.0/share/hadoop/mapreduce

2)接着,执行案例程序命令:

hadoop jar hadoop-mapreduce-examples-3.3.0.jar 案例名 数据文件路径名 生成结果路径名

4.2WordCount原理

值得注意的是,MapReduce的核心思想:分而治之。
所谓分而治之,就是把一个复杂的问题按一定的 分解方法分为规模较小的若干部分,然后逐个解决,分别找出各部分的解,再把各部分的解组成整个问题的结果。在这期间:

1)Map:负责【分】,即把复杂的任务分解为若干个“简单的任务”来并行处理;
(2)Reduce:负责【合】,即对map阶段的结果进行全局汇总处理。

a. Map功能接口提供了【分散】的功能, 由服务器分布式对数据进行处理;
b. Reduce功能接口提供了【汇总(聚合)】的功能,将分布式的处理结果汇总统计。[分析]
此时,我们就来简单分析一下,WordCount案例是如何通过MapReduce完成分布式计算的?
假定有4台服务器用来执行MapReduce任务,其中,3台服务器执行Map,1台服务器执行Reduce。
对于MapReduce执行任务的流程,要多思考加多动手实践,才能出真知

4.3MapReduce阶段任务

MapReduce计算会依次走3个阶段任务:
阶段1:Map阶段
阶段2:Shuffle阶段
阶段3:Reduce阶段 [wordcount]
MapReduce在Map阶段的基本流程:

1步:是把输入目录下文件按照一定的标准逐个进行逻辑切片,形成切片规划。默认情况下,Split size等于Block size[128MB]。每一个切片由一个MapTask处理(当然,也可以通过参数单独修改split大小);
第2步:是对切片中的数据按照一定的规则解析成对。默认规则是把每一行文本内容解析成键值对。key是每一行的起始位置(单位是字节)value是本行的文本内容;
第3步:是调用Mapper类中的map()方法。把上阶段中每解析出来的一个,都调用一次map()方法,而每次调用map()方法都会输出零个或多个键值对;
第4步:是按照一定的规则,对第3步输出的键值对进行分区。默认是只有一个区。分区的数量就是Reducer任务运行的数量。且默认只有一个Reducer任务;
第5步:是对每个分区中的键值对进行排序。首先,按照键进行排序,对于键相同的键值对,按照值进行排序。比如三个键值对<2,2><1,3><2,1>,键和值分别是整数。那么排序后的结果是<1,3><2,1><2,2>。如果有第6步,那么进入第6步;如果没有,直接输出到文件中;
第6步:是对数据进行局部聚合处理,也就是combiner(规约、组合)处理。键相等的键值对会调用一次reduce方法。经过这一步,数据量会减少。当然,本步骤默认是没有的。

阶段2:Shuffle阶段[数据小块 -> 合并且排序后结果]
shuffle阶段是Mapreduce的核心,它分布在Mapreduce的map阶段和reduce阶段之间。一般把从Map产生输出开始到Reduce取得数据作为输入之前的过程称作shuffle。依次进行

Collect(收集) -> Spill(溢出) -> Merge(合并) -> Copy(复制) ->
Merge(合并) -> Sort(排序)
1
Collect阶段:将MapTask的结果输出到默认大小为100M的环形缓冲区,保存的是
key/valuePartition分区信息等;Spill阶段:当内存中的数据量达到一定的阀值(80%)的时候,就会将数据写入本地磁盘,在将数据写入磁盘之前需要对数据进行一次排序的操作,如果配置了combiner,还会将有相同分区号和key的数据进行排序;Merge阶段:把所有溢出的临时文件进行一次合并操作,以确保一个MapTask最终只产生一个中间数据文件;Copy阶段: ReduceTask启动Fetcher线程到已经完成MapTask的节点上复制一份属于自己的数据,这些数据默认会保存在内存的缓冲区中,当内存的缓冲区达到一定的阀值的时候,就会将数据写到磁盘之上;Merge阶段:在ReduceTask远程复制数据的同时,会在后台开启两个线程对内存到本地的数据文件进行合并操作;Sort阶段:在对数据进行合并的同时,会进行排序操作,由于MapTask阶段已经对数据进行了局部的排序,ReduceTask只需保证Copy的数据的最终整体有效性即可。

阶段3:Reduce阶段[各部分结果 -> 合并总结果]
MapReduce在Reduce阶段的基本流程:

1步:是Reducer任务会主动从Mapper任务复制其输出的键值对。Mapper任务可能会有很多,因此Reducer会复制多个Mapper的输出;第2步:是把复制到Reducer本地数据,全部进行合并,即把分散的数据合并成一个大的数据,再对合并后的数据排序;
第3步:是对排序后的键值对调用reduce方法。键相等的键值对调用一次reduce方法,每次调用会产生零个或者多个键值对。最后把这些输出的键值对写入到HDFS文件中。

当要把数据进行收集且排序处理的阶段,一般是指Shuffle阶段
注意:MapReduce是Hadoop中的分布式计算组件,一般以【分散->汇总(聚合)模式】执行计算任务。

请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/148194.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

多线程(初阶)

文章目录 一、认识线程&#xff08;Thread&#xff09;1.1 概念1.1.1 什么是线程1.1.2 为什么要有线程1.1.3 进程和线程的区别&#xff08;重要&#xff09;1.1.4 Java的线程和操作系统线程的关系 1.2 第一个多线程 程序1.3 创建线程&#xff08;重要&#xff09;1.3.1 继承 Tr…

iframe渲染后端接口文件和实现下载功能

一&#xff1a;什么是iframe&#xff1f; 1、介绍 iframe 是HTML 中的一种标签&#xff0c;全称为 Inline Frame&#xff0c;即内联框架。它可以在网页中嵌入其他页面或文档&#xff0c;将其他页面的内容以框架的形式展示在当前页面中。iframe的使用方式是通过在HTML文档中插入…

Linux_安装docker

安装包管理工具yum-utils&#xff0c;并设置docker储存库&#xff08;如果已有&#xff0c;不用安装&#xff09; # 安装包管理工具 sudo yum install -y yum-utils # 安装docker储存库 sudo yum-config-manager \--add-repo \http://mirrors.aliyun.com/docker-ce/linux/cen…

react之基于@reduxjs/toolkit使用react-redux

react之基于reduxjs/toolkit使用react-redux 一、配置基础环境二、使用React Toolkit 创建 counterStore三、为React注入store四、React组件使用store中的数据五、实现效果六、提交action传递参数七、异步状态操作 一、配置基础环境 1.使用cra快速创建一个react项目 npx crea…

python图

有向图&#xff1a;图中的每条边都有方向的图叫有向图。此时&#xff0c;边的两个顶点有次序关系&#xff0c;有向边 < u,v>成为从顶点u到顶点v的一条弧&#xff0c;u成为弧尾&#xff08;始点&#xff09;&#xff0c;v成为弧头&#xff08;终点&#xff09;&#xff0c…

我叫:选择排序【JAVA】

1.我是个啥子&#xff1f;&#xff1f; 选择式排序&#xff1a;属于内部排序法,从欲排序的数据中,按指定的规则选出某一元素&#xff0c;再依规定交换位置后达到排序的目的。 2.我的思想 基本思想:第一次从arr[0]~arr[n-1]中选取最小值&#xff0c;与arr[0]交换&#xff0c;第…

【C++】类和对象(7)--友元, static成员

目录 一 友元 1 友元概念 2 友元函数 3 友元类 二 static成员 1 概念 2 用法 3 static成员特性 4 例题 一 友元 1 友元概念 友元提供了一种突破封装的方式&#xff0c;有时提供了便利。但是友元会增加耦合度&#xff0c;破坏了封装&#xff0c;所以 友元不宜多用。 …

2023年高压电工证考试题库及高压电工试题解析

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 2023年高压电工证考试题库及高压电工试题解析是安全生产模拟考试一点通结合&#xff08;安监局&#xff09;特种作业人员操作证考试大纲和&#xff08;质检局&#xff09;特种设备作业人员上岗证考试大纲随机出的高压…

【碰碰球】弹珠游戏-微信小程序项目开发流程详解

还记得小时候玩过的弹珠撞击游戏不&#xff0c;这里把它的实现原理通俗易懂地讲一下&#xff0c;看看怎样实现一个碰碰球(弹珠)小游戏&#xff0c;除了个人玩法&#xff0c;也可以双人玩哦&#xff0c;与打乒乓球一样的&#xff0c;可练习临场反应。 创建项目 打开微信开发者…

前端面试:如何实现并发请求数量控制?

题目&#xff1a;实现一个并发请求函数concurrencyRequest(urls, maxNum) 要求如下&#xff1a; 要求最大并发数 maxNum;每当有一个请求返回&#xff0c;就留下一个空位&#xff0c;可以增加新的请求;所有请求完成后&#xff0c;结果按照 urls 里面的顺序依次打出&#xff1b;…

DE算法简介

文章目录 前言一、DE是什么&#xff1f;二、DE流程2.1 初始化种群2.2 变异&#xff08;差分操作&#xff09;2.3 交叉2.4 选择2.5 重复迭代 三、DE运行结果 前言 这两天看了DE算法&#xff0c;简单说下自己的认识 一、DE是什么&#xff1f; 百科定义&#xff1a;差分进化算…

Vue+ElementUI技巧分享:自定义表单项label的文字提示

文章目录 概要在表单项label后添加文字提示1. 使用 Slot 自定义 Label2. 添加问号图标与提示信息 slot的作用详解1. 基本用法2. 具名插槽 显示多行文字提示的方法1. 问题背景2. 实现多行内容显示3. 样式优化 结语 概要 在Vue和ElementUI的丰富组件库中&#xff0c;定制化表单是…

Linux进程间通信之匿名管道

文章目录 为什么要有进程间通信pipe函数共享管道原理管道特点管道的四种情况 管道的应用场景&#xff08;进程池&#xff09;ProcessPool.ccTask.hpp 为什么要有进程间通信 数据传输&#xff1a;一个进程需要将它的数据发送给另一个进程 资源共享&#xff1a;多个进程之间共享…

Vue3-自定义hook函数

Vue3-自定义hook函数 功能&#xff1a;可以将组合式API封装成一个函数&#xff0c;用于解决代码复用的问题。注意&#xff1a;需要在src文件夹下创建一个文件夹hooks&#xff0c;在里面放js文件&#xff0c;命名随意&#xff0c;主要是将setup函数中的代码放入js文件中。 // s…

Windows10下Maven3.9.5安装教程

文章目录 1.下载maven2.安装3.配置系统变量3.1.新建系统变量 MAVEN_HOME3.2.编辑系统变量Path 4.CMD命令测试是否安装成功5.配置maven本地仓库6.配置国内镜像仓库 1.下载maven 官网 https://maven.apache.org/download.cgi 点击下载。 2.安装 解压到指定目录 D:\installSoft…

计算机硬件的基本组成

一、冯诺依曼结构 存储程序&#xff1a; “存储程序”的概念是指将指令以二进制代码的形式事先输入计算机的主存储器&#xff0c;然后按其在存储器中的首地址执行程序的第一条指令&#xff0c;以后就按该程序的规定顺序执行其他指令&#xff0c;直至程序执行结束。 冯诺依曼计…

io多路复用:select、poll和epoll

1、为什么使用多路复用&#xff1a; 1.1单线程BIO监听socket 多路复用一般用于网络io当中&#xff0c;提到网络io我们肯定能想到socket。如果我们想要一个线程单纯的用向下文的方式监听很多个socket看他是否有事件发生&#xff0c;那这样是不可行。 但上一个socket1没有可读事…

Codewhisperer 使用评价

最近亚⻢逊推出了一款基于机器学习的 AI 编程助手 Amazon CodeWhisperer&#xff0c;可以实时提供代码建议。在编写代码时&#xff0c;它会自动根据现有的代码和注释给出建议。Amazon CodeWhisperer 与GitHub Copilot类似&#xff0c;主要的功能有: 代码补全注释和文档补全代码…

Banana Pi BPI-W3之RK3588安装Qt+opencv+采集摄像头画面.

场景&#xff1a;在Banana Pi BPI-W3 RK3588上做qt开发工作RK3588安装Qtopencv采集摄像头画面 2. 环境介绍 硬件环境&#xff1a; Banana Pi BPI-W3RK3588开发板、MIPI-CSI摄像头( ArmSoM官方配件 )软件版本&#xff1a; OS&#xff1a;ArmSoM-W3 Debian11 QT&#xff1a;QT5…

MySQL/Oracle用逗号分割的id怎么实现in (逗号分割的id字符串)。find_in_set(`id`, ‘1,2,3‘) 函数,

1.MySQL 1.1.正确写法 select * from student where find_in_set(s_id, 1,2,3); 1.2.错误示范 select * from student where find_in_set(s_id, 1,2 ,3); -- 注意&#xff0c;中间不能有空格。1、3 select * from student where find_in_set(s_id, 1,2, 3); -- 注意…