BGP路由知识点

目录

1.BGP的工作原理:

2.BGP路由的一般格式:

3.三种不同的自治系统AS

4.BGP的路由选择

5.BGP的四种报文


BGP(Border Gateway Protocol)是一种用于自治系统(AS)之间的路由选择协议。它是互联网中最常用的外部网关协议,负责在不同自治系统之间交换网络前缀信息,以便实现跨网络的数据转发。

我们首先应当弄清,在不同自治系统AS 之间的路由选择为什么不能使用内部协议,如RIP或OSPF?

我们知道,内部网关协议(如RIP或OSPF)主要是设法使数据报在一个AS 中尽可能有效地从源站传送到目的站。在一个 AS内部也不需要考虑其他方面的策略。然而 BGP使用的环境却不同。这主要是因为以下的两个原因:

第一,互联网的规模太大,使得自治系统AS之间路由选择非常困难。连接在互联网主干网上的路由器,必须对任何有效的 IP 地址都能在转发表中找到匹配的网络前缀。目前在互联网的主干网路由器中,一个转发表的项目数甚至可达到50万个网络前缀。如果使用链路状态协议,则每一个路由器必须维持一个很大的链路状态数据库。对于这样大的主干网用Dikstra 算法计算最短路径时花费的时间也太长。另外,由于自治系统AS各自运行自己选定的内部路由选择协议,并使用本 AS 指明的路径度量,因此,当一条路径通过几个不AS时,要想对这样的路径计算出有意义的代价是不太可能的。例如,对某 AS来说,代价为1000可能表示一条比较长的路由。但对另一AS,代价为 1000却可能表示不可接受的坏路由。因此,对于自治系统AS之间的路由选择,要用“代价”作为度量来寻找最佳路由也是很不现实的。比较合理的做法是在自治系统之间交换“可达性”信息(即“可到达”或“不可到达”)。例如,告诉相邻路由器:“到达网络前缀N可经过自治系统AS_{x}”。

第二,自治系统AS之间的路由选择必须考虑有关策略。由于相互连接的网络的性能相差很大,根据最短距离(即最少跳数)找出来的路径,可能并不合适。也有的路径的使用代价很高或很不安全。还有一种情况,如自治系统AS1要发送数据报给自治系统AS2,本来最好是经过自治系统AS3。但AS3不愿意让这些数据报通过本自治系统的网络,即使AS1愿意付一定的费用。但另一方面,自治系统 AS3 愿意让某些相邻自治系统的数据报通过自己的网络,特别是对那些付了服务费的某些自治系统更是如此。因此,自治系统之间的路由选择协议应当允许使用多种路由选择策略。这些策略包括政治、安全或经济方面的考虑。例如,我国国内的站点在互相传送数据报时不应经过国外兜圈子,特别是,不要经过某些对我国的安全有威胁的国家。这些策略都是由网络管理人员对每一个路由器进行设置的,但这些策略并不是自治系统之间的路由选择协议本身。还可举出一些策略的例子,如:“仅在到达下列这些地址时才经过 AS_{x}”,“AS_{x}AS_{y}相比时应优先通过AS_{x}”,等等。显然,使用这些策略是为了找出较好的路由而不是最佳路由。

所以边界网关协议 BGP 只能是力求选择出一条能够到达目的网络目比较好的路由(不能兜圈子)而并非要计算出一条最佳路由。这里所说的 BGP路由,是指经过哪些自治系统AS 可以到达目的网络前缀。当然,这选择出的比好的路由,也有时不严格地称为最佳路由。BGP采用了路径向量(path vector)路由选择协议,它与距离向量协议(如RIP)和链路状态协议(如 OSPF)都有很大的区别。

1.BGP的工作原理:

在一个自治系统 AS中有两种不同功能的路由器,即边界路由器(或边界网关)和内部路由器,一个AS至少要有一个边界路由器和相邻 AS 的边界路由器直接相连。
当两个边界路由器(如图(a)中的 R1和 R2)进行通信时,必须先建立TCP连接(端口号为 179),这种TCP 连接又称为半永久性连接(即双方交换完信息后仍然保持着连接状态)。像 R1和 R2之间的这种连接称为 eBGP 连接,e表示外部 extemal。现在,边界路由器 R1 可通过 eBGP 向对等端R2发送BGP路由“X,AS1,R1”,意思是“从R1经AS1可到达X”。这样,通过eBGP连接,AS2中的边界路由器R2,就知道了到达AS1中的前缀X的BGP路由。

但是,仅有边界路由器 R2 知道“到AS1的前缀X的BGP 路由”是远远不够的。边界路由器R2应当把获得的 BGP路由,再转发给AS内部的其他路由器。为此,协议 BGP 规定,在AS 内部,两个路由器之间还需要建立 iBGP(也就是 BGP 连接,i表示内部ntemal),iBGP也使用TCP连接传送 BGP报文。如图(b)中表示边界路由器 R2 在三个iBGP 连接上,向 AS2内部的其他三个路由器转发自己收到的 BGP 路由。至此,AS2内的所有路由器都知道了这条 BGP 路由信息。由此可见,协议 BGP 并非仅运行在AS之间,而且也要运行在AS的内部。

注:

这里要说明一下。图(a)中的边界路由器 R1 通告给边界路由器 R2的 BGP 路由可能有很多条(在图中只画出了一条)。但 R2根据本 AS 管理员所规定的策略,可以拒绝某些由(收到这种路由后即删除掉),而在 iBGP连接上仅转发符合规定策略的 BGP路由。


协议BGP规定,在一个AS 内部所有的 iBGP 必须是全连通的。即使两个路由器之间没有物理连接,但它们之间仍然有iBGP 连接。

iBGP和eBGP的关联:

从 eBGP 对等端收到的BGP路由,可通过iBGP告诉同一AS内的对等端。反过来也是可以的,即从iBGP对等端收到的 BGP 路由,可通过 eBGP 告诉在不同AS的对等端。但是,从 iBGP 对等端收到BGP路由,不能转告给同一个AS内不同iBGP的对等端。

上图中,每一个AS都必须运行本AS选择的内部网关协议IGP,例如OSPF或RIP。而协议BGP是在iBGP连接和eBGP连接之上运行的。

还有一个问题,当AS2内的路由器R4在收到BGP路由“X,AS1,R1”后,知道了“从R1出发就能到达AS1中的前缀X”,但是路由器R4应当怎样构造自己的转发表呢? 这需要经过两次递归查找

首先,R4要把这条 BGP 路由的起点进行转换。原来的 BGP 路由是“R1一>X”,路由的起点 R1 并不在 AS2中。AS2中的路由器都不能识别 R1。因此现在 R4 要把 BGP 路由的起点改为R1 的对等端R2,把BGP 路由变为“R2一>R1一>X”。由于R2位于AS2中,因此AS,里面的所有路由器都能把分组转发到R2,然后就能再经过 R1,最后到达前缀X。

其次,R4要利用内部网关协议,找到从 R4到 R2的最佳路由中的下一跳。在本例中,查出下一跳是 R3,于是R4在转发表中增加了到达前缀X的下一跳是 R3这一项目。

用类似的方法,路由器 R3 也在自己的转发表中增加了到达前缀X的项目。

这样,路由器R4只要收到要到达前缀X的分组,都按照R4-->R3-->R2-->R1-->X的路径最后到达前缀X。
总之,每一个路由器收到一条新的 BGP 路由通告后,必须经过上述步骤,才能在自的转发表中,增加到达终点的“下一跳”的相应项目。
在实际的转发表中,“前缀匹配”项目都用 CIDR 记法表示。由于路由器有两个以接口,因此“下一跳”项目用进入该路由器的接口的IP 地址来表示。

2.BGP路由的一般格式:

前缀就是通告的 BGP 路由终点(子网前缀)。

BGP属性有好几种类型,但最重要两个就是这里列出的AS-PATH和NEXT-HOP。

AS-PATH(自治系统路径)是通告的 BGP 路由所经过的自治系统。BGP 路由每经过一个AS,就将其自治系统号 ASN 加入到 AS-PATH 中。从这里可以清楚地看出,“BGP路由必须指出通过哪些自治系统AS,但不指出路由中途要通过哪些路由器。
NEXT-HOP(下一跳)是通告的 BGP 路由起点。

3.三种不同的自治系统AS

在互联网中自治系统 AS 的数量非常之多,其连接图也是相当复杂的。但归纳起来,可以把AS划分为图中所示的三大类,即末梢AS (stub AS)、穿越AS(transit AS)和对等AS(peering AS)。

末梢AS 是比较小的AS(如图中的AS4 ,AS5和AS6,其特点是这些AS 或者把分组发送给其直接连接的 AS,或者从其直接连接的 AS 接收分组,但不会把来自其他 AS 的分再转发到另一个 AS。末梢 AS 必须向所连接的 AS 付费才能发送或接收分组。
末梢AS也可以同时连接到两个或两个以上的 AS(如图中的 AS5)。这种末梢AS就称为多归属AS(multihomed AS)。多归属AS可以增加连接的可靠性,因为若有一条连接出现故障,那么还有另一条连接可用。作为末梢AS的AS5不能把AS3发送过来的分组转发到AS2。同理,AS5也不能把 AS2发送过来的分组转发到 AS3。这就是说,末梢 AS 不是穿越 AS,它不允许分组穿越自己的自治系统。末梢 AS也不能把(AS5-->AS2-->AS4)这样的BGP路由信息通告给AS3。如果AS3有分组要转发给AS4,可以通过对等AS2转发,但不能通过末梢AS5。
如图所示的穿越AS1往往是拥有很好的高速通信干线的主干AS,其任务就是为其他的AS有偿转发分组。通常都会有很多的AS 连接到穿越AS上。
对等AS(如图中的AS2和AS3)是经过事先协商的两个 AS,彼此之间的发送或接收分组都不收费,这样大家转发分组都比较方便。
注:BGP 路由必须避免兜圈子的出现。AS3向AS1通告可到达 AS6 的 BGP 路由中的属性AS-PATH 是[AS3,AS6],AS1在收到的 BGP 路由的属性 AS-PATH 中的最前面,添加上自己的 AS,通报给 AS2:[AS1 AS3 AS6]。AS2收到 BGP 路由后,向AS3通报 BGP 路由属性AS-PATH是[AS2 AS1 AS3 AS6] 。当AS3收到BGP路由后,检查属性AS-PATH序列中已经有了自己的AS3,如果AS3接受这个路由,并添加上本 AS 号,则将在属性 AS-PATH 中出现两个 AS3 :[AS3 AS2 AS1 AS3 AS6 ]。这就构成了一个兜圈子的 BGP 路由,因此AS3应立即删除此BGP路由,因而避免了兜圈子路由的出现。也就是说,在属性 AS-PATH 中不允许出现相同的AS。
AS3还可向AS2通报可到达 AS6 的另一条 BGP 路由,其AS-PATH是[AS3 AS6]。因此AS2知道有两条BGP路由可到达AS6,其AS-PATH是[AS2 AS1 AS3 AS6]和[AS2 AS3 AS6]。

4.BGP的路由选择

假如从一个 AS到另外一个 AS 中的前缀X 只有一条 BGP 路由,那么就不存在选择BGP路由的问题,因为这时BGP路由是唯一的。
但如果到前缀X有两条或更多的 BGP 路由可供选择,那么就应当根据以下的原则,按照这里给出的先后顺序,选择一条较好的BGP路由

(1)本地偏好LOCAL-PREF(LOCAL PREFerence)值最高的路由要首先选择。

在BGP路由中的属性里面有一个选项叫作本地偏好,在属性中记为 LOCAL-PREF。本地偏好也就是本地优先,“本地”的意思是指,从本 AS 开始的、到同一个前缀的不同 BGP路由中,挑选一个较好的(即偏好值最高的)路由。这可由路由器管理员或网络管理员根据政治上或经济上的策略来设置。
例如在图中,AS分别用高速和低速链路连接到AS2和AS3,并从这两个 AS获悉可通过AS2或AS3到达AS4。但AS1认为,若有分组要从AS1转发到AS4,应优先选择路由器R1离开AS1。于是就把从 R1离开AS1的BGP 路由的属性 LOCAL-PREF 值设为 300,而把从R2离开AS1的 BGP 路由的 LOCAL-PREF 值设为 200。这一信息通过i BGP通告AS1内部的所有路由器。这样,凡是有分组要转发到 AS4,都优先选择从R1离开AS1。

但是,即使所有的通信量都通过这条高速链路,使得链路负荷过重,协议 BGP 也无法把一些负载调整到负载较轻的那条低速链路上。

如果从几条 BGP路由中找不出本地偏好值最高的路由,则执行下一条。

(2)选择具有AS跳数最少的路由。

现观察图中的例子。从AS1到AS5共有两条 BGP 路由,即AS1-AS2-AS3-AS5和AS1一AS4一AS5。根据选择具有AS 跳数最少的原则,我们应选择只通过1个AS的BGP路由,即 AS1一AS4一AS5。但是没有想到,分组在 AS4 中反而要经过更多次数的转发(或许AS4是个很大的 AS),可能要花费更长的时间。可见选择经过 AS 数量最少的路 AS1一AS4一AS5未必更好。这个例子再次说明了协议 BGP 无法选择出最佳路由。

(3)使用热土都路由选择算法

如果按前两种方法都无法选择最好的路由,那么就在要进入 BGP路由的AS,执行热土豆路由选择算法。例如在图中,从AS1出发,共有两条BGP路由可到达AS3:

BGP路由1:从R3离开AS1,然后进入AS2,再到AS3。
BGP路由2:从R4离开AS1,然后进入AS2,再到AS3。

假定这两跳BGP路由的本地偏好相同,同时所经过的AS个数也相同。在这种情况下,AS1中的每一个路由器,就应采用热土豆路由选择算法。这种算法把分组比喻为烫手的热土豆,要尽快地转发出去。对于图中的例子,就是要使分组尽快离开 AS1,而不考虑从哪个路由器离开 AS1。或者说,要让分组经过最少的转发次数离开本 AS。这时要使用内部网关协议(如协议 OSPF或RIP)。对于不同的路由器,得出的选择结果是不同的。

例如,对于 AS1中的路由器 R1,若要使转发的分组尽快离开 AS1,应选择 R4作为其下一跳,因此应选择BGP路由2。这样,R1的转发路径应当是:R1一R4一BGP路由2。同理,对于 R2,若要使转发的分组尽快离开 AS1,应选择 R3 作为其下一跳,因此应选择BGP路由1。这样,R2的转发路径应当是:R2一R3一BGP路由1。

(4)选择路由器BGP标识符的数值最小的路由。
当以上几种方法都无法找出最好的 BGP路由时,就可使用BGP标识符来选择路由。在BGP进行交互的报文中,其首部有一 4 字节的字段,叫作 BGP 标识符,记为 BGP ID。这个字段被赋予一个无符号整数作为运行 BGP 的路由器的唯一标识符。具有多个接口的路由器有多个IP地址。BGP ID就使用该路由器的 IP 地址中数值最大的一个。

5.BGP的四种报文

在协议 BGP 刚运行时,BGP 连接的对等端要相互交换整个的 BGP 路由表。但需要在 BGP路由发生变化时,才更新有变化的部分。这样做对节省网络带宽和减少路的处理开销方面都有好处。

在RFC4271中规定了BGP-4的四种报文:
(1)OPEN(打开)报文,用来与BGP连接对等端建立关系。

(2)UPDATE(更新)报文,用来通告某一路由的信息,以及列出要撤销的路由。

(3)KEEPALIVE(保活)报文,用来周期性地证实与对等端的连通性。
(4)NOTIFICATION(通知)报文,用来发送检测到的差错。

OPEN 报文是两个路由器之间建立了 TCP连接后接着就必须发送的报文。OPEN报的作用是相互识别对方,协商一些协议参数(如计时器的时间)。收到 OPEN 报文的路由就发回KEEPALIVE报文表示接受建立BGP连接。

UPDATE报文是BGP协议的核心,用来撤销它以前曾经通知过的路由,或宣布增加新的路由。撤销路由可以一次撤销许多条,但增加新路由时,每个更新报文只能增加一条。

虽然BGP连接的两端建立了 TCP连接,传输报文是可靠的,但TCP上层的BGP是否始终正常工作还无法确知。在对等端之间定期传送BGP路由表是不可取的,因为BGP路表往往过于庞大,这样做会使网络的通信量过大。因此协议 BGP 采用的方法是让 BGP连接的两个对等端之间,周期性地交换 KEEPALIVE 报文,以表示协议工作正常。KEEPALIVE报文只包含 BGP 报文的通用首部 (19 字节长),因此不会在网络上产生多少开销。
每个路由器都有一个保持时间计时器(Hold Timer)。路由器每收到一个BGP报文,这个计时器就重置一次,继续从0开始计时。如果在商定的保持时间内没有收到对等端发来的任何一种BGP报文,就认为对方已经不能工作了。发送 KEEPALIVE 报文的时间间隔取为双方事先商定的保持时间(Hold Time)的 1/3。例如,在 BGP 连接建立阶段,双方商定保持时间为180秒,那么KEEPALIVE 报文就每隔60秒发送一次。如果两个对等端选择的保持时间不一致,就选择数值较小的一个作为彼此使用的保持时间。保持时间也可选择为 0。在这种情况下就永远不发送KEEPALIVE 报文,表明这条BGP 连接总是正常工作的。

BGP 可以很容易地解决距离向量路由选择算法中的“坏消息传播得慢”这一问题。当某个路由器或链路出故障时,可以从不止一个邻站获得路由信息,因此很容易选择出新的路由。

BGP报文是作为 TCP报文的数据部分来传送的(如图所示)。四种类型的BGP报文具有同样的首部。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/590805.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spark SQL中的聚合与窗口函数

Spark SQL是Apache Spark的一个模块,用于处理结构化数据。在数据分析和处理中,聚合和窗口函数是非常重要的工具,它们可以对数据进行各种汇总、计算和分析。本文将深入探讨Spark SQL中的聚合与窗口函数,包括聚合函数、分组操作、窗…

算法训练营Day34(贪心算法)

1005.K次取反后最大化的数组和 1005. K 次取反后最大化的数组和 - 力扣&#xff08;LeetCode&#xff09; 秒了 class Solution {public int largestSumAfterKNegations(int[] nums, int k) {Arrays.sort(nums);// -4 -3 -2 -1 5//-2 -2 0 2 5int last -1;for(int i 0;i<…

【JavaFX】基于JavaFX11 构建可编辑、对象存储、修改立即保存、支持条件过滤的TableView

文章目录 效果设计思路二、使用步骤前提:自定义TableView的失去焦点事件1. 创建实体类2.读取本地文件数据3. 定义表格TableView总结效果 如图所示,这是一个存储application.properties内容的表格。这里的文件application.properties是从Linux服务器上获取来的。 当点击检索按…

【算法】使用位运算解算法题(C++)

文章目录 0. 位运算 基本介绍1. 位运算基本使用 连带题目191.位1的个数338.比特位计数461.汉明距离136.只出现一次的数字260.只出现一次的数字III 2. 使用位运算解决算法题面试题01.01.判定字符是否唯一371.两整数之和137.只出现一次的数字II面试题17.04.消失的数字面试题17.1…

SDG大数据平台简介

联合国可持续发展目标&#xff08;Sustainable Development Goals&#xff09;缩写SDGs&#xff0c;是联合国制定的17个全球发展目标&#xff0c;在2000-2015年千年发展目标&#xff08;MDGs&#xff09;到期之后继续指导2015-2030年的全球发展工作。&#xff08;摘自百度&…

React学习计划-React16--React基础(八)react-redux使用与优化,纯函数介绍

笔记gitee地址 学习了 redux,为什么还要讲react-redux呢&#xff1f; redux不是专门为react所创建的,只不过在某一刻&#xff0c;react和redux看对眼了&#xff0c;所以俩人走到了一起&#xff0c;所以为了更好的支持redux,react官方出了react-redux来更好的支持redux 1. react…

Couchdb 垂直权限绕过漏洞(CVE-2017-12635)

一、漏洞描述 Apache CouchDB是一个开源数据库&#xff0c;专注于易用性和成为”完全拥抱web的数据库”。它是一个使用JSON作为存储格式&#xff0c;JavaScript作为查询语言&#xff0c;MapReduce和HTTP作为API的NoSQL数据库。应用广泛&#xff0c;如BBC用在其动态内容展示平台…

【Unity入门】UGUI之Slider(滑动条)

目录 一、什么是Slider&#xff1f;二、Slider属性与功能 一、什么是Slider&#xff1f; Slider控件允许用户可以通过鼠标来在预先确定的范围调节数值 我们可以在Hierarchy视图右键 -> UI ->Slider来创建滑动条 通过上图可以发现Unity内置的Slider主要有3部分&#x…

JAVA:面向对象1

类和对象 public String sayHello(){ //修饰符/ /返回值类型/ /方法名/ /方法的参数/ return "hello,world!"; return 返回值&#xff1b; } /* void 可以不写返回值&#xff0c;return一个空就行 &#xff1a; return; return 结束方法&#xff…

一些想法:关于行人检测与重识别

本文主要是介绍我们录用于 ECCV18 的一个工作&#xff1a;Person Search via A Mask-guided Two-stream CNN Model. 这篇文章着眼于 Person Search 这个任务&#xff0c;即同时考虑行人检测&#xff08;Pedestrian Detection&#xff09;与行人重识别&#xff08;Person Re-ide…

Vue:使用IDEA开发Vue的相关配置

一、IDEA无法识别.vue文件 1、IDEA 添加Vue插件 2、添加Vue配置 File | Settings | Editor | File Types 找到 HTML 文件 在下面点号 输入*.vue 二、IDEA无法创建.vue文件 1、问题 在开发过程中&#xff0c;发现创建文件的界面&#xff0c;没有vue模板 2、相关配置 Fi…

2024年01月IDE流行度最新排名

点击查看最新IDE流行度最新排名&#xff08;每月更新&#xff09; 2024年01月IDE流行度最新排名 顶级IDE排名是通过分析在谷歌上搜索IDE下载页面的频率而创建的 一个IDE被搜索的次数越多&#xff0c;这个IDE就被认为越受欢迎。原始数据来自谷歌Trends 如果您相信集体智慧&am…

基于JAVA的学校热点新闻推送系统 开源项目

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 新闻类型模块2.2 新闻档案模块2.3 新闻留言模块2.4 新闻评论模块2.5 新闻收藏模块 三、系统设计3.1 用例设计3.2 数据库设计3.2.1 新闻类型表3.2.2 新闻表3.2.3 新闻留言表3.2.4 新闻评论表3.2.5 新闻收藏表 四、系统展…

Mysql基础总结

一、MySql基础 MySQL常见面试题 一、索引相关 &#xff08;1&#xff09;什么是索引? 索引是一种数据结构&#xff0c;可以帮助我们快速的进行数据的查找。 &#xff08;2&#xff09;索引是个什么样的数据结构呢? 索引的数据结构和具体存储引擎的实现有关&#xff0c;…

vue中$nextTick作用和实例

为什么要使用nextTick&#xff1f; vue中DOM更新是异步执行&#xff0c;相当于我们在修改数据的时候&#xff0c;视图是不会立即更新的&#xff0c;会先把新的数据攒一赞&#xff0c;例如假如v-for更新这三个数据item1和item2和item3&#xff0c;按照vue的特性dom更新的特性会…

FPGA项目(13)——基于FPGA的电梯控制系统

1.摘要 随着科技的发展&#xff0c;电梯早在上个世纪就已进入人们的生活。对于电梯的控制&#xff0c;传统的方法是使用继电器——接触器控制系统进行控制。随着EDA技术的发展&#xff0c;FPGA已广泛应用于各项电子设计中&#xff0c;本设计即利用FPGA来实现对电梯控制系统的设…

助力打造智慧数字课堂,基于YOLOv7【tiny/l/x】开发构建教学课堂场景下学生课堂行为检测识别分析系统

近年来&#xff0c;随着行为检测技术的发展&#xff0c;分析学生在课堂视频中的行为&#xff0c;以获取他们的课堂状态和学习表现信息已经成为可能。这项技术对学校的教师、管理人员、学生和家长都非常重要。使用深度学习方法自动检测学生的课堂行为是分析学生课堂表现和提高教…

【LMM 006】LLaVA-Plus:可以学习如何使用工具的多模态Agent

论文标题&#xff1a;LLaVA-Plus: Learning to Use Tools for Creating Multimodal Agents 论文作者&#xff1a;Shilong Liu, Hao Cheng, Haotian Liu, Hao Zhang, Feng Li, Tianhe Ren, Xueyan Zou, Jianwei Yang, Hang Su, Jun Zhu, Lei Zhang, Jianfeng Gao, Chunyuan Li 作…

【大数据面试知识点】Spark的DAGScheduler

Spark数据本地化是在哪个阶段计算首选位置的&#xff1f; 先看一下DAGScheduler的注释&#xff0c;可以看到DAGScheduler除了Stage和Task的划分外&#xff0c;还做了缓存的跟踪和首选运行位置的计算。 DAGScheduler注释&#xff1a; The high-level scheduling layer that i…

大数据 - Hadoop系列《三》- HDFS(分布式文件系统)概述

&#x1f436;5.1 hdfs的概念 HDFS分布式文件系统,全称为:Hadoop Distributed File System。 它是一个文件系统&#xff0c;用于存储文件&#xff0c;通过目录树来定位文件&#xff1b;其次&#xff0c;它是分布式的&#xff0c;由很多服务器联合起来实现其功能&#xff0c;集…