Spark Bloom Filter Join

1 综述

1.1 目的

  Bloom Filter Join，或者说Row-level Runtime Filtering（还额外有一条Semi-Join分支），是Spark 3.3对运行时过滤的一个最新补充
  之前运行时过滤主要有两个：动态分区裁剪DPP（开源实现）、动态文件裁剪DFP（Databricks实现），两者都能有效减少数据源层面的Scan IO
  Bloom Filter Join的主要优化点是在shuffle层，通过在join shuffle前对表进行过滤从而提高运行效率

1.2 场景

  • 普通的shuffle join
    在这里插入图片描述

  • Broadcast join并且子结构中存在shuffle
    在这里插入图片描述

1.3 基础过程

  将存在过滤条件的小表端称为Filter Creation Side，另一层称为Filter Application Side
  对于如下的SQL：SELECT * FROM R JOIN S ON R.r_sk = S.s_sk where S.x = 5
  首先Creation端进行bloomFilter创建，简单来说就是对小表创建一个bloomFilter的过滤数据集合

SELECT BloomFilterAggregate(XxHash64(S.s_sk), n_items, n_bits)
FROM S where S.x = 5

  之后Application端进行重写（实际是整个查询重写），就是把小表的bloomFilter数据集合拿来对大表的数据进行过滤
  根据上面的场景图看，其实小表Creation端在整个SQL树上并没有变化，只改变了大表端的树结构

SELECT *
FROM R JOIN S ON R.r_sk = S.s_sk
WHERE S.x=5 AND BloomFilterMightContain( 
(SELECT BloomFilterAggregate(XxHash64(S.s_sk), n_items, n_bits) bloom_filterFROM S where S.x = 5 ),     -- Bloom filter creationXxHash64(R.r_sk))       -- Bloom filter application

1.4 触发条件

  设计文档中写的触发条件

  1. 小表在broadcast join当中（存疑）
  2. 小表有过滤器
  3. 小表是Scan (-> Project) -> Filter的建档形式，否则依赖流增加可能延长查询时间
  4. 小表是确定性的
  5. 大表端有shuffle，小表可以通过shuffl传送bloomFilter结果
  6. join的列上没有应用DPP

2 InjectRuntimeFilter

  InjectRuntimeFilter是Spark源码中对应的优化器类，只执行一次（FixedPoint(1)和Once的差异是Once强制幂等）

Batch("InjectRuntimeFilter", FixedPoint(1),InjectRuntimeFilter) :+

  apply中定义了规则的整体流程，前面是两个条件判断

//  相关子查询不支持，相关子查询的子查询结果依赖于主查询，不能应用
case s: Subquery if s.correlated => plan
//  相关的配置开关是否开启
case _ if !conf.runtimeFilterSemiJoinReductionEnabled &&!conf.runtimeFilterBloomFilterEnabled => plan
case _ =>//  应用优化规则，尝试注入运行时过滤器val newPlan = tryInjectRuntimeFilter(plan)//  semi join配置未开或者规则应用后无变化，不处理if (conf.runtimeFilterSemiJoinReductionEnabled && !plan.fastEquals(newPlan)) {//  子查询重写成semi/anti joinRewritePredicateSubquery(newPlan)} else {newPlan}

  相关的配置为，默认bloomFilter开启了，Semi join关闭的

val RUNTIME_FILTER_SEMI_JOIN_REDUCTION_ENABLED =buildConf("spark.sql.optimizer.runtimeFilter.semiJoinReduction.enabled").doc("When true and if one side of a shuffle join has a selective predicate, we attempt " +"to insert a semi join in the other side to reduce the amount of shuffle data.").version("3.3.0").booleanConf.createWithDefault(false)val RUNTIME_BLOOM_FILTER_ENABLED =buildConf("spark.sql.optimizer.runtime.bloomFilter.enabled").doc("When true and if one side of a shuffle join has a selective predicate, we attempt " +"to insert a bloom filter in the other side to reduce the amount of shuffle data.").version("3.3.0").booleanConf.createWithDefault(true)

2.1 tryInjectRuntimeFilter

  tryInjectRuntimeFilter使用核心的处理流程，尝试应用Runtime Filter，整体代码如下

private def tryInjectRuntimeFilter(plan: LogicalPlan): LogicalPlan = {var filterCounter = 0val numFilterThreshold = conf.getConf(SQLConf.RUNTIME_FILTER_NUMBER_THRESHOLD)plan transformUp {case join @ ExtractEquiJoinKeys(joinType, leftKeys, rightKeys, _, _, left, right, hint) =>var newLeft = leftvar newRight = right(leftKeys, rightKeys).zipped.foreach((l, r) => {// Check if:// 1. There is already a DPP filter on the key// 2. There is already a runtime filter (Bloom filter or IN subquery) on the key// 3. The keys are simple cheap expressionsif (filterCounter < numFilterThreshold &&!hasDynamicPruningSubquery(left, right, l, r) &&!hasRuntimeFilter(newLeft, newRight, l, r) &&isSimpleExpression(l) && isSimpleExpression(r)) {val oldLeft = newLeftval oldRight = newRightif (canPruneLeft(joinType) && filteringHasBenefit(left, right, l, hint)) {newLeft = injectFilter(l, newLeft, r, right)}// Did we actually inject on the left? If not, try on the rightif (newLeft.fastEquals(oldLeft) && canPruneRight(joinType) &&filteringHasBenefit(right, left, r, hint)) {newRight = injectFilter(r, newRight, l, left)}if (!newLeft.fastEquals(oldLeft) || !newRight.fastEquals(oldRight)) {filterCounter = filterCounter + 1}}})join.withNewChildren(Seq(newLeft, newRight))}
}

  过程中有很多的条件判断，应用Runtime Filter的基本条件：

  1. 插入的Runtime Filter没超过阈值（默认10）
  2. 等值条件的Key上不能有DPP、Runtime Filter
  3. 等值条件的Key是一个简单表达式（即没有套上UDF等）

  之后根据条件，选择将Runtime Filter应用到左子树还是右子树，条件为

  1. Join类型支持下推（比如RightOuter只能用于左子树）
  2. Application端支持通过joins、aggregates、windows下推过滤条件
  3. Creation端有过滤条件
  4. 当前join是shuffle join或者是一个子结构中包含shuffle的broadcast join
  5. Application端的扫描数据大于阈值（默认10G）

  提到的两个阈值的配置项

val RUNTIME_FILTER_NUMBER_THRESHOLD =buildConf("spark.sql.optimizer.runtimeFilter.number.threshold").doc("The total number of injected runtime filters (non-DPP) for a single " +"query. This is to prevent driver OOMs with too many Bloom filters.").version("3.3.0").intConf.checkValue(threshold => threshold >= 0, "The threshold should be >= 0").createWithDefault(10)val RUNTIME_BLOOM_FILTER_APPLICATION_SIDE_SCAN_SIZE_THRESHOLD =buildConf("spark.sql.optimizer.runtime.bloomFilter.applicationSideScanSizeThreshold").doc("Byte size threshold of the Bloom filter application side plan's aggregated scan " +"size. Aggregated scan byte size of the Bloom filter application side needs to be over " +"this value to inject a bloom filter.").version("3.3.0").bytesConf(ByteUnit.BYTE).createWithDefaultString("10GB")

2.2 injectFilter

  injectFilter是核心进行Runtime Filter规则应用的地方，在此处，bloomFilter和Semi Join是互斥的，只能有一个执行

if (conf.runtimeFilterBloomFilterEnabled) {injectBloomFilter(filterApplicationSideExp,filterApplicationSidePlan,filterCreationSideExp,filterCreationSidePlan)
} else {injectInSubqueryFilter(filterApplicationSideExp,filterApplicationSidePlan,filterCreationSideExp,filterCreationSidePlan)

2.3 injectBloomFilter

2.3.1 执行条件

  首先进行一个判断，在Creation端的数据不能大于阈值（Creation端数据量大会导致bloomFilter的误判率高，最终过滤效果差）

// Skip if the filter creation side is too big
if (filterCreationSidePlan.stats.sizeInBytes > conf.runtimeFilterCreationSideThreshold) {return filterApplicationSidePlan
}

  阈值配置默认10M

val RUNTIME_BLOOM_FILTER_CREATION_SIDE_THRESHOLD =buildConf("spark.sql.optimizer.runtime.bloomFilter.creationSideThreshold").doc("Size threshold of the bloom filter creation side plan. Estimated size needs to be " +"under this value to try to inject bloom filter.").version("3.3.0").bytesConf(ByteUnit.BYTE).createWithDefaultString("10MB")

  Creation端的数据是一个预估数据，是LogicalPlan中的属性LogicalPlanStats获取的，分是否开启CBO，具体获取方式待研究

def stats: Statistics = statsCache.getOrElse {if (conf.cboEnabled) {statsCache = Option(BasicStatsPlanVisitor.visit(self))} else {statsCache = Option(SizeInBytesOnlyStatsPlanVisitor.visit(self))}statsCache.get
}

2.3.2 创建Creation端的聚合

  就是创建一个bloomFilter的聚合函数BloomFilterAggregate，是AggregateFunction的子类，属于Expression。根据统计信息中是否存在行数，会传入不同的参数

val rowCount = filterCreationSidePlan.stats.rowCount
val bloomFilterAgg =if (rowCount.isDefined && rowCount.get.longValue > 0L) {new BloomFilterAggregate(new XxHash64(Seq(filterCreationSideExp)), rowCount.get.longValue)} else {new BloomFilterAggregate(new XxHash64(Seq(filterCreationSideExp)))}

2.3.3 创建Application端的过滤条件

  根据1.3中的描述，此处就是把上节中Creation端创建的bloomFilter过滤条件构建成Application端的条件
  Alias就是一个别名的效果；ColumnPruning就是进行列裁剪，后续不需要的列不读取；ConstantFolding就是进行常量折叠；ScalarSubquery是标量子查询，标量子查询的查询结果是一行一列的值（单一值）
  BloomFilterMightContain就是一个内部标量函数，检查数据是否由bloomFilter包含，继承自Predicate，返回boolean值

val alias = Alias(bloomFilterAgg.toAggregateExpression(), "bloomFilter")()
val aggregate =ConstantFolding(ColumnPruning(Aggregate(Nil, Seq(alias), filterCreationSidePlan)))
val bloomFilterSubquery = ScalarSubquery(aggregate, Nil)
val filter = BloomFilterMightContain(bloomFilterSubquery,new XxHash64(Seq(filterApplicationSideExp)))

  最终结果是在原Application端的计划树上加一个filter，如下就是最终的返回结果

Filter(filter, filterApplicationSidePlan)

2.4 injectInSubqueryFilter

  injectInSubqueryFilter整体流程与injectBloomFilter差不多，差异应该是在Application端生成的过滤条件变成in

val actualFilterKeyExpr = mayWrapWithHash(filterCreationSideExp)
val alias = Alias(actualFilterKeyExpr, actualFilterKeyExpr.toString)()
val aggregate =ColumnPruning(Aggregate(Seq(filterCreationSideExp), Seq(alias), filterCreationSidePlan))
if (!canBroadcastBySize(aggregate, conf)) {// Skip the InSubquery filter if the size of `aggregate` is beyond broadcast join threshold,// i.e., the semi-join will be a shuffled join, which is not worthwhile.return filterApplicationSidePlan
}
val filter = InSubquery(Seq(mayWrapWithHash(filterApplicationSideExp)),ListQuery(aggregate, childOutputs = aggregate.output))
Filter(filter, filterApplicationSidePlan)

  这里有一个小优化就是mayWrapWithHash，当数据类型的大小超过int时，就是把数据转为hash

// Wraps `expr` with a hash function if its byte size is larger than an integer.
private def mayWrapWithHash(expr: Expression): Expression = {if (expr.dataType.defaultSize > IntegerType.defaultSize) {new Murmur3Hash(Seq(expr))} else {expr}
}

3 BloomFilterAggregate

  类有三个核心参数：

  1. child：子表达式，就是InjectRuntimeFilter里传的XxHash64，目前看起来数据先经过XxHash64处理成long再放入BloomFilter
  2. estimatedNumItemsExpression：估计的数据量，如果InjectRuntimeFilter没拿到统计信息，就用配置的默认值
  3. numBitsExpression：要使用的bit数
case class BloomFilterAggregate(child: Expression,estimatedNumItemsExpression: Expression,numBitsExpression: Expression,

  estimatedNumItemsExpression和numBitsExpression对应的配置如下

val RUNTIME_BLOOM_FILTER_EXPECTED_NUM_ITEMS =buildConf("spark.sql.optimizer.runtime.bloomFilter.expectedNumItems").doc("The default number of expected items for the runtime bloomfilter").version("3.3.0").longConf.createWithDefault(1000000L)val RUNTIME_BLOOM_FILTER_NUM_BITS =buildConf("spark.sql.optimizer.runtime.bloomFilter.numBits").doc("The default number of bits to use for the runtime bloom filter").version("3.3.0").longConf.createWithDefault(8388608L)

  BloomFilter用的是Spark自己实现的一个类BloomFilterImpl，BloomFilterAggregate的createAggregationBuffer接口中创建

override def createAggregationBuffer(): BloomFilter = {BloomFilter.create(estimatedNumItems, numBits)
}

  参数就是前面的estimatedNumItemsExpression和numBitsExpression，是懒加载的参数（应该在处理过程会被改变，所以实际跟前面的值之间还加了一层与默认值的比较赋值）

// Mark as lazy so that `estimatedNumItems` is not evaluated during tree transformation.
private lazy val estimatedNumItems: Long =Math.min(estimatedNumItemsExpression.eval().asInstanceOf[Number].longValue,SQLConf.get.getConf(RUNTIME_BLOOM_FILTER_MAX_NUM_ITEMS))

  处理数据的接口应该是update，把数据用XxHash64处理后加入BloomFilter

override def update(buffer: BloomFilter, inputRow: InternalRow): BloomFilter = {val value = child.eval(inputRow)// Ignore null values.if (value == null) {return buffer}buffer.putLong(value.asInstanceOf[Long])buffer
}

  对象BloomFilterAggregate有对应的序列化和反序列化接口

object BloomFilterAggregate {final def serialize(obj: BloomFilter): Array[Byte] = {// BloomFilterImpl.writeTo() writes 2 integers (version number and num hash functions), hence// the +8val size = (obj.bitSize() / 8) + 8require(size <= Integer.MAX_VALUE, s"actual number of bits is too large $size")val out = new ByteArrayOutputStream(size.intValue())obj.writeTo(out)out.close()out.toByteArray}final def deserialize(bytes: Array[Byte]): BloomFilter = {val in = new ByteArrayInputStream(bytes)val bloomFilter = BloomFilter.readFrom(in)in.close()bloomFilter}
}

4 BloomFilterMightContain

  有两个参数

  1. bloomFilterExpression：是上节BloomFilter的二进制数据
  2. valueExpression：应该跟上节的child一致，对输入数据做处理的表达式，XxHash64
case class BloomFilterMightContain(bloomFilterExpression: Expression,valueExpression: Expression)

  bloomFilter通过反序列化获取

// The bloom filter created from `bloomFilterExpression`.
@transient private lazy val bloomFilter = {val bytes = bloomFilterExpression.eval().asInstanceOf[Array[Byte]]if (bytes == null) null else deserialize(bytes)
}

  做数据判断的应该是eval，就是调用的BloomFilter的接口进行判断。eval应该就是Spark中Expression表达式的执行接口

override def eval(input: InternalRow): Any = {if (bloomFilter == null) {null} else {val value = valueExpression.eval(input)if (value == null) null else bloomFilter.mightContainLong(value.asInstanceOf[Long])}
}

  也有doGenCode接口用来生成代码

override def doGenCode(ctx: CodegenContext, ev: ExprCode): ExprCode = {if (bloomFilter == null) {ev.copy(isNull = TrueLiteral, value = JavaCode.defaultLiteral(dataType))} else {val bf = ctx.addReferenceObj("bloomFilter", bloomFilter, classOf[BloomFilter].getName)val valueEval = valueExpression.genCode(ctx)ev.copy(code = code"""${valueEval.code}boolean ${ev.isNull} = ${valueEval.isNull};${CodeGenerator.javaType(dataType)} ${ev.value} = ${CodeGenerator.defaultValue(dataType)};if (!${ev.isNull}) {${ev.value} = $bf.mightContainLong((Long)${valueEval.value});}""")}
}

5 计划变更

  取Spark单元测试的样例（InjectRuntimeFilterSuite）：select * from bf1 join bf2 on bf1.c1 = bf2.c2 where bf2.a2 = 62

  • 规则前的plan
GlobalLimit 21
+- LocalLimit 21+- Project [cast(a1#38430 as string) AS a1#38468, cast(b1#38431 as string) AS b1#38469, cast(c1#38432 as string) AS c1#38470, cast(d1#38433 as string) AS d1#38471, cast(e1#38434 as string) AS e1#38472, cast(f1#38435 as string) AS f1#38473, cast(a2#38436 as string) AS a2#38474, cast(b2#38437 as string) AS b2#38475, cast(c2#38438 as string) AS c2#38476, cast(d2#38439 as string) AS d2#38477, cast(e2#38440 as string) AS e2#38478, cast(f2#38441 as string) AS f2#38479]+- Join Inner, (c1#38432 = c2#38438):- Filter isnotnull(c1#38432):  +- Relation spark_catalog.default.bf1[a1#38430,b1#38431,c1#38432,d1#38433,e1#38434,f1#38435] parquet+- Filter ((isnotnull(a2#38436) AND (a2#38436 = 62)) AND isnotnull(c2#38438))+- Relation spark_catalog.default.bf2[a2#38436,b2#38437,c2#38438,d2#38439,e2#38440,f2#38441] parquet
  • 规则后的plan
GlobalLimit 21
+- LocalLimit 21+- Project [cast(a1#38430 as string) AS a1#38468, cast(b1#38431 as string) AS b1#38469, cast(c1#38432 as string) AS c1#38470, cast(d1#38433 as string) AS d1#38471, cast(e1#38434 as string) AS e1#38472, cast(f1#38435 as string) AS f1#38473, cast(a2#38436 as string) AS a2#38474, cast(b2#38437 as string) AS b2#38475, cast(c2#38438 as string) AS c2#38476, cast(d2#38439 as string) AS d2#38477, cast(e2#38440 as string) AS e2#38478, cast(f2#38441 as string) AS f2#38479]+- Join Inner, (c1#38432 = c2#38438):- Filter might_contain(scalar-subquery#38494 [], xxhash64(c1#38432, 42)):  :  +- Aggregate [bloom_filter_agg(xxhash64(c2#38438, 42), 1000000, 8388608, 0, 0) AS bloomFilter#38493]:  :     +- Project [c2#38438]:  :        +- Filter ((isnotnull(a2#38436) AND (a2#38436 = 62)) AND isnotnull(c2#38438)):  :           +- Relation spark_catalog.default.bf2[a2#38436,b2#38437,c2#38438,d2#38439,e2#38440,f2#38441] parquet:  +- Filter isnotnull(c1#38432):     +- Relation spark_catalog.default.bf1[a1#38430,b1#38431,c1#38432,d1#38433,e1#38434,f1#38435] parquet+- Filter ((isnotnull(a2#38436) AND (a2#38436 = 62)) AND isnotnull(c2#38438))+- Relation spark_catalog.default.bf2[a2#38436,b2#38437,c2#38438,d2#38439,e2#38440,f2#38441] parquet

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/708190.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

迭代器模式：分离遍历逻辑与数据结构，实现统一访问接口与灵活扩展

迭代器模式：分离遍历逻辑与数据结构，实现统一访问接口与灵活扩展

文章目录 一、引言二、应用场景与技术背景三、模式定义与实现四、优缺点分析总结&#xff1a; 一、引言 ​ 迭代器模式&#xff08;Iterator Pattern&#xff09;是一种行为型设计模式&#xff0c;它提供了一种方法顺序访问聚合对象的元素&#xff0c;而又不暴露其底层表示。迭…
阅读更多...
nginx 日志，压缩，https功能介绍

nginx 日志，压缩，https功能介绍

一&#xff0c; 自定义访问日志 &#xff08;一&#xff09;日志位置存放 1&#xff0c;格式 2&#xff0c; 级别 level: debug, info, notice, warn, error, crit, alert, emerg 3&#xff0c;示例 服务机定义 错误日志存放位置 客户机错误访问 查看错误日志 4&#xff…
阅读更多...
DAY9-防病毒AV概述

DAY9-防病毒AV概述

DNS过滤 URL过滤和DNS过滤对比
阅读更多...
广和通5G智能模组SC171支持Android、Linux和Windows系统，拓宽智能物联网应用

广和通5G智能模组SC171支持Android、Linux和Windows系统，拓宽智能物联网应用

世界移动通信大会2024期间&#xff0c;广和通宣布&#xff1a;5G智能模组SC171除支持Android操作系统外&#xff0c;还兼容Linux和Windows系统&#xff0c;帮助更多智能终端客户快速迭代产品&#xff0c;拓宽智能化应用覆盖范围。 广和通SC171系列基于高通QCM6490物联网解决方案…
阅读更多...
oracle with check option 学习

oracle with check option 学习

with check option保证了通过视图进行的修改&#xff0c;必须也能通过该视图看到修改后的结果&#xff1b; 你插入&#xff0c;那么插入这条记录在刷新视图后必须可以看到&#xff1b; 如果修改&#xff0c;修改完的结果也必须能通过该视图看到&#xff1b; scott登录了以后创…
阅读更多...
【Java程序设计】【C00320】基于Springboot的招生宣传管理系统（有论文）

【Java程序设计】【C00320】基于Springboot的招生宣传管理系统（有论文）

基于Springboot的招生宣传管理系统&#xff08;有论文&#xff09; 项目简介项目获取开发环境项目技术运行截图 项目简介 这是一个基于Springboot的招生宣传管理系统&#xff0c;本系统有管理员以及招生人员二种角色&#xff1b; 前台&#xff1a;首页、专业介绍、师资力量、联…
阅读更多...
Spring Boot项目中如何上传头像？

Spring Boot项目中如何上传头像？

在我们常见的各大App中&#xff0c;或多或少我们都见过上传头像的功能吧&#xff1f;&#xff1f; 但是在Spring Boot项目中如何上传头像呢&#xff1f; 上传头像主要用到RequestPart注解 来看一下小编的代码吧&#xff01; RestController RequestMapping("/param"…
阅读更多...
鸿蒙应用程序包安装和卸载流程

鸿蒙应用程序包安装和卸载流程

开发者 开发者可以通过调试命令进行应用的安装和卸载&#xff0c;可参考多HAP的调试流程。 图1 应用程序包安装和卸载流程&#xff08;开发者&#xff09; 多HAP的开发调试与发布部署流程 多HAP的开发调试与发布部署流程如下图所示。 图1 多HAP的开发调试与发布部署流程 …
阅读更多...
16. QML中的一些粒子特效

16. QML中的一些粒子特效

1.说明 在使用unity开发游戏时&#xff0c;都会涉及到一些特效的开发。实际上在QML中也提供了一些可以做特效的控件&#xff0c;称之为粒子系统。本篇博客主要记录一些使用粒子做特效的方式。 特效–火焰效果&#xff1a; 2. 案例汇总 2.1 案例1 效果展示&#xff1a; 粒子…
阅读更多...
标准库`random`函数大全：探索Python中的随机数生成【第107篇—`random`函数大全】

标准库`random`函数大全：探索Python中的随机数生成【第107篇—`random`函数大全】

标准库random函数大全&#xff1a;探索Python中的随机数生成 随机数在计算机科学和数据科学领域中扮演着重要角色&#xff0c;Python的标准库中提供了random模块&#xff0c;用于生成各种随机数。本篇博客将深入探讨random模块的各种函数&#xff0c;以及它们的应用场景和代码…
阅读更多...
MATLAB中的makeweight函数

MATLAB中的makeweight函数

W makeweight(dcgain,[freq,mag],hfgain) W makeweight(dcgain,[freq,mag],hfgain,Ts) W makeweight(dcgain,[freq,mag],hfgain,Ts,N) W makeweight(dcgain,wc,hfgain,___) W makeweight(dcgain,wc,hfgain&#xff0c;___)表示增益交叉频率wc。该语法相当于将…
阅读更多...
2.27数据结构

2.27数据结构

1.链队 //link_que.c #include "link_que.h"//创建链队 Q_p create_que() {Q_p q (Q_p)malloc(sizeof(Q));if(qNULL){printf("空间申请失败\n");return NULL;}node_p L(node_p)malloc(sizeof(node));if(LNULL){printf("申请空间失败\n");return…
阅读更多...
AI：144-通过机器学习预测股票市场趋势

AI：144-通过机器学习预测股票市场趋势

🚀点击这里跳转到本专栏，可查阅专栏顶置最新的指南宝典~ 🎉🎊🎉 你的技术旅程将在这里启航！ 从基础到实践，深入学习。无论你是初学者还是经验丰富的老手，对于本专栏案例和项目实践都有参考学习意义。 ✨✨✨ 每一个案例都附带关键代码，详细讲解供大家学习，希望…
阅读更多...
华为云磁盘挂载

华为云磁盘挂载

华为云磁盘挂载 磁盘挂载情况 fdisk -l 2. 查看当前分区情况 df -h 3.给新硬盘添加新分区 fdisk /dev/vdb 4.分区完成&#xff0c;查询所有设备的文件系统类型 blkid 发现新分区并没有文件系统类型&#xff08;type为文件系统具体类型&#xff0c;有ext3,ext4,xfs,iso9660等…
阅读更多...
tinymce在vue3中的用法以及文本流式输出

tinymce在vue3中的用法以及文本流式输出

一、版本 "tinymce/tinymce-vue": "4.0.5", "tinymce": "5.10.2", 二、步骤 具体步骤可以参考tinymce在vue2中的用法中的步骤 三、在项目index.html-body中引入tinymcejs <script src"tinymce/tinymce.min.js">&…
阅读更多...
k8s 集群调度，标签，亲和性和反亲和性，污点和容忍，pod启动状态 排错详解

k8s 集群调度，标签，亲和性和反亲和性，污点和容忍，pod启动状态 排错详解

目录 pod启动创建过程 kubelet持续监听的原因 调度概念 调度约束 调度过程 优点 原理 优先级选项 示例 指定调度节点 标签基本操作 获取标签帮助 添加标签&#xff08;Add Labels&#xff09;&#xff1a; 更新标签&#xff08;Update Labels&#xff09; 删除标…
阅读更多...
深度测试：指定DoC ID对ES写入性能的影响

深度测试：指定DoC ID对ES写入性能的影响

在[[使用python批量写入ES索引数据]]中已经介绍了如何批量写入ES数据。基于该流程实际测试一下指定文档ID对ES性能的影响有多大。 一句话版 指定ID比不指定ID的性能下降了63%&#xff0c;且加剧趋势。 以下是测评验证的细节。 百万数据量 索引默认使用1分片和1副本。 指定…
阅读更多...
分布式存储 ZBS 的 RoCE 技术支持与大数据应用场景性能评测

分布式存储 ZBS 的 RoCE 技术支持与大数据应用场景性能评测

作者&#xff1a;深耕行业的 SmartX 金融团队 闫海涛 在《解决 SAN 交换机“卡脖子”并升级存储架构&#xff1f;一文解析 RoCE 与相关存储方案趋势》文章中&#xff0c;我们分析了如何利用支持 RoCE 技术的分布式存储&#xff0c;同步实现 IT 基础架构的信创转型与架构升级&a…
阅读更多...
双流机场到天府机场ADS-B数据导入MATLAB

双流机场到天府机场ADS-B数据导入MATLAB

MATLAB导入数据 导入的数据Excel部分截图&#xff1a; 一些处理 % 导入外部轨迹数据并转成标准形式 clear;clc; %% 导入&预处理 [NUM,TXT,RAW]xlsread(2021年10月31日CTU-TFU); time_cell RAW(3:end,1); %拉取时间数据&#xff08;cell&#xff09; time_char char(t…
阅读更多...
武器大师——操作符详解（上）

武器大师——操作符详解（上）

目录 一、操作符的分类 二、二进制和进制转换 2.1.二进制与十进制的互相转化 2.1.1 二进制转十进制 2.1.2 十进制转二进制 ​编辑 2.2.二进制转8进制和16进制 2.2.1 转8进制 2.2.2 转16进制 三、原码、反码、补码 四、移位操作符 4.1.左移操作符&#xff08;<…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023