探究Kafka原理-7.exactly once semantics 和 性能测试

  • 👏作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家
  • 📕系列专栏：Spring源码、JUC源码、Kafka原理
  • 🔥如果感觉博主的文章还不错的话，请👍三连支持👍一下博主哦
  • 🍂博主正在努力完成2023计划中：源码溯源，一探究竟
  • 📝联系方式：nhs19990716，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬👀

文章目录

  • 幂等性
    • 幂等性要点
    • kafka 幂等性实现机制
  • kafka 事务
    • 事务要点知识
    • 事务 api 示例
    • 事务实战案例
  • Kafka 速度快的原因
  • 分区数与吞吐量（性能测试）
    • 生产者性能测试
      • tpc_3： 分区数 3，副本数 1
      • tpc_4： 分区数 4，副本数 2
      • tpc_5：分区数 5，副本数 1
      • tpc_6：分区数 6，副本数 1
      • tpc_12：分区数 12
    • 消费者性能测试
    • 分区数与吞吐量实际测试
    • 分区数设置的经验参考

幂等性

幂等性要点

Kafka 0.11.0.0 版本开始引入了幂等性与事务这两个特性，以此来实现 EOS ( exactly once semantics ，精确一次处理语义）

生产者在进行发送失败后的重试时（retries），有可能会重复写入消息，而使用 Kafka 幂等性功能之后就可以避免这种情况。

开启幂等性功能，只需要显式地将生产者参数 enable.idempotence 设置为 true （默认值为 false）：props.put(“enable.idempotence”,true);

在开启幂等性功能时，如下几个参数必须正确配置：

  • retries > 0
  • max.in.flight.requests.per.connection<=5
  • acks = -1

如有违反，则会抛出 ConfigException 异常；

kafka 幂等性实现机制

每一个 producer 在初始化时会生成一个 producer_id，并为每个目标分区维护一个“消息序列号”；

producer 每发送一条消息，会将对应的“序列号”加 1

broker 端会为每一对{producer_id,分区}维护一个序列号，对于每收到的一条消息，会判断服务端的 SN_OLD 和接收到的消息中的 SN_NEW 进行对比：

  • 如果 SN_OLD + 1 == SN_NEW，正常；
  • 如果 SN_NEW < SN_OLD + 1 说明是重复写入的数据，直接丢弃
  • 如果 SN_NEW>SN_OLD+1，说明中间有数据尚未写入，或者是发生了乱序，或者是数据丢失，将抛出严重异常：OutOfOrderSequenceException

在这里插入图片描述

producer.send(“aaa”) 消息 aaa 就拥有了一个唯一的序列号

如果这条消息发送失败，producer 内部自动重试（retry），此时序列号不变；

producer.send(“bbb”) 消息 bbb 拥有一个新的序列

注意：kafka 只保证 producer 单个会话中的单个分区幂等。

kafka 事务

从kafka读数据，写入mysql的场景中

为了让 偏移量更新 和 数据的落地 一荣俱荣，用了mysql的事务，这样就能实现上述场景中数据传输的端到端，精确一次性语义eos

但是万一存在如下场景：

要你从kafka的source_topic中读数据，做处理，然后写入kafka的dest_topic

这个场景，要想实现eos，就不能利用mysql中的事务了。

假设1-100的数据读了，处理完了，写入kafka目标topic，但是offset还是1，然后，程序崩溃了。

然后，重启，程序会从1开始读，会把1-100重新再读一次，再处理一次，再插入到目标topic一次。

这里和幂等性是有区别的（幂等性，是说producer.send（），在它内部发生重试的时候，可以由broker去除重复数据）

要解决上述场景中的数据重复的问题：需要将偏移量更新 和 数据落地，绑定在一个事务中。

mysql中事务解决上述问题，关键点在于mysql可以实现数据的回滚。

而kafka中的数据是支持不断追加，然后只读。

kafka中的事务，做到了什么效果：

kafka并不能真正把未提交事务的结果进行物理回滚，只做到了让下游消费者，只能看到提交了事务的结果。

事务要点知识

Kafka 的事务控制原理

主要原理：

  • 开始事务–>发送一个 ControlBatch 消息（事务开始）
  • 提交事务–>发送一个 ControlBatch 消息（事务提交）
  • 放弃事务–>发送一个 ControlBatch 消息（事务终止）

开始事务的必须配置参数

Properties props = new Properties();props.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"doit01:9092");props.setProperty(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());props.setProperty(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());// acks
props.setProperty(ProducerConfig.ACKS_CONFIG,"-1");// 生产者的重试次数
props.setProperty(ProducerConfig.RETRIES_CONFIG,"3");// 飞行中的请求缓存最大数量
props.setProperty(ProducerConfig.MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION,"3");// 开启幂等性
props.setProperty(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG,"true");// 设置事务 id
props.setProperty(ProducerConfig.TRANSACTIONAL_ID_CONFIG,"trans_001");

事务控制的代码模板

// 初始化事务
producer.initTransaction( )// 开启事务
producer.beginTransaction( )try{// 干活// 提交事务producer.commitTransaction( )}catch (Exception e){// 异常回滚（放弃事务）producer.abortTransaction( )}

在这里插入图片描述

消费者 api 是会拉取到尚未提交事务的数据的；只不过可以选择是否让用户看到！

是否让用户看到未提交事务的数据，可以通过消费者参数来配置：

isolation.level=read_uncommitted（默认值）

isolation.level=read_committed

kafka 还有一个“高级”事务控制，只针对一种场景：

用户的程序，要从 kafka 读取源数据，数据处理的结果又要写入 kafka

kafka能实现端到端的事务控制（比起上面的“基础”事务，多了一个功能，通过producer可以将consumer的消费偏移量绑定到事务上提交）

producer.sendOffsetsToTransaction(offsets,consumer_id)

事务 api 示例

为了实现事务，应用程序必须提供唯一 transactional.id，并且开启生产者的幂等性

properties.put ("transactional.id","transactionid00001");
properties.put ("enable.idempotence",true);

kafka 生产者中提供的关于事务的方法如下：

在这里插入图片描述

“消费 kafka-处理-生产结果到 kafka”典型场景下的代码结构示例

package cn.doitedu.kafka.transaction;import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.common.serialization.StringDeserializer;
import org.apache.kafka.common.serialization.StringSerializer;import java.time.Duration;
import java.util.*;/***
* @author hunter.d
* @qq 657270652
* @wx haitao-duan
* @date 2020/11/15
**/
public class TransactionDemo {public static void main(String[] args) {Properties props_p = new Properties();props_p.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"doitedu01:9092,doitedu02:9092");props_p.setProperty(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());props_p.setProperty(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());props_p.setProperty(ProducerConfig.TRANSACTIONAL_ID_CONFIG,"tran_id_001");Properties props_c = new Properties();props_c.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,StringDeserializer.class.getName());props_c.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,StringDeserializer.class.getName());props_c.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"doitedu01:9092,doitedu02:9092");props_c.put(ConsumerConfig.GROUP_ID_CONFIG, "groupid01");props_c.put(ConsumerConfig.CLIENT_ID_CONFIG, "clientid");props_c.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG,"earliest");// 构造生产者和消费者KafkaProducer<String, String> p = new KafkaProducer<String, String>(props_p);KafkaConsumer<String, String> c = new KafkaConsumer<String, String>(props_c);c.subscribe(Collections.singletonList("tpc_5"));// 初始化事务p.initTransactions();// consumer-transform-produce 模型业务流程while(true){// 拉取消息ConsumerRecords<String, String> records = c.poll(Duration.ofMillis(1000L));if(!records.isEmpty()){// 准备一个 hashmap 来记录："分区-消费位移" 键值对HashMap<TopicPartition, OffsetAndMetadata> offsetsMap = new HashMap<>();// 开启事务p.beginTransaction();try {// 获取本批消息中所有的分区Set<TopicPartition> partitions = records.partitions();// 遍历每个分区for (TopicPartition partition : partitions) {// 获取该分区的消息List<ConsumerRecord<String, String>> partitionRecords =records.records(partition);// 遍历每条消息for (ConsumerRecord<String, String> record : partitionRecords) {// 执行数据的业务处理逻辑ProducerRecord<String, String> outRecord = newProducerRecord<>("tpc_sink", record.key(), record.value().toUpperCase());// 将处理结果写入 kafkap.send(outRecord);}// 将处理完的本分区对应的消费位移记录到 hashmap 中long offset = partitionRecords.get(partitionRecords.size() -1).offset();offsetsMap.put(partition,new OffsetAndMetadata(offset+1));}// 向事务管理器提交消费位移p.sendOffsetsToTransaction(offsetsMap,"groupid");// 提交事务p.commitTransaction();}catch (Exception e){// 终止事务p.abortTransaction();}}}}
}

事务实战案例

在实际数据处理中，consume-transform-produce 是一种常见且典型的场景；

在这里插入图片描述

在此场景中，我们往往需要实现，从“读取 source 数据，至业务处理，至处理结果写入 kafka”的整个流程，具备原子性：

要么全流程成功，要么全部失败！

（处理且输出结果成功，才提交消费端偏移量；处理或输出结果失败，则消费偏移量也不会提交）

要实现上述的需求，可以利用 Kafka 中的事务机制：

它可以使应用程序将消费消息、生产消息、提交消费位移当作原子操作来处理，即使该生产或消费会跨多个 topic 分区；

在 消 费 端 有 一 个 参 数 isolation.level ， 与 事 务 有 着 莫 大 的 关 联 ， 这 个 参 数 的 默 认 值 为“read_uncommitted”，意思是说消费端应用可以看到（消费到）未提交的事务，当然对于已提交的事务也是可见的。这个参数还可以设置为“read_committed”，表示消费端应用不可以看到尚未提交的事务内的消息。

在这里插入图片描述

控制消息（ControlBatch：COMMIT/ABORT）表征事务是被提交还是被放弃

Kafka 速度快的原因

  • 消息顺序追加（磁盘顺序读写比内存的随机读写还快）
  • 页缓存等技术（数据交给操作系统的页缓存，并不真正刷入磁盘；而是定期刷入磁盘）
  • 使用 Zero-Copy （零拷贝）技术来进一步提升性能；

扩展阅读：零拷贝

所谓的零拷贝是指将数据直接从磁盘文件复制到网卡设备中，而不需要经由应用程序之手；

零拷贝大大提高了应用程序的性能，减少了内核和用户模式之间的上下文切换；对于 Linux 系统而言，零拷贝技术依赖于底层的 sendfile( )方法实现；对应于 Java 语言，FileChannal.transferTo( )方法的底层实现就是 sendfile( )方法；

  • 非零拷贝示意图

在这里插入图片描述

  • 零拷贝示意图

在这里插入图片描述

零拷贝技术通过 DMA (Direct Memory Access）技术将文件内容复制到内核模式下的 Read Buffer。不过没有数据被复制到 Socke Buffer，只有包含数据的位置和长度的信息的文件描述符被加到 Socket Buffer； DMA 引擎直接将数据从内核模式 read buffer 中传递到网卡设备

这里数据只经历了 2 次复制就从磁盘中传送出去了，并且上下文切换也变成了 2 次

零拷贝是针对内核模式而言的，数据在内核模式下实现了零拷贝；

分区数与吞吐量（性能测试）

Kafka 本 身 提 供 用 于 生 产 者 性 能 测 试 的 kafka-producer-perf-test.sh 和 用 于 消 费 者 性 能 测 试 的
kafka-consumer-perf-test. sh，主要参数如下：

  • topic 用来指定生产者发送消息的目标主题；
  • num-records 用来指定发送消息的总条数
  • record-size 用来设置每条消息的字节数；
  • producer-props 参数用来指定生产者的配置，可同时指定多组配置，各组配置之间以空格分隔与
    producer-props 参数对应的还有一个 producer-config 参数，它用来指定生产者的配置文件；
  • throughput 用来进行限流控制，当设定的值小于 0 时不限流，当设定的值大于 0 时，当发送的吞吐量大于该值时就会被阻塞一段时间。

经验：如何把 kafka 服务器的性能利用到最高，一般是让一台机器承载（ cpu 线程数*2~3 ）个分区
测试环境： 节点 3 个，cpu 2 核 2 线程，内存 8G ，每条消息 1k

测试结果： topic 在 12 个分区时，写入、读取的效率都是达到最高
写入： 75MB/s ，7.5 万条/s
读出： 310MB/s

当分区数>12 或者 <12 时，效率都比=12 时要低！

生产者性能测试

tpc_3： 分区数 3，副本数 1

[root@doitedu01 kafka_2.11-2.0.0]# bin/kafka-producer-perf-test.sh --topic tpc_3 --num-records 100000  --record-size 1024 --throughput -1 --producer-props bootstrap.servers=doitedu01:9092 acks=1

100000 records sent, 26068.821689 records/sec (25.46 MB/sec), 926.82 ms avg latency, 1331.00 ms max latency, 924 ms 50th, 1272 ms 95th, 1305 ms 99th, 1318 ms 99.9th.

tpc_4： 分区数 4，副本数 2

[root@doitedu01 kafka_2.11-2.0.0]# bin/kafka-producer-perf-test.sh --topic tpc_4 --num-records 100000
--record-size 1024 --throughput -1 --producer-props bootstrap.servers=doitedu01:9092 acks=1

100000 records sent, 25886.616619 records/sec (25.28 MB/sec), 962.06 ms avg latency, 1647.00 ms max latency, 857 ms 50th, 1545 ms 95th, 1622 ms 99th, 1645 ms 99.9th.

tpc_5：分区数 5，副本数 1

[root@doitedu01 kafka_2.11-2.0.0]# bin/kafka-producer-perf-test.sh --topic tpc_5 --num-records 100000
--record-size 1024 --throughput -1 --producer-props bootstrap.servers=doitedu01:9092 acks=1

100000 records sent, 28785.261946 records/sec (28.11 MB/sec), 789.29 ms avg latency, 1572.00 ms max latency, 665 ms 50th, 1502 ms 95th, 1549 ms 99th, 1564 ms 99.9th

tpc_6：分区数 6，副本数 1

[root@doitedu01 kafka_2.11-2.0.0]# bin/kafka-producer-perf-test.sh --topic tpc_6 --num-records 100000
--record-size 1024 --throughput -1 --producer-props bootstrap.servers=doitedu01:9092 acks=1

100000 records sent, 42662.116041 records/sec (41.66 MB/sec), 508.68 ms avg latency, 1041.00 ms max latency, 451 ms 50th, 945 ms 95th, 1014 ms 99th, 1033 ms 99.9th.

tpc_12：分区数 12

[root@doitedu01 kafka_2.11-2.0.0]# bin/kafka-producer-perf-test.sh --topic tpc_12 --num-records 100000
--record-size 1024 --throughput -1 --producer-props bootstrap.servers=doitedu01:9092 acks=1

100000 records sent, 56561.085973 records/sec (55.24 MB/sec), 371.42 ms avg latency, 1103.00 ms max latency, 314 ms 50th, 988 ms 95th, 1091 ms 99th, 1093 ms 99.9th.

消费者性能测试

[root@doitedu01 kafka_2.11-2.0.0]# bin/kafka-consumer-perf-test.sh --topic tpc_3 --messages 100000
--broker-list doitedu01:9092 --consumer.config x.propertie

结果数据个字段含义：

start.time:						2023-11-14 15:43:42:422
end.time :						2023-11-14 15:43:43:347
data.consumed.in.MB:			98.1377
MB.sec :						106.0948
data.consumed.in.nMsg :			100493
nMsg.sec :						108641.0811
rebalance.time.ms :				13
fetch.time.ms :					912
fetch.MB.sec :					107.6071
fetch.nMsg.sec :				110189.6930结果中包含了多项信息，分别对应
起始运行时间（start. time）、
结束运行时 end.time）、
消息总量（data.consumed.in.MB ，单位为 MB ），
按字节大小计算的消费吞吐量（单位为 MB ）、
消费的消息总数（ data. consumed.in nMsg ）、
按消息个数计算的吞吐量（nMsg.sec）、
再平衡的时间（ rebalance time.ms 单位为 MB/s）、
拉取消息的持续时间（fetch.time.ms，单位为 ms）、
每秒拉取消息的字节大小（fetch.MB.sec 单位 MB/s）、
每秒拉取消息的个数( fetch.nM.sec）。
其中
fetch.time.ms= end.time - start.time - rebalance.time.ms

分区数与吞吐量实际测试

Kafka 只允许单个分区中的消息被一个消费者线程消费，一个消费组的消费并行度完全依赖于所消费的分区数；

如此看来，如果一个主题中的分区数越多，理论上所能达到的吞吐量就越大，那么事实真的如预想的一样吗？

我们以一个 3 台普通阿里云主机组成的 3 节点 kafka 集群进行测试，每台主机的内存大小为 8GB，磁
盘 为 40GB， 4 核 CPU 16 线 程 ， 主 频 2600MHZ ， JVM 版 本 为 1.8.0_112 ， Linux 系 统 版 本 为
2.6.32-504.23.4.el6.x86_64。
创建分区数为 1、20、50、100、200、500、1000 的主题，对应的主题名称分别为 topic-1 topic 20
topic-50 topic-100 topic-200 topic-500 topic-1000 ，所有主题的副本因子都设置为 1。

生产者，测试结果如下

在这里插入图片描述

消费者，测试结果与上图趋势类同

如何选择合适的分区数？从某种意恩来说，考验的是决策者的实战经验，更透彻地说，是 Kafka 本身、业务应用、硬件资源、环境配置等多方面的考量而做出的选择。在设定完分区数，或者更确切地说是创建主题之后，还要对其追踪、监控、调优以求更好地利用它

一般情况下，根据预估的吞吐量及是否与 key 相关的规则来设定分区数即可，后期可以通过增加分区数、增加 broker 或分区重分配等手段来进行改进。

分区数设置的经验参考

如果一定要给一个准则，则建议将分区数设定为集群中 broker 的倍数，即假定集群中有 3 个 broker 节点，可以设定分区数为 3/6/9 等，至于倍数的选定可以参考预估的吞吐量。

或者根据机器配置的 cpu 线程数和磁盘性能来设置最大效率的分区数：= CPU 线程数 * 1.5~2倍

不过，如果集群中的 broker 节点数有很多，比如大几十或上百、上千，那么这种准则也不太适用。

还有一个可供参考的分区数设置算法：

每一个分区的写入速度，大约 40M/s

每一个分区的读取速度，大约 60M/s

假如，数据源产生数据的速度是（峰值）800M/s ，那么为了保证写入速度，该 topic 应该设置 20个分区（副本因子为 3）。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/179846.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

python基于YOLOv8全系列模型【n/s/m/l/x】开发构建不同参数量级的钢铁产业产品智能自动化检测识别系统

python基于YOLOv8全系列模型【n/s/m/l/x】开发构建不同参数量级的钢铁产业产品智能自动化检测识别系统

在前文的项目开发实践中&#xff0c;我们已经以钢铁产业产品缺陷检测数据场景为基准&#xff0c;陆续开发构建了多款目标检测模型&#xff0c;感兴趣的话可以自行阅读即可。 《YOLOv3老矣尚能战否&#xff1f;基于YOLOv3开发构建建钢铁产业产品智能自动化检测识别系统&#xf…
阅读更多...
数据分析工具比较：Excel vs Python vs R

数据分析工具比较：Excel vs Python vs R

写在开头 在数据分析的世界里，选择合适的工具至关重要。本篇博客将深入比较常用的数据分析工具，包括Excel、Python和R，以帮助读者更好地选择适合自己需求的工具。 1.Excel：经典易用的电子表格 优势： 用户友好： Excel是大多数人熟悉的电子表格工具，使用简单，无需编程…
阅读更多...
STM32之模数转换器ADC

STM32之模数转换器ADC

目录 1、ADC介绍 1.什么是ADC&#xff1f; ADC的全称是Analog-to-Digital Converter&#xff0c;指模拟/数字转换器 2.ADC的性能指标 3.ADC特性 12位分辨率 4.ADC通道 5.ADC转换顺序 6.ADC触发方式 7.ADC转化时间 8.ADC转化模式 9.模拟看门狗 实验&#xff1a;使用ADC读…
阅读更多...
Linux文件随机抽取N行并取json的某个字段

Linux文件随机抽取N行并取json的某个字段

Linux文件随机抽取N行 shuf -n100 filename jq进行json处理 1) jq是一个出色的命令行针对-->JSON处理器,提供了用于查询、操作和使用JSON文件的大量功能,而且作为一个命令行工具,可配合UNIX管道使用,单行脚本处理JSON 2) jq可以对json数据进行分片、过滤、映射、转换;和se…
阅读更多...
fastjson 1.2.24 反序列化导致任意命令执行漏洞

fastjson 1.2.24 反序列化导致任意命令执行漏洞

漏洞描述 fastjson在解析json的过程中&#xff0c;支持使用autoType来实例化某一个具体的类&#xff0c;并调用该类的set/get方法来访问属性。 通过查找代码中相关的方法&#xff0c;即可构造出一些恶意利用链。 参考资料&#xff1a; 浅谈Fastjson RCE漏洞的绕过史 - FreeB…
阅读更多...
解决Hadoop DataNode ‘Incompatible clusterIDs‘报错

解决Hadoop DataNode ‘Incompatible clusterIDs‘报错

问题 启动hadoop时报错Failed to add storage directory 2023-11-26 12:02:06,840 WARN common.Storage: Failed to add storage directory [DISK]file:xxx java.io.IOException: Incompatible clusterIDs in xxx/dfs/data: namenode clusterID CID-xxxxxx; datanode cluste…
阅读更多...
Postgresql数据库运维统计信息

Postgresql数据库运维统计信息

如果需要使用以下运维信息&#xff0c;需要如下几步 修改postgresql.conf文件 #shared_preload_libraries # (change requires restart)shared_preload_libraries pg_stat_statements重启数据库创建扩展 CREATE EXTENSION IF NOT EXISTS pg_stat_statements;1. 统计信息…
阅读更多...
ArrayList与顺序表的简单理解

ArrayList与顺序表的简单理解

前言----list 在集合框架中&#xff0c;List是一个接口&#xff0c;继承自Collection。Collection也是一个接口&#xff0c;该接口中规范了后序容器中常用的一些方法&#xff0c;具体如下所示&#xff1a; Iterable也是一个接口&#xff0c;表示实现该接口的类是可以逐个元素进…
阅读更多...
using meta-SQL 使用元SQL

using meta-SQL 使用元SQL

%DatePart Syntax %DatePart(DTTM_Column) Description The %DatePart meta-SQL variable returns the date portion of the specified DateTime column. DatePart meta-SQL变量返回指定的DateTime列的日期部分。 Note: This meta-SQL variable is not implemented for COBOL. …
阅读更多...
鸿蒙4.0开发笔记之ArkTS语法基础@Entry@Component自定义组件的使用（九）

鸿蒙4.0开发笔记之ArkTS语法基础@Entry@Component自定义组件的使用（九）

文章目录 一、自定义组件概述1、什么是自定义组件2、自定义组件的优点 二、创建自定义组件1、自定义组件的结构2、自定义组件要点3、成员变量的创建4、参数传递规则 三、练习案例 一、自定义组件概述 1、什么是自定义组件 在ArkUI中&#xff0c;UI显示的内容均为组件&#xf…
阅读更多...
git设置超时设置

git设置超时设置

遇到大型时项目&#xff0c;git可能超时&#xff0c;可以通过设置超时时间解决 http.timeout 设置超时时间&#xff0c;单位为秒。 git config --global http.timeout 30http.postBuffer 除了设置超时时间外&#xff0c;还可以设置缓存区&#xff0c;大型项目去要更多的缓存…
阅读更多...
毫米波雷达DOA角度计算-----MUSIC算法

毫米波雷达DOA角度计算-----MUSIC算法

MUSIC算法如下&#xff1a; txNum &#xff1a;发射天线 2个 &#xff0c;rxNum&#xff1a;接收天线 4 个 。 ant &#xff1a; 为目标点的 天线 接收数据 &#xff0c; 为 8*1矩阵。 A ant;d 0.5;M 1; % # 快拍数ang_ax -90:90; % 角度坐标% 接收信号方向向量for k1:…
阅读更多...
【Java学习笔记】73 - 正则表达式

【Java学习笔记】73 - 正则表达式

项目代码 https://github.com/yinhai1114/Java_Learning_Code/tree/main/IDEA_Chapter27/src/com/yinhai/regexp 一、引入正则表达式 1.提取文章中所有的英文单词 2.提取文章中所有的数字 3.提取文章中所有的英文单词和数字 4.提取百度热榜标题 正则表达式是处理文本的利器…
阅读更多...
C语言——输入两个正整数 m 和 n。求其最大公约数和最小公倍数。

C语言——输入两个正整数 m 和 n。求其最大公约数和最小公倍数。

#define _CRT_SECURE_NO_WARNINGS 1#include<stdio.h> int main() {int m, n;int i;int x 1;int y 0;printf("请输入两个正整数m和n&#xff1a;\n");scanf("%d,%d", &m, &n);for (i 1; i < m && i < n; i) {if (m % i 0 …
阅读更多...
Java程序连接 nacos集群

Java程序连接 nacos集群

我们在bootstrap.yml文件里可以直接连一个nacos集群的. 架构如下 没错,我们程序直连的是通过Nginx的,利用nginx的反向代理来做到连接nacos集群. 我们先把nginx的配置贴上来 upstream cluster{server 127.0.0.1:8848;server 127.0.0.1:8849;server 127.0.0.1:8850; }server{l…
阅读更多...
软著项目推荐 深度学习动物识别 - 卷积神经网络 机器视觉 图像识别

软著项目推荐 深度学习动物识别 - 卷积神经网络 机器视觉 图像识别

文章目录 0 前言1 背景2 算法原理2.1 动物识别方法概况2.2 常用的网络模型2.2.1 B-CNN2.2.2 SSD 3 SSD动物目标检测流程4 实现效果5 部分相关代码5.1 数据预处理5.2 构建卷积神经网络5.3 tensorflow计算图可视化5.4 网络模型训练5.5 对猫狗图像进行2分类 6 最后 0 前言 &#…
阅读更多...
算法通关村第十三关|白银|数字与数学高频问题

算法通关村第十三关|白银|数字与数学高频问题

1.实现加法专题 1.1 数组实现整数加法 public int[] plusOne(int[] digits) {int len digits.length;for (int i len - 1; i > 0; i--) {digits[i];digits[i] % 10;if (digits[i] ! 0) {return digits;}}digits new int[len 1];digits[0] 1;return digits; }1.2 字符…
阅读更多...
基于SSM的高校学生实习管理系统设计与实现

基于SSM的高校学生实习管理系统设计与实现

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SSM 前端&#xff1a;Vue 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#xff1a;是 目录…
阅读更多...
软件设计开发规程文件

软件设计开发规程文件

《软件设计开发规程文件》 目的&#xff1a;为需求设计、开发、实现解决方案。
阅读更多...
Go使用logrus框架

Go使用logrus框架

Go中使用logrus框架将日志保存在文件和控制台输出 安装 go get github.com/sirupsen/logrus go get github.com/lestrrat-go/file-rotatelogs go get github.com/rifflock/lfshook完整代码 import ("fmt"rotatelogs "github.com/lestrrat-go/file-rotatelogs…
阅读更多...
最新文章

Copyright @ 2022~2023