Docker中Kafka容器创建/更新Topic支持多分区

前提

自行通过docker部署好kafka,并启动相关容器。
假设Topic为http_capture。

#docker-kafka
kafka_dir=/opt/docker/kafka/build
sudo rm -rf ${kafka_dir}/*
cat > ${kafka_dir}/docker-compose.yml <<EOF
version: "3.3"
services:zookeeper:image: zookeeper:3.5.5restart: alwayscontainer_name: dsms_zookeeperports:- "2181:2181"environment:- ZOO_MY_ID=1kafka:image: wurstmeister/kafka:2.13-2.8.1restart: alwayscontainer_name: dsms_kafkaenvironment:- KAFKA_BROKER_ID=1- KAFKA_ADVERTISED_HOST_NAME=${local_ip}- KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181- KAFKA_ZOOKEEPER_CONNECTION_TIMEOUT_MS=36000- KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://${local_ip}:9092- KAFKA_LISTENERS=PLAINTEXT://:9092ports:- "9092:9092"expose:- "9092"depends_on:- zookeeper
EOF
cd ${kafka_dir} && sudo /opt/bin/docker-compose up -d

Docker中Kafka容器创建/更新Topic支持多分区

检测Kafka运行正常后,如果Topic为http_capture的主题存在,则更新分区为5个,若不存在Topic,则新建。

#!/bin/bash# 检查 Kafka 容器是否正常运行
while ! docker ps --format '{{.Names}}' | grep -q "^dsms_kafka$"; doecho "等待 Kafka 容器启动..."sleep 5
doneecho "Kafka 容器已成功启动."# 在 Kafka 容器内执行命令,将结果保存到临时文件中
docker exec dsms_kafka kafka-topics.sh --list --zookeeper zookeeper:2181 > /tmp/kafka_topics_list.txt# 检查 http_capture 主题是否存在
if grep -q "^http_capture$" /tmp/kafka_topics_list.txt; thenecho "更新 http_capture 主题分区数量..."docker exec dsms_kafka kafka-topics.sh --alter --topic http_capture --partitions 5 --zookeeper zookeeper:2181
elseecho "创建新的 http_capture 主题..."docker exec dsms_kafka kafka-topics.sh --create --topic http_capture --partitions 5 --replication-factor 1 --zookeeper zookeeper:2181echo "新的 http_capture 主题创建成功."
fi# 删除临时文件
rm -f /tmp/kafka_topics_list.txt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/825511.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

语言的未来:深度学习在自然语言处理中的革命

语言的未来&#xff1a;深度学习在自然语言处理中的革命 1 引言 自古以来&#xff0c;语言就是人类表达思想、传递信息、进行社会互动的基石。语言的复杂性既体现在其变化多端的语义、句法和语用层面&#xff0c;同时也反映在人类如何理解和产生自然语言的深奥之中。在这一节中…

009、Python+fastapi,第一个后台管理项目走向第9步:ubutun 20.04下安装vscode+git环境配置

一、说明 git是一定要配置的&#xff0c;由于是白嫖的无影云电脑&#xff0c;东西得保存在网上&#xff0c;就继续白嫖gitee吧&#xff0c;显然国内github是不太合适的了 二、安装git 直接安装sudo apt install -y git git --version git version 2.25.1 三、配置git 在git上…

OSPF星型拓扑和MGRE全连改

一&#xff0c;拓扑 二&#xff0c;要求 1&#xff0c;R6为ISP只能配置IP地址&#xff0c;R1-R5的环回为私有网段 2&#xff0c;R1/4/5为全连的MGRE结构&#xff0c;R1/2/3为星型的拓扑结构&#xff0c; 3&#xff0c;R1为中心站点所有私有网段可以互相通讯&#xff0c;私有网段…

Spring AI,调用OpenAI大模型接口,让ChatGPT给你讲笑话

前言 Spring最近刚刚推出了SpringAI&#xff0c;封装了AI大模型接口的使用。本文将参考Spring官网案例&#xff0c;一步步教你如何调用OpenAI的接口&#xff0c;让ChatGPT接口返回一个笑话。 前提条件 请下载并安装好JDK17或更新的版本&#xff0c;本文使用的是JDK21。JDK下…

基于百度文心大模型全面重构,小度正式推出AI原生操作系统DuerOS X

4月16日&#xff0c;以“创造未来”为主题的2024百度Create AI开发者大会在深圳举办。百度集团副总裁、小度科技CEO李莹正式发布了小度新一代操作系统DuerOS X&#xff0c;该操作系统是小度基于百度文心大模型推出的全球首个AI原生操作系统。李莹表示&#xff1a;“作为⽂⼼⼤模…

Gradle常用命令

Gradle是一个强大的构建系统&#xff0c;用于自动化和管理构建过程&#xff0c;是许多Java、Android、C和其他语言的项目的主流构建工具。以下是一些在命令行中经常使用的Gradle命令&#xff1a; 查看Gradle版本&#xff1a; gradle --version或使用Gradle Wrapper&#xff1a;…

深入理解人工智能:从基础到前沿/厾罗

导言&#xff1a; 随着科技的飞速发展&#xff0c;人工智能&#xff08;AI&#xff09;已经成为了一个家喻户晓的概念。无论是在电影中看到的智能机器人&#xff0c;还是我们日常生活中的智能助手&#xff0c;人工智能的应用已经无处不在。但人工智能究竟是什么&#xff1f;它如…

【漏洞复现】IP-guard WebServer getdatarecord接口处存在权限绕过漏洞

免责声明&#xff1a;文章来源互联网收集整理&#xff0c;请勿利用文章内的相关技术从事非法测试&#xff0c;由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失&#xff0c;均由使用者本人负责&#xff0c;所产生的一切不良后果与文章作者无关。该…

JC/T 2221-2014 木塑门检测

木塑门是指采用木粉&#xff0c;树脂以及助剂通过模塑化工艺制造而成&#xff0c;具有高强度&#xff0c;防火阻燃&#xff0c;耐水&#xff0c;防霉&#xff0c;抗菌等特点&#xff0c;是代替传统木材的绿色环保新型材料&#xff0c;在建筑领域广泛应用。 JC/T 2221-2014木塑…

基于Java+Vue的校园交友系统(源码+文档+包运行)

一.系统概述 选题背景&#xff1a; 在大学校园中&#xff0c;学生们面临着新的环境和人际关系的挑战。有些学生可能感到孤独或者希望扩展自己的社交圈子&#xff0c;寻找志同道合的朋友或者潜在的伴侣。因此&#xff0c;设计一款校园交友平台具有重要意义。 研究意义&#xff1…

手机矩阵操作都能做什么

手机矩阵操作在多个方面都有广泛的应用。首先&#xff0c;在内容传播方面&#xff0c;矩阵操作意味着在多个平台或账号上同时发布相同或相似的内容&#xff0c;以实现更广泛的覆盖和更高的曝光率。这有助于提升内容的影响力和知名度&#xff0c;从而吸引更多的用户关注。 其次…

Java内存模型和 JVM 内存运行时

文章目录 前言一、什么是Java 的内存模型&#xff1f;二、什么是 JVM 的运行时数据区Java8 之前和之后的区别JVM 内存模型JVM 内存区域JVM 内存垃圾回收JVM如何判断哪些对象不在存活&#xff1f;JVM运行过程中如何判断哪些对象是垃圾&#xff1f; JVM 垃圾回收Java8 中的 jvm如…

Liquibase中MARK_RAN与EXECUTED:解析与实战应用.

哈喽&#xff0c;大家好&#xff0c;我是木头左&#xff01; 引言 在软件开发的世界里&#xff0c;数据库的版本控制是一项重要的工作。Liquibase是一个开源的、企业级的数据库版本控制工具&#xff0c;它能够帮助更好地管理和控制数据库的版本。在这篇文章中&#xff0c;将深…

机器学习实战-决策树

1.概念 决策树(Decision Tree&#xff09;是在已知各种情况发生概率的基础上&#xff0c;通过构成决策树来求取净现值的期望值大于等于零的概率&#xff0c;评价项目风险&#xff0c;判断其可行性的决策分析方法&#xff0c;是直观运用概率分析的一种图解法。由于这种…

【MySql】MySQL 中的 INNER JOIN 和 LEFT JOIN 使用指南

像我这样迷茫的人 像我这样寻找的人 像我这样碌碌无为的人 你还见过多少人 像我这样庸俗的人 从不喜欢装深沉 怎么偶尔听到老歌时 忽然也晃了神 像我这样懦弱的人 凡事都要留几分 怎么曾经也会为了谁 想过奋不顾身 &#x1f3b5; 毛不易《像我这样的人》 …

Google DeepMind: Many-Shot vs. Few-Shot

本文介绍了如何通过增大上下文窗口&#xff0c;利用大型语言模型&#xff08;LLMs&#xff09;进行多实例上下文学习&#xff08;Many-Shot In-Context Learning&#xff0c;ICL&#xff09;的方法。主要描述了现有的几实例上下文学习方法虽然在推理时能够通过少量例子学习&…

详解混合精度训练(Mixed Precision Training)

介绍 混合精度训练&#xff08;Mixed Precision Training&#xff09;是一种在深度学习中提高训练速度和减少内存占用的技术。在PyTorch中&#xff0c;通过使用半精度浮点数&#xff08;16位浮点数&#xff0c;FP16&#xff09;和单精度浮点数&#xff08;32位浮点数&#xff…

“全网最全”LLM推理框架集结营 | 看似微不足道,却决定着AIGC项目的成本、效率与性能!

00-前序 随着ChatGPT、GPT-4等大语言模型的出现&#xff0c;彻底点燃了国内外的学者们与企业家们研发LLM的热情。国内外的大语言模型如雨后春笋一般的出现&#xff0c;这些大语言模型有一部分是开源的&#xff0c;有一部分是闭源的。 伴随着大语言模型的出现&#xff0c;国内外…

树莓派驱动RGB灯-rpi-ws281x库安装

1 树莓派的操作系统安装 1.1 操作系统选择 这个选择64位的操作的系统来驱动&#xff0c;一定不要选择32位的操作系统。笔者在这个地方浪费不少时间&#xff0c;具体原因不是很清楚。如果32位的操作系统&#xff0c;后面在rpi-ws281x的库时候会有报错。 1.2 操作系统链接如下…

JavaEE初阶Day 11:多线程(9)

目录 Day 11&#xff1a;多线程&#xff08;9&#xff09;生产者消费者模型1. 阻塞队列实现 线程池1. 标准库线程池&#xff08;ThreadPoolExecutor&#xff09;1.1 corePoolSize & maximumPoolSize1.2 keepAliveTime & unit1.3 BlockingQueue<Runnable> workQue…