kafka启动_Kafka安装部署——单节点

6c261554d003036f77e8ba19206585be.png

1.1 Kafka的单节点部署

    在实际的工作中,经常使用Kafka作为消息队列,然而并不是每一种业务场景都需要集群版的Kafka,有时单节点的Kafka就能满足了业务的需求。以下就是单节点kafka的部署流程:

1.1.1     安装包下载

    从Kafka官网下载最新的Kafka,目前我下载的版本为kafka_2.12-1.1.0.tgz

1.1.2     解压安装包

tar -zxvf kafka_2.12-1.1.0.tgz -C /opt/

创建软链接,软连接的创建的好处是方便之后的Kafka的版本的升级:

ln -s /opt/kafka_2.12-1.1.0 /opt/kafka

1.1.3     配置Zookeeper

    Kafka的安装包中,包含了zookeeper的安装包,如果没有zookeeper,可以按照以下流程进行配置,如果自带了zookeeper,可以使用已有的。

cd /opt/kafkavim config/zookeeper.properties

修改ZooKeeper的数据目录

dataDir=/data/zookeeper

配置host.name和advertised.host.name为IP地址

host.name=bigdata234advertised.host.name=bigdata234

1.1.4     启动Zookeeper

    由于Kafka需要把元数据注册到Zookeeper的,所以,启动Kafka之前需要首先启动Zookeeper。启动Zookeeper服务有两种方式,前台启动和后台启动。当调试的时候,需要前台启动,能够直接在前台看到运行日志,如果出现了报错现象,也方便调优。当ZK运行正常之后,就可以使用后台运行的方式启动服务了。

#前台启动./zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties#后台启动./zookeeper-server-start.sh  -daemon /opt/kafka/config/zookeeper.properties

1.1.5     修改Kafka配置

    Kafka的配置文件保存在config/server.properties文件中。对Kafka的配置的修改主要是修改数据文件目录,日志文件目录,基础配置信息。必须修改的选项。尤其是Kafka的数据和日志不能保存在系统盘中,一般的系统的系统盘的大小就几十个GB,很容易会将系统盘写满。

1.1.5.1 修改数据文件目录

log.dirs=/data/kafka/datas#支持多个数据盘的挂载,多个数据盘之间使用英文逗号分隔开即可

1.1.5.2  修改日志文件目录

    Kafka运行的时候都会通过log4j打印很多日志文件,如:server.log,controller.log, state-change.log等,默认都会将其输出到${KAFKA_HOME}/logs目录下。Kafka的日志默认输出的路径是在${KAFKA_HOME}/bin/kafka-run-class.sh指定的,可以修改如下:

# Log directory to useif [ "x$LOG_DIR" = "x" ];then   LOG_DIR="/data/kafka/logs"fi

1.1.5.3 修改基础配置信息

    单节点安装的时候需要指定对应的地址和绑定的端口。需要在配置文件中添加如下选项:

listeners=PLAINTEXT://bigdata234:9092port=9092advertised.host.name=bigdata234

1.1.6     启动Kafka服务器

Kafka的启动也可以是前台或者后台启动。

./kafka-server-start.sh ../config/server.proper#后台启动./kafka-server-start.sh  -daemon ../config/server.properties

1.1.7     单节点的优缺点

单节点Kafka有优点也有缺点。

优点如下——

u 部署简单;

u 运维简单;

u 资源需求少;

u 快速满足基本功能;

缺点如下——

u 性能差,不适合面向高并发;

u 数据缺少安全性,一个物理机挂了,数据就会丢失;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/472729.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mysql怎么多表备份_学习MySQL多表操作和备份处理

【IT168 服务器学院】前面我们熟悉了数据库和数据库表的基本操作,现在我们再来看看如何操作多个表。多表操作在一个数据库中,可能存在多个表,这些表都是相互关联的。我们继续使用前面的例子。前面建立的表中包含了员工的一些基本信息&#xf…

Maven 入门 (1)—— 安装

Maven 入门 (1)—— 安装 http://blog.csdn.net/kakashi8841/article/details/17371837 1、下载maven安装包 http://maven.apache.org/download.cgi 2、基于Unix的操作系统(Linux、Solaris 和 Mac OS X) 解压上面下载的包&#xf…

中文新闻分类 数据集_三亚试点用大数据推行垃圾分类:刷卡扔垃圾,分类有奖励|界面新闻...

文丨海南日报 高懿 周月光10月19日电 ,垃圾分类如何推行?三亚市引进智能装备,在6个社区开展试点,运用大数据分析,通过行为激励,引导市民积极配合垃圾分类。19日上午,记者现场采访试点社区垃圾分…

为什么a*算法采用哈密尔顿距离作为启发函数比不在位数为启发函数的性能要好?_KDD2019: 使用神经网络为A*搜索算法赋能 --以个性化路径推荐为例...

本文系 KDD2019 论文的解读:Wang, Jingyuan, Ning Wu, Wayne Xin Zhao, Fanzhang Peng, and Xin Lin. "Empowering A* Search Algorithms with Neural Networks for Personalized Route Recommendation." InProceedings of the 25th ACM SIGKDD Internati…

java socket tomcat_在Tomcat环境下使用socket通信

最近在做一个APP的服务器端,但是APP和服务器端使用的是HTTP的通信协议,而另一方与服务器端通信却使用的是自定义的通信协议。具体的系统拓扑如下:为了完成以上的需求,一般的解决方案有两种:自己实现服务器端程序&#…

产品设计 产品经理 喜欢的网站

1 Markman http://www.zi-han.net/tools/319.html 下载地址1: 链接: http://pan.baidu.com/s/1jGKdofO 密码: 8lbh 下载地址2: 提示:安装前需要先安装AIR(官方下载) MarkMan下载:官方下载 2 在线原型制作 http://cdn…

安卓手机主题软件_类似主题软件下载-类似主题安卓官方版下载v2.6.6.3

类似主题app,介绍给大家,是一款可以让我们在线进行主题变幻,拥有更多特色主题风格的服务平台。有了它用户就可以体验不同机型的主题风格,不论苹果还是安卓都是支持的,喜欢的不妨来下载看看!【类似主题应用功…

python接单业余赚钱的门路_程序员业余时间怎么快速一年赚200万

阅读:2515348791​分享到有几个比较好的朋友,都是搞程序出身,典型的IT男,编程的能力相当不错,但是随着年龄的增大,家庭责任的到来,很希望搞点赚钱的外快,但是不知道做什么&#xff1…

Java 文件 IO 操作

文章目录1. File类2. RandomAccessFile类3. 流类3.1 字节流3.2 字符流3.3 管道流3.4 ByteArrayInputStream、ByteArrayOutputStream3.5 System.in、System.out3.6 打印流 PrintStream3.7 DataInputStream、DataOutputStream3.8 合并流3.9 字节流与字符流的转换3.10 IO包类层次关…

java dsp_GitHub - Onemeaning/JavaDsp: 数字信号处理(DSP)方面的Java封装,包含常用的一些处理方法,如滤波、信号变换等等。...

JavaDsp数字信号处理(DSP)方面的Java封装,包含常用的一些处理方法,如滤波、信号变换等等。该类库是我本科毕业设计中的一部分,绝大部分都是我自己写实现的,很少部分算法有我另外几个朋友参与讨论和实现,在此表示感谢。…

简单banner制作

简单做了一个banner,效果不是很好,主要温习了蒙版知识和滤镜的使用,其中使用(图像 > 调整 > 照片滤镜, 可以让图片融合得更协调,另外图片上添加斜线做背景,这些小技巧在做banner时,能打造…

苹果11怎么录屏_苹果11怎么设置骚扰电话号码

大家好,我是时间财富网智能客服时间君,上述问题将由我为大家进行解答。系统版本为,苹果11设置拦截骚扰电话的方法如下:1、首先打开手机设置,找到【勿扰模式】;2、将勿扰模式开启后,点击下方【允…

python序列符号_初识Python(4)__Python序列

序列序列包含:字符串,列表和元组序列基本操作符索引:seq[ind] 获得下标为ind 的元素分片( [], [:], [::] ):seq[ind1:ind2] 获得下标从ind1 到ind2 间的元素集合重复操作符( * ):seq * expr 序列重复expr 次连接操作符…

BigTable的开源实现:HBase数据库

learn from 从0开始学大数据(极客时间) 文章目录1. 两种数据库2. HBase 可伸缩架构3. HBase 可扩展数据模型4. HBase高性能存储1. 两种数据库 关系数据库(RDBMS)缺点: 糟糕的 海量数据处理能力、僵硬的设计约束 从 …

java toast_Android中Toast的用法简介

Toast是Android中用来显示显示信息的一种机制,和Dialog不一样的是,Toast是没有焦点的,而且Toast显示的时间有限,过一定的时间就会自动消失。下面用一个实例来看看如何使用Toast。1.默认效果代码Toast.makeText(getApplicationCont…

erlang lists

http://blog.csdn.net/dp0304/article/details/7590233 一,带函数Pred1, all(Pred, List) -> boolean()如果List中的每个元素作为Pred函数的参数执行,结果都返回true,那么all函数返回true,否则返回false 例子: list…

流式计算的代表:Storm、Flink、Spark Streaming

learn from 从0开始学大数据(极客时间) 文章目录1. Storm2. Spark Streaming3. Flink对存储在磁盘上的数据进行大规模计算处理,大数据批处理对实时产生的大规模数据进行处理,大数据流计算 1. Storm 一些系统 业务逻辑 和 数据处…

windows7正版验证_Windows7 寿终正寝:那些一并消逝的软件你知多少?

IT服务圈儿有温度、有态度的IT自媒体平台来源:太平洋电脑网本月,一代经典操作系统微软Windows 7正式迎来了生命周期的完结。微软宣布,此后将不再为Win7提供任何形式的更新,包括安全更新、稳定性更新和功能更新;而仍在使…

python3 整除_python如何整除

Python 的除法运算符有两个:“/”表示普通除法,使用它除出来的结果与平常数学计算的结果是相同的(即除不尽时,会产生小数部分);而“//”表示整除,使用它除出来的结果只有整数部分,小数部分将会被舍弃。记住…

java implements t_Java泛型——為什么“擴展T”允許而不是“實現T”?

I wonder if there is a special reason in Java for using always "extends" rather than "implements" for defining bounds of typeparameters.我想知道在Java中是否有一個特殊的原因,因為使用總是“擴展”而不是“實現”來定義類型參數的界…