kafka启动_Kafka安装部署——单节点

6c261554d003036f77e8ba19206585be.png

1.1 Kafka的单节点部署

    在实际的工作中,经常使用Kafka作为消息队列,然而并不是每一种业务场景都需要集群版的Kafka,有时单节点的Kafka就能满足了业务的需求。以下就是单节点kafka的部署流程:

1.1.1     安装包下载

    从Kafka官网下载最新的Kafka,目前我下载的版本为kafka_2.12-1.1.0.tgz

1.1.2     解压安装包

tar -zxvf kafka_2.12-1.1.0.tgz -C /opt/

创建软链接,软连接的创建的好处是方便之后的Kafka的版本的升级:

ln -s /opt/kafka_2.12-1.1.0 /opt/kafka

1.1.3     配置Zookeeper

    Kafka的安装包中,包含了zookeeper的安装包,如果没有zookeeper,可以按照以下流程进行配置,如果自带了zookeeper,可以使用已有的。

cd /opt/kafkavim config/zookeeper.properties

修改ZooKeeper的数据目录

dataDir=/data/zookeeper

配置host.name和advertised.host.name为IP地址

host.name=bigdata234advertised.host.name=bigdata234

1.1.4     启动Zookeeper

    由于Kafka需要把元数据注册到Zookeeper的,所以,启动Kafka之前需要首先启动Zookeeper。启动Zookeeper服务有两种方式,前台启动和后台启动。当调试的时候,需要前台启动,能够直接在前台看到运行日志,如果出现了报错现象,也方便调优。当ZK运行正常之后,就可以使用后台运行的方式启动服务了。

#前台启动./zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties#后台启动./zookeeper-server-start.sh  -daemon /opt/kafka/config/zookeeper.properties

1.1.5     修改Kafka配置

    Kafka的配置文件保存在config/server.properties文件中。对Kafka的配置的修改主要是修改数据文件目录,日志文件目录,基础配置信息。必须修改的选项。尤其是Kafka的数据和日志不能保存在系统盘中,一般的系统的系统盘的大小就几十个GB,很容易会将系统盘写满。

1.1.5.1 修改数据文件目录

log.dirs=/data/kafka/datas#支持多个数据盘的挂载,多个数据盘之间使用英文逗号分隔开即可

1.1.5.2  修改日志文件目录

    Kafka运行的时候都会通过log4j打印很多日志文件,如:server.log,controller.log, state-change.log等,默认都会将其输出到${KAFKA_HOME}/logs目录下。Kafka的日志默认输出的路径是在${KAFKA_HOME}/bin/kafka-run-class.sh指定的,可以修改如下:

# Log directory to useif [ "x$LOG_DIR" = "x" ];then   LOG_DIR="/data/kafka/logs"fi

1.1.5.3 修改基础配置信息

    单节点安装的时候需要指定对应的地址和绑定的端口。需要在配置文件中添加如下选项:

listeners=PLAINTEXT://bigdata234:9092port=9092advertised.host.name=bigdata234

1.1.6     启动Kafka服务器

Kafka的启动也可以是前台或者后台启动。

./kafka-server-start.sh ../config/server.proper#后台启动./kafka-server-start.sh  -daemon ../config/server.properties

1.1.7     单节点的优缺点

单节点Kafka有优点也有缺点。

优点如下——

u 部署简单;

u 运维简单;

u 资源需求少;

u 快速满足基本功能;

缺点如下——

u 性能差,不适合面向高并发;

u 数据缺少安全性,一个物理机挂了,数据就会丢失;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/472729.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Maven 入门 (1)—— 安装

Maven 入门 (1)—— 安装 http://blog.csdn.net/kakashi8841/article/details/17371837 1、下载maven安装包 http://maven.apache.org/download.cgi 2、基于Unix的操作系统(Linux、Solaris 和 Mac OS X) 解压上面下载的包&#xf…

中文新闻分类 数据集_三亚试点用大数据推行垃圾分类:刷卡扔垃圾,分类有奖励|界面新闻...

文丨海南日报 高懿 周月光10月19日电 ,垃圾分类如何推行?三亚市引进智能装备,在6个社区开展试点,运用大数据分析,通过行为激励,引导市民积极配合垃圾分类。19日上午,记者现场采访试点社区垃圾分…

为什么a*算法采用哈密尔顿距离作为启发函数比不在位数为启发函数的性能要好?_KDD2019: 使用神经网络为A*搜索算法赋能 --以个性化路径推荐为例...

本文系 KDD2019 论文的解读:Wang, Jingyuan, Ning Wu, Wayne Xin Zhao, Fanzhang Peng, and Xin Lin. "Empowering A* Search Algorithms with Neural Networks for Personalized Route Recommendation." InProceedings of the 25th ACM SIGKDD Internati…

java socket tomcat_在Tomcat环境下使用socket通信

最近在做一个APP的服务器端,但是APP和服务器端使用的是HTTP的通信协议,而另一方与服务器端通信却使用的是自定义的通信协议。具体的系统拓扑如下:为了完成以上的需求,一般的解决方案有两种:自己实现服务器端程序&#…

安卓手机主题软件_类似主题软件下载-类似主题安卓官方版下载v2.6.6.3

类似主题app,介绍给大家,是一款可以让我们在线进行主题变幻,拥有更多特色主题风格的服务平台。有了它用户就可以体验不同机型的主题风格,不论苹果还是安卓都是支持的,喜欢的不妨来下载看看!【类似主题应用功…

Java 文件 IO 操作

文章目录1. File类2. RandomAccessFile类3. 流类3.1 字节流3.2 字符流3.3 管道流3.4 ByteArrayInputStream、ByteArrayOutputStream3.5 System.in、System.out3.6 打印流 PrintStream3.7 DataInputStream、DataOutputStream3.8 合并流3.9 字节流与字符流的转换3.10 IO包类层次关…

java dsp_GitHub - Onemeaning/JavaDsp: 数字信号处理(DSP)方面的Java封装,包含常用的一些处理方法,如滤波、信号变换等等。...

JavaDsp数字信号处理(DSP)方面的Java封装,包含常用的一些处理方法,如滤波、信号变换等等。该类库是我本科毕业设计中的一部分,绝大部分都是我自己写实现的,很少部分算法有我另外几个朋友参与讨论和实现,在此表示感谢。…

简单banner制作

简单做了一个banner,效果不是很好,主要温习了蒙版知识和滤镜的使用,其中使用(图像 > 调整 > 照片滤镜, 可以让图片融合得更协调,另外图片上添加斜线做背景,这些小技巧在做banner时,能打造…

苹果11怎么录屏_苹果11怎么设置骚扰电话号码

大家好,我是时间财富网智能客服时间君,上述问题将由我为大家进行解答。系统版本为,苹果11设置拦截骚扰电话的方法如下:1、首先打开手机设置,找到【勿扰模式】;2、将勿扰模式开启后,点击下方【允…

BigTable的开源实现:HBase数据库

learn from 从0开始学大数据(极客时间) 文章目录1. 两种数据库2. HBase 可伸缩架构3. HBase 可扩展数据模型4. HBase高性能存储1. 两种数据库 关系数据库(RDBMS)缺点: 糟糕的 海量数据处理能力、僵硬的设计约束 从 …

java toast_Android中Toast的用法简介

Toast是Android中用来显示显示信息的一种机制,和Dialog不一样的是,Toast是没有焦点的,而且Toast显示的时间有限,过一定的时间就会自动消失。下面用一个实例来看看如何使用Toast。1.默认效果代码Toast.makeText(getApplicationCont…

流式计算的代表:Storm、Flink、Spark Streaming

learn from 从0开始学大数据(极客时间) 文章目录1. Storm2. Spark Streaming3. Flink对存储在磁盘上的数据进行大规模计算处理,大数据批处理对实时产生的大规模数据进行处理,大数据流计算 1. Storm 一些系统 业务逻辑 和 数据处…

windows7正版验证_Windows7 寿终正寝:那些一并消逝的软件你知多少?

IT服务圈儿有温度、有态度的IT自媒体平台来源:太平洋电脑网本月,一代经典操作系统微软Windows 7正式迎来了生命周期的完结。微软宣布,此后将不再为Win7提供任何形式的更新,包括安全更新、稳定性更新和功能更新;而仍在使…

stotybord如何添加子视图_Revit软件技巧合集(建筑构件、视图处理、建筑表现、高级技巧)...

Revit软件技巧合集164套(建筑构件、视图处理、建筑表现、高级技巧)BIM技术在我国建筑行业受到了越来越多的关注,也得到了快速地发展。BIM应用软件也如雨后春笋般的涌现,随着时间的推移,revit在BIM应用中将成为设计利器,而在工程施…

ad域不去用frs_Windows Server 2008搭建AD域控服务器 - 小王同学!

AD域安装过程安装DNS服务器一路下一步这里选安装到这里DNS服务器安装成功,可以在主页面看到我们安装的角色安装DNS服务器后我们需要重启服务器安装AD域服务新增AD域服务角色一路下一步——安装即可两条安装成功提示,重启服务器角色中选择AD域服务&#x…

IE下及标准浏览器下的图片旋转(二)—— Canvas(2)

文章过长,一篇无法保存 IE下及标准浏览器下的图片旋转(二)—— Canvas(1) 同样,作为最后,我们使用使用jquery也为canvas写个旋转demo: javascript: $(function () { …

大数据技术 思维导图

learn from 从0开始学大数据(极客时间)

win10win键无反应_台式电脑开机主机没反应怎么办 电脑开机主机没反应解决【详解】...

按了开机按钮后我的台式电脑主机还是没反应,怎么办呢?下面由小编给你做出详细的台式电脑开机主机没反应解方式介绍。(此文主要针对台式电脑做介绍)台式电脑开机主机没反应解方式一:拔掉电源线 然后重复的按开机键5-10下 进行放静电操作 然后再插上电源线…

hadoop 单机伪分布式安装步骤

文章目录1. 安装 Java2. 配置SSH无密码登录3. 下载 hadoop4. 配置环境变量5. 报错处理参考环境 Centos7参考:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htmlhttps://blog.csdn.net/bingduanlbd/article/details/5187…

Eclipse 为jar包加入 Java Source和Javadoc(如何向Eclipse中导入源码和doc)

: 当我们在MyEclipse中加入Struct,只是引入了jar包,这时使用jar包里面的类,是无法看到源码的,看到的只是这样 是反编译后的一些东西 加入源码 那么如果看到源码呢,就需要导入了 找到这个类对应的jar包,下载…