logstash安装

下载最新版logstash   

https://www.elastic.co/cn/downloads/logstash

解压缩

tar zxvf logstash-7.12.1-linux-x86_64.tar.gz

下载jdk1.8   

tar zxvf jdk-8u291-linux-x64.tar.gz

编辑启动文件logstash、logstash.lib.sh、logstash-plugin

在首行添加

export JAVA_CMD="/usr/java/jdk1.8.0_291/bin/" 
export JAVA_HOME="/usr/java/jdk1.8.0_291/"

安装jdbc插件

生产环境不能联网;虽然logstash是开箱即用,即解压后就能使用,但是对于logstash-input-jdbc插件来说,一般是在线安装的(./logstash-plugin install logstash-input-jdbc)

就算你是在github上https://github.com/logstash-plugins/logstash-input-jdbc/下载源码,修改Gemfile,也要联网来安装。所以对于不能联网的机子来说必须使用

./logstash-plugin install file:///path/to/logstash-input-jdbc.zip 这种方式来安装。但是官方并没有提供像x-pack一样的离线安装包。那么我们就需要在一台能联网的机子上先在线安装好logstash-input-jdbc插件,然后使用logstash-plugin命令里面的打包离线安装包命令将插件打包为离线的,再传送到生产环境就可以了

一个能联网的机子上解压logstash后,在线安装jdbc插件:

# ./logstash-plugin install logstash-input-jdbc
Validating logstash-input-jdbc
Installing logstash-input-jdbc 
Installed successfulllogstash根目录下的以下目录查看对应的插件版本:

以下命令查看logstash-plugin的离线打包命令[root@YK2T-TYSFW017 logstash-7.12.1]# cd bin
[root@YK2T-TYSFW017 bin]# ./logstash-plugin -h
Using JAVA_HOME defined java: /usr/java/jdk1.8.0_291/
WARNING, using JAVA_HOME while Logstash distribution comes with a bundled JDK
Usage:bin/logstash-plugin [OPTIONS] SUBCOMMAND [ARG] ...Parameters:SUBCOMMAND                    subcommand[ARG] ...                     subcommand argumentsSubcommands:list                          List all installed Logstash pluginsinstall                       Install a Logstash pluginremove                        Remove a Logstash pluginupdate                        Update a pluginpack                          Package currently installed plugins, Deprecated: Please use prepare-offline-pack insteadunpack                        Unpack packaged plugins, Deprecated: Please use prepare-offline-pack insteadgenerate                      Create the foundation for a new pluginuninstall                     Uninstall a plugin. Deprecated: Please use remove insteadprepare-offline-pack          Create an archive of specified plugins to use for offline installationOptions:-h, --help                    print help
[root@YK2T-TYSFW017 bin]# 开始打包,打包时不需要联网
./logstash-plugin  prepare-offline-pack --overwrite --output logstash-output-jdbc.zip logstash-output-jdbc# ./logstash-plugin prepare-offline-pack --overwrite --output logstash-input-jdbc.zip logstash-input-jdbc
Offline package created at: logstash-input-jdbc.zipYou can install it with this command `bin/logstash-plugin install file:///usr/share/logstash/bin/logstash-input-jdbc.zip`将此zip文件上传至不能联网服务器的目录,使用上述命令安装即可
./bin/logstash-plugin install --no-verify file:///logstash-output-jdbc.zip

更改配置文件,启动即可 

/app/logstash-7.12.1/bin/logstash -f /app/logstash-7.12.1/config/logstashserver-redis-rds.conf -t

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/535380.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[logstash-input-file]插件使用详解

这个插件可以从指定的目录或者文件读取内容,输入到管道处理,也算是logstash的核心插件了,大多数的使用场景都会用到这个插件,因此这里详细讲述下各个参数的含义与使用 1 path 是必须的选项,每一个file配置&#xff0c…

[logstash-input-log4j]插件使用

Log4j插件可以通过log4j.jar获取Java日志,搭配Log4j的SocketAppender和SocketHubAppender使用,常用于简单的集群日志汇总。 最小化的配置 input {log4j {host>"localhost"port>4560} } output {stdout {} } log4j插件配置host以及port就…

logstash-input-redis插件使用详解

input {#redis {#host> "10.246.187.12"#redis地址#host> "10.246.152.116"#redis地址#port > "6379" #redis端口号#password > "123qwe" #如果有安全认证,此项为密码#key > "logstash:redis"#ty…

logstash-input-redis源码解析

首先是程序的自定义,这里设置了redis插件需要的参数,默认值,以及校验等。 然后注册Redis实例需要的信息,比如key的名字或者url等,可以看到默认的data_type是list模式。 程序运行的主要入口,根据不同的dat…

SSL双向认证和SSL单向认证的区别

双向认证 SSL 协议要求服务器和用户双方都有证书。单向认证 SSL 协议不需要客户拥有CA证书,具体的过程相对于上面的步骤,只需将服务器端验证客户证书的过程去掉,以及在协商对称密码方案,对称通话密钥时,服务器发送给客…

双向认证SSL原理

文中首先解释了加密解密的一些基础知识和概念,然后通过一个加密通信过程的例子说明了加密算法的作用,以及数字证书的出现所起的作用。接着对数字证书做一个详细的解释,并讨论一下windows中数字证书的管理,最后演示使用makecert生成…

Xtrabackup备份与恢复

一、Xtrabackup介绍 Percona-xtrabackup是 Percona公司开发的一个用于MySQL数据库物理热备的备份工具,支持MySQL、Percona server和MariaDB,开源免费,是目前较为受欢迎的主流备份工具。xtrabackup只能备份innoDB和xtraDB两种数据引擎的表&…

实时备份工具之inotify+rsync

1.inotify简介 inotify 是一个从 2.6.13 内核开始,对 Linux 文件系统进行高效率、细粒度、异步地监控机制, 用于通知用户空间程序的文件系统变化。可利用它对用户空间进行安全、性能、以及其他方面的监控。Inotify 反应灵敏,用法非常简单&…

mysql主从延迟

在实际的生产环境中,由单台MySQL作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面 因此,一般来说都是通过集群主从复制(Master-Slave)的方式来同步数据&#xff0c…

16张图带你吃透高性能 Redis 集群

现如今 Redis 变得越来越流行,几乎在很多项目中都要被用到,不知道你在使用 Redis 时,有没有思考过,Redis 到底是如何稳定、高性能地提供服务的? 你也可以尝试回答一下以下这些问题: 我使用 Redis 的场景很…

Redis与MySQL双写一致性如何保证

谈谈一致性 一致性就是数据保持一致,在分布式系统中,可以理解为多个节点中数据的值是一致的。 强一致性:这种一致性级别是最符合用户直觉的,它要求系统写入什么,读出来的也会是什么,用户体验好,…

weblogic忘记console密码

进入 cd /sotware/oracle_ldap/Middleware/user_projects/domains/base_domain/security/ 目录 执行 java -classpath /sotware/oracle_ldap/Middleware/wlserver_10.3/server/lib/weblogic.jar weblogic.security.utils.AdminAccount weblogic(账号) weblogic123(密码) . …

Redis的AOF日志

如果 Redis 每执行一条写操作命令,就把该命令以追加的方式写入到一个文件里,然后重启 Redis 的时候,先去读取这个文件里的命令,并且执行它,这不就相当于恢复了缓存数据了吗? 这种保存写操作命令到日志的持久…

Redis 核心技术与实战

目录 开篇词 | 这样学 Redis,才能技高一筹 01 | 基本架构:一个键值数据库包含什么? 02 | 数据结构:快速的Redis有哪些慢操作? 键和值用什么结构组织? 为什么哈希表操作变慢了? 有哪些底层数…

plsql定时器

Oralce中的任务有2种:Job和Dbms_job,两者的区别有: 1. jobs是oracle数据库的对象, dbms_jobs只是jobs对象的一个实例, 就像对于tables, emp和dept都是表的实例。 2. 创建方式也有…

PL/SQL批处理语句:BULK COLLECT 和 FORALL

PL/SQL程序中运行SQL语句是存在开销的,因为SQL语句是要提交给SQL引擎处理,这种在PL/SQL引擎和SQL引擎之间的控制转移叫做上下文却换,每次却换时,都有额外的开销 请看下图: 但是,FORALL和BULK COLLEC…

redis-full-check

https://github.com/alibaba/RedisFullCheck/releases redis-full-check是阿里云Redis&MongoDB团队开源的用于校验2个redis数据是否一致的工具。   redis-full-check通过全量对比源端和目的端的redis中的数据的方式来进行数据校验,其比较方式通过多轮次比较&a…

Docker目录挂载

Docker容器启动的时候,如果要挂载宿主机的一个目录,可以用-v参数指定。 譬如我要启动一个centos容器,宿主机的/test目录挂载到容器的/soft目录,可通过以下方式指定: # docker run -it -v /test:/soft centos /bin/ba…

Redis主从复制原理学习

Redis主从复制原理学习总结 - 运维笔记 和Mysql主从复制的原因一样,Redis虽然读取写入的速度都特别快,但是也会产生读压力特别大的情况。为了分担读压力,Redis支持主从复制,Redis的主从结构可以采用一主多从或者级联结构&#xff…

Redis哨兵模式(sentinel)学习总结及部署记录(主从复制、读写分离、主从切换)

Redis的集群方案大致有三种:1)redis cluster集群方案;2)master/slave主从方案;3)哨兵模式来进行主从替换以及故障恢复。 一、sentinel哨兵模式介绍 Sentinel(哨兵)是用于监控redis集群中Master状态的工具&…