Hadoop生态Flume(二)安装配置

 

一、flume下载地址

列中的链接应显示可用镜像的列表,并根据您的推断位置进行默认选择。如果看不到该页面,请尝试使用其他浏览器。校验和和签名是主分发服务器上原始文件的链接。

Apache Flume二进制文件(tar.gz)apache-flume-1.9.0-bin.tar.gzapache-flume-1.9.0-bin.tar.gz.sha512apache-flume-1.9.0-bin.tar.gz.asc
Apache Flume来源(tar.gz)apache-flume-1.9.0-src.tar.gzapache-flume-1.9.0-src.tar.gz.sha512apache-flume-1.9.0-src.tar.gz.asc

必须使用PGP或MD5签名来验证下载文件的完整性。

flume1.9.0下载地址

 

二、安装环境

  1. Java运行时环境-Java 1.8或更高版本
  2. 内存-足够的内存,用于源,通道或接收器使用的配置
  3. 磁盘空间-足够的磁盘空间用于通道或接收器使用的配置
  4. 目录权限-代理使用的目录的读/写权限

 

三、配置

(1)解压安装

cp apache-flume-1.9.0-bin.tar.gz /home/mk
tar -zxvf apache-flume-1.9.0-bin.tar.gz
cd apache-flume-1.9.0-bin

(2)配置

cp conf/flume-conf.properties.template conf/flume.conf

flume.conf 

# Define a memory channel called ch1 on agent1
agent1.channels.ch1.type = memory# Define an Avro source called netcat-source1 on agent1 and tell it
# to bind to 0.0.0.0:12200. Connect it to channel ch1.
agent1.sources.netcat-source1.channels = ch1
agent1.sources.netcat-source1.type = netcat
agent1.sources.netcat-source1.bind = 0.0.0.0
agent1.sources.netcat-source1.port = 12200# Define a logger sink that simply logs all events it receives
# and connect it to the other end of the same channel.
agent1.sinks.log-sink1.channel = ch1
agent1.sinks.log-sink1.type = logger# Finally, now that we've defined all of our components, tell
# agent1 which ones we want to activate.
agent1.channels = ch1
agent1.sources = netcat-source1
agent1.sinks = log-sink1

(3)(可选)基于模板创建flume-env.sh文件(或从头开始创建一个文件)。flume-ng可执行文件在--conf / -c命令行选项指定的conf目录中查找并获取名为“ flume-env.sh”的文件。使用flume-env.sh的一个用例是在开发自己的自定义Flume NG组件(例如源和接收器)时通过JAVA_OPTS指定调试或概要分析选项。

$ cp conf/flume-env.sh.template conf/flume-env.sh

(4)运行Flume NG

flume-ng可执行文件使您可以运行Flume NG代理或Avro客户端,这对于测试和实验非常有用。无论如何,您都需要指定一个命令(例如agent)和一个conf目录(--conf <conf dir>)。所有其他选项都是特定于命令的。

要使用上面的flume.conf启动flume服务器:

bin/flume-ng agent --conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n agent1 -Dflume.monitoring.type=http -Dflume.monitoring.port=23310

请注意,agent名称由指定,-n agent1并且必须与配置中指定的agent名称匹配-f conf/flume.conf

测试:

$ telnet localhost 12200
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
Hello world! <ENTER>
OK

输出日志:

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/322906.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

小程序如何将wx.request里的数据传出去

设置一个事件&#xff0c;用来测试 用类似于vue中的this.msg result.data[1].receiver并不能把值传出去 但是用setData却可以&#xff0c;代码如下 btnclick:function(){var that this;wx.request({url: http://www.k1998.xyz/kjh/reciever.php,success: (result) > {cons…

纪中2019(上)游记+总结

目录之下 文章目录目录之下游记之下Day−1Day-1Day−1Day0Day0Day0Day1Day1Day1Day2Day2Day2Day3Day3Day3Day4Day4Day4Day5Day5Day5Day6Day6Day6Day7Day7Day7Day8Day8Day8Day9Day9Day9Day10Day10Day10Day11Day11Day11Day12Day12Day12Day13Day13Day13Day14Day14Day14比赛之下欢乐…

asp.net core WebAPI实现CRUD

本节用于构建一个简单的WebAPI来管理to-do列表。不会创建用户界面。 API Description Request body Response body GET /api/todo Get all to-do items NoneArray of to-do items GET /api/todo/{id} Get an item by ID NoneTo-do item POST /api/todo Add a new item To-do it…

Hadoop2.6.0的Intellij Idea 插件

一、Hadoop2.6.0的Idea Intellij插件下载 github源码地址 github插件压缩包 二、安装插件 setting》Plugins》install plugins from disk 选择压缩包&#xff0c;重启Idea就行 安装完的结果&#xff1a;

v-for指令案例详解

对于v-for指令&#xff0c;以前老是不能理解&#xff0c;经常记混&#xff0c;所以特地写篇笔记来加强下记忆&#xff0c;希望借此能学的更深刻一点 v-for顾名思义就是个for循环&#xff0c;是vue的一个循环。在遍历json字符串的时候有奇佳的效果&#xff0c;感觉就是为他们而造…

jzoj1273-袁绍的刁难【进制转换】

正题 题目大意 第iii个武将价值为3i−13^{i-1}3i−1&#xff0c;求第kkk大的选择武将价值之和 解题思路 因为∑i0n−13i<3n\sum_{i0}^{n-1}3^i<3^{n}∑i0n−1​3i<3n 所以其实答案就是kkk转成二进制之后强行转成3进制的值。 codecodecode #include<cstdio> …

Docker ASP.NET Core 2.0 微服务跨平台实践

本篇博文的目的&#xff1a;在 Mac OS 中使用 VS Code 开发 ASP.NET Core 2.0 应用程序&#xff0c;然后在 Ubuntu 服务器配置 Docker 环境&#xff0c;并使用 Docker 运行 Consul 和 Fabio 环境&#xff0c;最后使用 Docker 运行 ASP.NET Core 2.0 应用程序。 你要的项目源码&…

Vue之splice和push

methods:{getIt(){this.list.push({name:"aaa"}) },delIt(){this.list.splice(0,1)}}对于splice() 前面的是序列号&#xff0c;后面的是删除的个数 序列号为1的时候&#xff0c;从后面删 序列号为0的时候&#xff0c;从前面开始删 序列号为2或者2以上的时候&#xff…

微软Connect(); 2017大会梳理:Azure、数据、AI开发工具

在今天召开的 Connect(); 2017 开发者大会上&#xff0c;微软宣布了 Azure、数据、AI 开发工具的内容。这是第一天的 Connect(); 2017 的主题演讲。 在开场视频中霍金又来了。你记得这个Intel为他开发的系统使用了C#&#xff0c;而且是开源的&#xff0c;在Github上地址&#x…

jzoj5230-队伍统计【状压dp】

正题 题目大意 nnn个人排队&#xff0c;mmm个条件(u,v)(u,v)(u,v)表示uuu要排在vvv前&#xff0c;可以去掉kkk个&#xff0c;求方案总数 解题思路 考虑依次插入人在队头 对于状态1表示已经在队列里&#xff0c;0表示不在 fi,jf_{i,j}fi,j​表示iii表示状态,jjj表示违背了的条件…

Hadoop生态hive(五)Hive QL数据库

&#xff08;1&#xff09;查看数据库 show databases; &#xff08;2&#xff09;使用数据库 use db; &#xff08;3&#xff09;查看当前数据库 #与mysql的select database();不一样 select current_database(); &#xff08;4&#xff09;创建数据库 create database [if …

TypeError: Cannot set property 'msg' of undefined

在axios中想把数据取出来 this. msg “kkk” 但是却报TypeError: Cannot set property ‘msg’ of undefined的错误 后来找到&#xff0c;原来是自己没有函数不是箭头函数导致的 如果不是箭头函数的话&#xff0c;this的指向就会有问题&#xff0c;然后一直报错 将一下代码改为…

jzoj5231-序列问题【分治】

正题 题目大意 nnn个数字&#xff0c;求 (∑l1n∑rlnmin{ai}∗max{ai}(i∈[l..r]))%(1097)(\sum_{l1}^n\sum_{rl}^nmin\{a_i\}*max\{a_i\}(i\in [l..r]))\%(10^97)(l1∑n​rl∑n​min{ai​}∗max{ai​}(i∈[l..r]))%(1097) 解题思路 考虑分治&#xff0c;单独在半个内的分治下…

讨论.NET Core 配置对GC 工作模式与内存的影响

引出问题: Asp.net core应用在 Kubernetes上内存使用率过高问题分析 Asp.net core应用在 Kubernetes上内存使用率过高问题分析 这篇文章中讨论了&#xff0c;在默认情况下&#xff0c;ASP.NET Core程序跑在K8s的Docker中内存使用率>600MB&#xff0c;导致Docker容器频繁重启…

Hadoop生态hive(六)Hive QL表

一、创建表 语法&#xff1a; create [temporary] [external] table [if not exists] [db_name.] table_name [(col_name data_type [comment col_comment], ...)] [comment table_comment] [row format row_format] [stored as file_format] 例子&#xff1a; create tab…

v-for渲染img标签图片

错误的示例 <div v-for"item in list"><img src"{{item.image}}" /> </div>这样做会报错 正确的做法应该是 <div v-for"item in list"><img :src"item.image" /> </div>这样就可以把后端接口的…

Mono的新解释器

Mono即将通过它的JIT编译器和静态编译器以及一个.net解释器以带来一些新的方式来运行你的代码. 在2001年Mono项目诞生之时&#xff0c;我们为.net指令集实现了一个解释器用基于它实现了一个在Linux上的自托管的.net开发环境. 当时我们把解释器定义为一个用来构建JIT编译器的临时…

欢乐纪中某B组赛【2019.1.27】

前言 写完T1T1T1和T2T2T2颓了半天 成绩 RankRankRank是有算别人的 RankRankRankPersonPersonPersonScoreScoreScoreAAABBBCCC2222017myself2017myself2017myself2302302301001001001001001003030304442017xxy2017xxy2017xxy2002002001001001001001001000001111112017zyc2017zy…

forever以及pm2相关命令

sudo npm install forever -g 启动 forever start app.js forever list 停止单个 forever stop [pid] 停止所有 forever stopall pm2 相关命令 查看某个进程的信息 启动进程 pm2 start app.js查看所有进程信息 pm2 list停止进程 pm2 stop 0 ##0为id删除进程 // pm2 de…

Apache Druid(一)简介

翻译自 Apache Druid Apache Druid&#xff08;正在孵化&#xff09;是一个开源的分布式数据存储。德鲁伊的核心设计结合了OLAP /分析数据库&#xff0c;时间序列数据库和搜索系统的思想&#xff0c;为广泛的用例创建了一个统一的系统。Druid将这三个系统中的每个系统的关键特…