数据采集工具flume

概述

  flume是在2011年被首次引入到Cloudera的CDH3分发中,2011年6月,Cloudera将flume项目捐献给Apache基金会。2012年,flume项目从孵化器变成了顶级项目,在孵化的这一年中,开发人员就已经开始基于Star Trek Themed标签对flume进行重构,并创建了flume-NG(Flume the next Generation)。
    Apache的flume-NG是一个分布式的,可靠的,和可用的系统。能有效地收集,汇总和移动大量的从许多不同的来源,一个集中式数据存储日志数据。
Apache的flume的使用不仅限于日志数据聚集。由于数据来源是可定制的,flume可以用来大量事件(每一行数据被当做一个event)数据包括但不限
于传输网络数据,社交媒体产生的数据,电子邮件和几乎任何数据源的可能。
    Apache的flume-NG是Apache软件基金会的顶级项目,目前有两个版本的代码,版本0.9.x和1.x。1.x是全新的架构,该版本重新改进了的性能和配置
的灵活性,鼓励用户使用。

系统要求
    1、Java:Java 1.6或更高版本(推荐使用Java 1.7);
    2、内存:配置使用sources、channels、sinks时需要有足够的内存;
    3、磁盘空间:配置使用channels、sinks时需要有足够的磁盘空间;
    4、目录权限:使用agent时需要拥有目录的读写权限;
 
数据流模型
    flume事件被定义为数据流中一个有效字节和一个可选的字符串属性设置。flume是(JVM)进程中,主机部件通过事件流从外部源的下一个目的地(跳)。

flume源消耗像Web服务器的外部源传递到事件。外部源发出的事件在一个由目标识别的格式flumeflume源。例如,一个公司的flume源可用于从公司客户或其他flume代理发送事件从一个公司的汇流接收Avro事件。类似的流程可以定义使用节俭flume源接收事件从水池或flume节俭节俭RPC客户端或节俭写在从flume节俭的协议而产生的任何语言的客户。当flume源接收事件,就将它保存为一个或多个通道。通道是一个被动的存储,使事件直到它的flumeflume消耗。文件的渠道就是一个例子–通过本地文件系统支持。flume中移除事件从通道和把它变成像HDFS外部储存库(通过flumeHDFS库)或转发到下一个flume,flume源代理(下一跳)在流动。在给定的源和汇的代理异步运行在频道上演的事件。

复杂流动
    flume允许用户在事件流中建立多个agent。它允许到达目的地时支持扇入和扇出,上下文路由和备份路由,跳过失败。


转载于:https://www.cnblogs.com/mengyao/p/4584505.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/405672.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

电脑SSH登陆树莓派Raspberry的两种方式

采用SSH登陆Raspberry需要提前知道Raspberry的IP,SSH登陆端口为22,这里分享两种基于SSH网络登陆树莓派的方式。 一、利用路由器搭建局域网登陆树莓派 1、用路由器搭建局域网,电脑无线或有线方式连接路由器,树莓派用网线连接路由…

linux命令修改内容怎么回退,linux命令(修改).doc

linux命令(修改)第一组 用户管理类命令1 添加用户useradd [选项] 用户名范例:useradd davidls /home vim /etc/passwd2 修改密码passwd [选项] 用户名范例:useradd davidls /home passwd david(修改密码)3 删除用户userdel [选项] 用户名范例&#xff1a…

使用数据库的压测工具super-smack测试mysql数据库性能

一、下载super-smack下载地址:http://vegan.net/tony/supersmack/源码:http://vegan.net/tony/supersmack/super-smack-1.3.tar.gz二、编译及安装配置编译选项:./configure --prefix/usr/local/super-smack-1.3 --with-mysql --with-smacks-d…

React开发(225):render中返回的值可以定义为一个方法

/*** 商品信息 图片&#xff0c;名称、code展示* param {*} data*/goodInfoVal (data) > {return (<div style{{ display: flex, alignItems: center }}><img style{{ width: 100px, marginRight: 8px }} src{data.productImg} alt"" /><div>&…

Linux sed工具用法

一、sed用法 语法&#xff1a; sed [-nefr] [动作] 作用&#xff1a; 以行为单位的新增/删除/修改/插入/替换等功能&#xff0c;bash脚本中常用。sed功能强大&#xff0c;主要体现在[动作]的指定 选项与参数&#xff1a; -n &#xff1a;只有经过 sed 特殊处理的那一行&…

SourceInsight配置

如图&#xff1a; 1&#xff09; SourceInsight: a) 搜索结果直接替换 b) 配置背景色 c) 显示行号、设置tab键宽度为4个空格以及其他 d) 字体设置 e) 不创建备份文件

安卓客户端测试总结

安装测试1.真机上安装卸载&#xff0c;.第方软件&#xff08;91.豌豆荚等2.手机卡/SD卡&#xff0c;.不同的IOS和安卓版本3.安装过程中取消&#xff0c;空间不足4.安装过程来电&#xff0c;短信&#xff0c;完成后&#xff0c;是否继续5.卸载后是否卸载所安装文件6.是否可以删除…

linux防火墙查看被动模式,Centos7搭建vsftpd及被动模式下的防火墙设置

一、安装vsftpd&#xff1a;yum -y install vsftpd二、 创建用户名useradd zhangsanpasswd 123456useradd lisipasswd 123456在配置文件下设置拒绝匿名访问重启下服务systemctl restart vsftpd.service将lisi添加进黑名单vim /etc/vsftpd/ftpusers黑名单是路径位于/etc/vsftpd/…

Android API 中文(77)——AdapterView.OnItemSelectedListener

前言 本章内容是android.widget.AdapterView.OnItemSelectedListener&#xff0c;版本为Android 2.3 r1&#xff0c;翻译来自"cnmahj"&#xff0c;欢迎大家访问他的博客&#xff1a;http://android.toolib.net/blog/&#xff0c;再次感谢"cnmahj"&#xff…

前端小知识点(1):undefined和null区别

目录 一、奇怪点 二、历史原因 三、具体区别 四、代码演示 五、运行结果 一、奇怪点 有点奇怪的是&#xff0c;JavaScript语言居然有两个表示"无"的值&#xff1a;undefined和null。这是为什么&#xff1f; 二、历史原因 1995年JavaScript诞生时&#xff0c;…

六款主流数据恢复软件(绿色版)下载

From: http://hi.baidu.com/zhaodx/item/406401abe55cfa9e14107377 由于我们误操作或病毒侵害等意外情况发生&#xff0c;难免会删除硬盘上的有用数据或文件&#xff0c;此时请记住&#xff1a;千万不要再往这个硬盘里复制文件或写入新的数据了&#xff0c;哪怕已经清空了回收站…

树莓派UART串口编程--使用wiringPi库-C开发【1-基础应用】

一、串口说明 莓派3B上UART串口位于GPIO的8脚和10脚&#xff0c;分别为GPIO8Tx&#xff0c;GPIO10Rx。在连接外部接口时&#xff0c;需要交换接口&#xff0c;即GPIO8连接到外设的Rx&#xff0c;GPIO10连接到外设的Tx。Rpi3的接口如下&#xff1a; Rpi3B的GPIO8和GPIO10该串口…

linux mint视频,Linux Mint 20.1 beta 发布,新增免费视频播放器

经过六个月的开发&#xff0c;Linux Mint 20.1“ Ulyssa”的 Beta 版于近日发布了。Mint 20.1 是一个长期支持(LTS)版本&#xff0c;基于 Ubuntu 20.04 LTS &#xff0c;将持续维护到 2025 年。该 Beta 版本基本上实装了此前预告的一些新功能&#xff0c;并提供了 Cinnamon、MA…

[OT]我的2010(加班无极限)

在今年的最后几天,做一下总结. 1. 今年跳了两次槽(~!#$%^&*()) 前面俩公司还都做WM开发(这不之前写了不少WM文章),不过最后这个公司,做mmo服务器,所以目前一直在做Linux上面的写代码. 成功从C#转型到C. 2. C#->C的转换,是在第二个公司完成的,他们不用C#写WM程序. 第一个…

前端小知识点(5):JS垃圾回收机制

目录 一、什么是垃圾回收 二.垃圾回收机制原理 三、垃圾回收方法 3.1 引用计数 3.2 标记清除 内存常见内存泄露以及解决方法 4.1 全局变量&#xff1a; 4.2 定时器和回调函数 4.3 闭包 4.4 没有清理DOM元素引用&#xff1a; 一、什么是垃圾回收 垃圾回收是一种自…

linux python pymysql,Python之pymysql的使用

在Python3.x中&#xff0c;可以使用pymysql来MySQL数据库的连接&#xff0c;并实现数据库的各种操作&#xff0c;本次博客主要介绍了pymysql的安装和使用方法。PyMySQL的安装一、.windows上的安装方法&#xff1a;在python3.6中&#xff0c;自带pip3&#xff0c;所以在python3中…

树莓派静态IP配置方法

一、网络接口文件 配置静态IP有个好处在于每次的访问IP是固定的&#xff0c;比如用到的samba服务器共享文件时可以不改动网络地址。树莓派网络接口在/etc/network/interfaces 文件中进行配置&#xff0c;打开该文件&#xff1a;sudo vi /etc/network/interfaces 可以看到第四行…

带可变参数的宏函数和普通函数实现

From: http://www.vimer.cn/2010/03/cc%E5%AE%8F%E5%AE%9A%E4%B9%89%E7%9A%84%E5%8F%AF%E5%8F%98%E5%8F%82%E6%95%B0.html 编写代码的过程中&#xff0c;经常会输出一些调试信息到屏幕上&#xff0c;一般会调用printf这类的函数。 但是当调试解决之后&#xff0c;我们需要手工将…

SAP 免费赠与客户货物的销项税处理

免费赠与客户货物的销项税处理 如果免费赠与客户货物却要体现销项税&#xff0c;如何处理&#xff1f;在实际业务中因为免费货物是不免税的。所以大家总是以为使用0费用解决但是有一种情况是存在于视同销售。 即D&#xff1a;销售费用 C&#xff1a;销项税 SAP中的处理逻…

前端小知识点(2):普通字符串和new String有什么区别

目录 一、其实不仅字符串 二、那么到底为什么&#xff1f; 三、代码案例 四、运行结果 一、其实不仅字符串 var str abc; typeof str > string //他不是对象&#xff0c;可以有方法或者属性 var num 123; //他不是对象&#xff0c;可以有方法或者属性 typeof num …