Spring XD用于数据提取

Spring XD是一个功能强大的工具，它是一组可安装的Spring Boot服务，可以独立运行，在YARN或EC2之上运行。 Spring XD还包括一个管理UI网站和一个用于作业和流管理的命令行工具。 Spring XD是一组功能强大的服务，可与各种数据源一起使用。

为了达到理想的使用效果，它应该在Apache Spark或Hadoop集群中运行。 在第一部分中，我们将设置XD使其在具有必要数据服务的Centos / RHEL机器上运行。 这些用于运行所需的基础结构以及数据摄取。 您可以集成现有的RDBMS，MongoDB，Kafka，Apache Spark，Hadoop，REST，RabbitMQ和其他服务。

您还可以在Mac，Windows和其他Linux发行版上安装XD。 对于开发人员机器上的基本用法，只需从Spring.IO网站下载Spring XD并运行xd / xd / bin / xd-standalone，这足以运行数据提取。

1. Spring XD设置

首先，让我们在您的Linux服务器上安装Spring XD，注意其运行要求。 如果您没有所需的服务，则XD下载包含它们的版本供您运行。

参考：

  • http://docs.spring.io/spring-xd/docs/current/reference/html/#_redhat_centos_installation
  • https://github.com/spring-projects/spring-xd/wiki/Running-Distributed-Mode
  • https://github.com/spring-projects/spring-xd/wiki/XD-Distributed-Runtime

要求：

  • Apache Zookeeper 3.4.6
  • 雷迪斯
  • RDBMS（MySQL，Postgresql，Apache Derby等）

浓缩机：

  • GemFire（强烈建议用于内存数据网格）
  • GemFire XD（强烈建议用于内存数据库）
  • RabbitMQ（强烈推荐）
  • 阿帕奇纱线

在Centos / RHEL / Fedora上安装MySQL

需要一个关系数据库来存储您的工作信息，而可以使用内存中的RDBMS，但为了实际使用，应使用RDBMS。 如果您有可从XD群集访问的RDBMS，则可以使用它。 我更喜欢将开放源代码数据库仅用于XD，您可以为此安装MySQL或Postgresql。 

sudo yum install mysql-server
  • http://dev.mysql.com/downloads/repo/yum/

安装Postgresql（不要与GreenPlum安装在同一台计算机上）

sudo yum install postgresql-server

安装Redis

  • http://redis.docs.pivotal.io/doc/2x/index.html#getting-started/src/install.html ＃topic_q3g_vzs_yn

（请参阅RabbitMQ） 

ﾠwget -q -O – http://packages.pivotal.io/pub/rpm/rhel6/app-suite/app-suite-installer | sh
ﾠ ﾠ ﾠ ﾠ ﾠ ﾠsudo yum install pivotal-redis
ﾠ ﾠ ﾠ ﾠ ﾠ ﾠsudo service pivotal-redis-6379 start
ﾠ ﾠ ﾠ ﾠ ﾠ ﾠsudo chkconfig —level 35 pivotal-redis-6379 on

安装RabbitMQ

即使您有另一个消息队列，也需要RabbitMQ。 单个节点就足够了，但是通信需要它。 我强烈建议您使用真正的RMQ群集，因为它适合大多数流媒体需求。

  • http://rabbitmq.docs.pivotal.io/doc/33/index.html#getstart/src/install-getstart.html ＃安装，RHEL 
ﾠ
sudo wget -q -O – packages.pivotal.io | sh
sudo wget -q -O – http://packages.pivotal.io/pub/rpm/rhel6/app-suite/app-suite-installer | sh

根据权限的不同，您可能必须将其发送到文件，将其更改为chmod 700并通过sudo ./installer.sh运行。 

ﾠ
sudo yum search pivotalpivotal-rabbitmq-server.noarch: The RabbitMQ serversudo yum install pivotal-rabbitmq-server
sudo rabbitmq-plugins enable rabbitmq_management ﾠ ﾠ

如果您正在该计算机上运行其他内容，则可能与端口冲突。 

ﾠ
sudo /sbin/service rabbitmq-server start

安装Spring-XD

最简单的安装方法是使用Pivotal的RHEL官方版本，因为它们已通过认证。 您不需要成为客户就可以使用它们。 还有许多其他方式来下载/安装XD，但这对于RHEL是最简单的，因为它将配置它们为服务。 

sudo wget -q -O – http://packages.pivotal.io/pub/rpm/rhel6/app-suite/app-suite-installer sh sudo yum install spring-xd

建议

还建议在同一容器内部署XD节点和DataNode并使用数据分区。 这将加速数据处理和提取。

设置工作数据库

更改数据源，选择以下一项以进行最简单的设置。 作业数据库是存储Spring XD作业信息和元数据的地方。 这是必要的。 这将是非常少量的数据。 

/opt/pivotal/spring-xd/xd/config
ﾠ#spring:
# ﾠdatasource:
# ﾠ ﾠurl: jdbc:mysql://mysqlserver:3306/xdjobs
# ﾠ ﾠusername: xdjobsschema
# ﾠ ﾠpassword: xdsecurepassword
# ﾠ ﾠdriverClassName: com.mysql.jdbc.Driver
# ﾠ ﾠvalidationQuery: select 1
#Config for use with Postgres - uncomment and edit with relevant values for your environment
#spring:
# ﾠdatasource:
# ﾠ ﾠurl: jdbc:postgresql://postgresqlserver:5432/xdjobs
# ﾠ ﾠusername: xdjobsschema
# ﾠ ﾠpassword: xdsecurepassword
# ﾠ ﾠdriverClassName: org.postgresql.Driver
# ﾠ ﾠvalidationQuery: select 1

测试Spring-XD单节点是否正常工作： 

cd /opt/pivotal/springxd/xd/bin
./xd-singlenode —hadoopDistro phd20

如果您使用的是与Pivotal HD 2.0不同的Hadoop发行版，则可以在此处指定该标记或将其保留为关闭状态。

测试Spring-XD Shell是否有效

cd /opt/pivotal/springxd/shell/bin
ﾠ ﾠ ./xd-shell—hadoopDistro phd20

该外壳程序具有帮助和快捷方式，只需开始键入，Tab即可为您解析名称和参数。

设置Spring XD的环境变量

export XD_HOME=/opt/pivotal/spring-xd/xd

对于默认访问，我使用： 

/opt/pivotal/spring-xd/shell/bin/xd-shell —hadoopDistro phd20

用于测试分布式Spring XD（DIRT）的容器和管理服务器 

sudo service spring-xd-admin start
sudo service spring-xd-container start

用于测试Spring XD

  • http://blog.pivotal.io/pivotal/products/spring-xd-for-real-time-analytics
  • https://github.com/spring-projects/spring-xd-samples

一些Spring XD Shell命令进行测试

had config fs —namenode hdfs://pivhdsne:8020
admin config server http://localhost:9393
runtime containers
runtime moduleshadoop fs ls /xd/
stream create ticktock —definition “time | log”
stream deploy ticktock
stream list

xd图像1

xd-image-2

检查网页界面

  • http：// localhost：9393 / admin-ui /＃/ streams / definitions

xd图像3

2. Spring XD Job and Stream with SQL

注意：为了节省空间，完整的字段列表被缩写，您必须列出所有正在使用的字段。

首先，我们创建一个简单的filejdbc Spring Job，它将原始代字号分隔的文件加载到HAWQ中 。 这些字段都以TEXT字段形式出现，出于某些目的，这可能是可以的，但对于我们的需求而言不是。 我们还使用自定义接收器（请参阅XML，无编码）创建XD流，该流运行SQL命令从该表插入并转换为其他HAWQ类型（例如数字和时间）。

我们通过命令行REST POST触发辅助流，但是我们可以使用定时触发或许多其他方式（自动，脚本或手动）来启动辅助流。 您也可以只创建一个自定义XD作业，该作业完成类型的转换和一些操作，或者通过Groovy脚本转换完成。 XD中有很多选项。

jobload.xd

job create loadjob --definition "filejdbc --resources=file:/tmp/xd/input/files/*.* --names=time,userid,dataname,dataname2,
dateTimeField, lastName, firstName, city, state, address1, address2 --tableName=raw_data_tbl --initializeDatabase=true 
--driverClassName=org.postgresql.Driver --delimiter=~ --dateFormat=yyyy-MM-dd-hh.mm.ss --numberFormat=%d 
--username=gpadmin --url=jdbc:postgresql:gpadmin" --deploy
stream create --name streamload --definition "http | hawq-store" --deploy
job launch jobload
clear
job list
stream list
  1. 作业将包含所有文本列的文件加载到Raw HAWQ表中。
  2. 流是由网页命中或命令行调用触发的

  3. （需要hawq-store）。 这确实会插入到实际表中并截断临时表。

triggerrun.sh（用于测试的BASH Shell脚本）

curl -s -H "Content-Type: application/json" -X POST -d "{id:5}" http://localhost:9000

将spring-integration-jdbc jar添加到/ opt / pivotal / spring-xd / xd / lib

hawq-store.xml（Spring集成/ XD配置）

/opt/pivotal/spring-xd/xd/modules/sink/hawq-store.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:int="http://www.springframework.org/schema/integration"xmlns:int-jdbc="http://www.springframework.org/schema/integration/jdbc"xmlns:jdbc="http://www.springframework.org/schema/jdbc"xsi:schemaLocation="http://www.springframework.org/schema/beanshttp://www.springframework.org/schema/beans/spring-beans.xsdhttp://www.springframework.org/schema/integrationhttp://www.springframework.org/schema/integration/spring-integration.xsdhttp://www.springframework.org/schema/integration/jdbchttp://www.springframework.org/schema/integration/jdbc/spring-integration-jdbc.xsd">
<int:channel id="input" />
<int-jdbc:store-outbound-channel-adapterchannel="input" query="insert into real_data_tbl(time, userid, firstname, ...) select cast(time as datetime), 
cast(userid as numeric), firstname, ... from dfpp_networkfillclicks" data-source="dataSource" />
<bean id="dataSource" class="org.springframework.jdbc.datasource.DriverManagerDataSource"><property name="driverClassName" value="org.postgresql.Driver"/><property name="url" value="jdbc:postgresql:gpadmin"/><property name="username" value="gpadmin"/><property name="password" value=""/>
</bean>
</beans>

createtable.sql

CREATE TABLEﾠraw_data_tbl(time text,userid text ,
...somefieldﾠtext)WITH (APPENDONLY=true)DISTRIBUTED BY (time);

3. Shell的Spring XD脚本

我的常规安装脚本（我将其保存在setup.xd中，并通过ﾠ script –file setup.xd加载它） 

had config fs --namenode hdfs://localhost:8020
admin config server http://localhost:9393
hadoop fs ls /
stream list

通过Spring-XD将文件加载到GemFireXD的脚本

stream create --name fileload --definition "file --dir=/tmp/xd/input/load --outputType=text/plain | ﾠjdbc --tableName=APP.filetest --columns=id,name" --deploy

4. GemFire XD的Spring XD配置

将GemFire XD JDBC驱动程序复制到Spring-XD（可能也需要tools.jar） 

cp /usr/lib/gphd/Pivotal_GemFireXD_10/lib/gemfirexd-client.jar /opt/pivotal/spring-xd/xd/lib/

修改接收器的JDBC属性以指向您的Gemfire XD，如果您使用的是Pivotal HD VM并安装带有Yum的Spring-XD（sudo yum update spring-xd），则此位置： 

/opt/pivotal/spring-xd/xd/config/modules/sink/jdbc/jdbc.properties
url = jdbc:gemfirexd://localhost:1527
username = gfxd
password = gfxd
driverClassName = com.pivotal.gemfirexd.jdbc.ClientDriver

对于Peer Client Driver，您需要GemFireXD Lib（.so二进制文件）中的更多文件，链接可能是一个好主意。

5. GemFire XD设置

gfxd
connect client 'localhost:1527';create table filetest (id int, name varchar(100)) REPLICATE PERSISTENT;
select id, kind, netservers from sys.members;ﾠ
select * from filetest;

Spring XD命令

stream list

显示你的流

参考：

  • Spring XD文档
  • Spring XD Wiki
  • 在Centos上安装Spring XD
  • GemFire XD文档
  • Spring XD文件 提取 到JDBC中
  • 带有Hadoop的Spring XD

6.通过Spring XD将数据从RabbitMQ导入RDBMS

从名为“ rq”的Rabbit队列读取的简单流，并将其发送到“消息和主机”列的SQL数据库，从而创建名为“ rq”的新表。 

stream create --name rq --definition "rabbit --outputType=text/plain | jdbc --columns='message,host' --initializeDatabase=true" --deploy

7.通过Spring XD将数据从REST API导入HDFS

stream create --name hdfssave --definition "http  | hdfs" –deploy

翻译自: https://www.javacodegeeks.com/2015/03/spring-xd-for-data-ingestion.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/360260.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

JDK 9 REPL：入门

JDK 9 REPL：入门

会议是聚会Java名人的好地方。 Devoxx France是与Java语言架构师&#xff0c;前同事和老朋友Brian Goetz&#xff08; briangoetz &#xff09;见面的一个机会。 我们谈论了JDK 9&#xff0c;而他全都热衷于REPL。 他提到&#xff0c;尽管Java SE 9中有很多重要功能 &#xff0…
阅读更多...
sinaapp mysql连接_手把手教你在新浪云上免费部署自己的网站--连接数据库

sinaapp mysql连接_手把手教你在新浪云上免费部署自己的网站--连接数据库

看完之后&#xff0c;默认你知道怎么将代码上传到新浪云SAE&#xff0c;并且能够成功运行&#xff0c;连接数据库之前&#xff0c;你必须先创建有一个应用。现在我创建一个名称为sampleone的应用&#xff0c;如下图点击左侧的代码管理&#xff0c;选在右侧创建一个版本然后就会…
阅读更多...
7 centos 查看程序文件数量_解析CentOS 7中系统文件与目录管理

7 centos 查看程序文件数量_解析CentOS 7中系统文件与目录管理

LINUXLinux操作系统解析CentOS 7中系统文件与目录管理Linux目录结构Linux目录结构是树形的目录结构根目录所有分区、目录、文件等的位置起点整个树形目录结构中&#xff0c;使用独立的一个“/”表示常见的子目录目录目录名称目录目录名称/root管理员家目录/bin所有用户可执行命…
阅读更多...
python动态绘图并保留之前绘图_[转]基于Python实现matplotlib中动态更新图片(交互式绘图)...

python动态绘图并保留之前绘图_[转]基于Python实现matplotlib中动态更新图片(交互式绘图)...

最近在研究动态障碍物避障算法&#xff0c;在Python语言进行算法仿真时需要实时显示障碍物和运动物的当前位置和轨迹&#xff0c;利用Anaconda的Python打包集合&#xff0c;在Spyder中使用Python3.5语言和matplotlib实现路径的动态显示和交互式绘图(和Matlab功能类似)。Anacond…
阅读更多...
一步一步学Silverlight 2系列（25）：综合实例之Live Search

一步一步学Silverlight 2系列（25）：综合实例之Live Search

概述 Silverlight 2 Beta 1版本发布了&#xff0c;无论从Runtime还是Tools都给我们带来了很多的惊喜&#xff0c;如支持框架语言Visual Basic, Visual C#, IronRuby, Ironpython&#xff0c;对JSON、Web Service、WCF以及Sockets的支持等一系列新的特性。《一步一步学Silverlig…
阅读更多...
gateway中的局部过滤器_Spring Cloud Gateway中的过滤器工厂：重试过滤器

gateway中的局部过滤器_Spring Cloud Gateway中的过滤器工厂：重试过滤器

Spring Cloud Gateway基于Spring Boot 2&#xff0c;是Spring Cloud的全新项目&#xff0c;该项目提供了一个构建在Spring 生态之上的API网关。本文基于的Spring Cloud版本为Finchley M9&#xff0c;Spring Cloud Gateway对应的版本为2.0.0.RC1。Spring Cloud Gateway入门一文介…
阅读更多...
cocos2d-x for android配置 运行 Sample on Linux OS

cocos2d-x for android配置 运行 Sample on Linux OS

1.从http://www.cocos2d-x.org/download下载稳定版 比如cocos2d-x-2.2 2.解压cocos2d-x-2.2.zip,比如本文将其解压到 /opt 目录下 3.运行 android-buildsetup.sh,运行之前需要先设置3个环境变量,如将以下变量写到文件 /etc/profile中 export ANDROID_SDK_ROOT/opt/android-sdk-…
阅读更多...
转变馆藏

转变馆藏

您是否曾经想替换过HashSet或HashMap使用的equals和hashCode方法&#xff1f; 或者有一个List的一些元素类型伪装成的List相关类型的&#xff1f; 转换集合使这成为可能&#xff0c;并且本文将展示如何实现。 总览 转换集合是LibFX 0.3.0的一项功能&#xff0c;该功能将在今天…
阅读更多...
Spring Boot和Swagger UI

Spring Boot和Swagger UI

我已经一年没有从头开始开发Spring Web应用程序了&#xff0c;如果我不参加QA自动化工程师的培训&#xff0c;那么这段时间甚至会更长。 由于这个原因&#xff0c;我开发了一个示例REST应用程序。 除了Swagger&#xff0c;一切对我来说都很熟悉。 因此&#xff0c;我将描述我在…
阅读更多...
mysql5.7.22打不开_windows下mysql-5.7.22-winx64突然启动不了，报错Could not open log file

mysql5.7.22打不开_windows下mysql-5.7.22-winx64突然启动不了，报错Could not open log file

本文摘自classinstance.cn。windows下mysql-5.7.22-winx64突然启动不了&#xff0c;感觉启动几秒钟后就自己关闭了&#xff0c;看了下启动日志&#xff1a;2019-08-25T10:57:08.389404Z 0 [Warning] option wait_timeout: unsigned value 31536000 adjusted to 21474832019-08-…
阅读更多...
把python37添加到环境变量配置_关于在win 10上成功创建一个Django项目时遇到django-admin的手动配置环境变量问题。...

把python37添加到环境变量配置_关于在win 10上成功创建一个Django项目时遇到django-admin的手动配置环境变量问题。...

前言初学Python Web 在创建第一个Djang项目的时候出现了很多的问题&#xff0c;今天和大家分享并记录一下这次艰难的历程&#xff01;一、官网下载Python以及安装Django1、Python的下载安装链接&#xff1a;大家最好使用谷歌浏览器&#xff0c;因为翻译的很到位(大家下载最新版…
阅读更多...
在Ant中显示路径

在Ant中显示路径

在博客文章Java and Ant Properties Refresher和Ant <echoproperties /> Task中 &#xff0c;我写了一篇关于如何了解Ant构建如何看到属性的文章&#xff0c;这有助于更好地理解构建。 通常情况下&#xff0c;在构建过程中看到构建中使用的各种路径也很有价值&#xff0c…
阅读更多...
Azure开发者任务之一：解决Azure Storage Emulator初始化失败

Azure开发者任务之一：解决Azure Storage Emulator初始化失败

初学Windows Azure&#xff1a; 我打算开始学习Windows Azure。我安装了Azure SDK&#xff0c;然后在“Cloud”标签下选择Windows Azure模板&#xff0c;创建了一个项目&#xff0c;然后又创建了一个Web角色。 在aspx文件上&#xff0c;我只添加了一个标签&#xff0c;但是当我…
阅读更多...
java运行python3_python写脚本并用java调用python（三）

java运行python3_python写脚本并用java调用python（三）

1)编写mytest.py完成一个简单加法计算# coding:utf8#def 表示一个方法 adderdef adder(a, b):return ab#这里执行adder方法并打印出结果print adder(1,2)2)运行以上脚本方式如图12 3 打印成功&#xff01;3)java调用python脚本的两种方式Process process Runtime.getRuntime(…
阅读更多...
mysql单源多表同步单库单表_MySQL主从复制单表或者多表

mysql单源多表同步单库单表_MySQL主从复制单表或者多表

MySQL数据库安装不过多的介绍了&#xff1a;必须保证2个数据库的版本一致。 主数据库&#xff1a;192.168.0.43 从数据库&#xff1a;192.168.0.53 修改43主数据MySQL数据库安装不过多的介绍了&#xff1a;必须保证2个数据库的版本一致。主数据库&#xff1a;192.168.0.43从数据…
阅读更多...
xshell 秘钥连接_如何使用PuTTY和xshell 分别远程连接linux，并配置秘钥认证

xshell 秘钥连接_如何使用PuTTY和xshell 分别远程连接linux，并配置秘钥认证

使用PuTTY 连接并配置密钥认证第一步&#xff1a;下载PuTTY下载 .zip 64位的电脑 32位的putty也能用第二步&#xff1a;配置基本信息打开 PuTTY端口默认是22 (端口是可以改的)ip 地址如果忘记&#xff0c;ifconfig 查看一下Load >Open输入登录名 密码即可完成登录若出现上…
阅读更多...
滨河新区（黄河楼）夜景

滨河新区（黄河楼）夜景

转载于:https://www.cnblogs.com/ysx4221/p/3454517.html
阅读更多...
java 门面模式_Java门面模式

java 门面模式_Java门面模式

一、简介隐藏系统的复杂性&#xff0c;对外提供统一的访问入口&#xff0c;外部系统访问只通过此暴露出的统一接口访问。是一种结构型模式。封装子系统接口的复杂性&#xff0c;提供统一的对外接口&#xff0c;能够使子系统更加简单的被使用。二、结构及使用场景如上所示&#…
阅读更多...
selenium java测试_java+selenium 自动化测试

selenium java测试_java+selenium 自动化测试

在项目上使用自动化测试&#xff0c;是为了跑主流程的回归测试&#xff0c;提高测试效率&#xff0c;在每个测试版本中把主要的精力放在发版内容新增的需求中&#xff1b;根据项目的功能模块&#xff0c;把业务主流程和使用频率高的功能抽取出来进行自动化测试&#xff0c;作为…
阅读更多...
java 文件上传 servlet_java文件上传-原始的Servlet方式

java 文件上传 servlet_java文件上传-原始的Servlet方式

前言&#xff1a;干了这几个项目&#xff0c;也做过几次文件上传下载&#xff0c;要么是copy项目以前的代码&#xff0c;要么是百度的&#xff0c;虽然做出来了&#xff0c;但学习一下原理弄透彻还是很有必要的。刚出去转了一圈看周围有没有租房的&#xff0c;在北京出去找房子…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023