elasticsearch mongodb mysql_Elasticsearch 与 Mongodb 数据同步问题

1、mongo-connector工具

首先安装python环境

wget http://www.python.org/ftp/python/3.0.1/Python-3.0.1.tgz

tar -zxvf Python-3.0.1.tgz

cd Python-3.0.1

./configure

make all

make install

看来新装的版本生效了,做个软连接应该就OK。

ln -s /usr/local/bin/python3.0 /usr/bin/python

python -V

安装pip

$ wget https://bootstrap.pypa.io/get-pip.py

$ python get-pip.py

$ pip -V  #查看pip版本

安装mongo-connector

如果是 Elasticsearch 5.x

pip install 'mongo-connector[elastic5]'

[Reference] https://github.com/mongodb-labs/mongo-connector

执行命令:

mongo-connector -m 192.9.8.204:27017 -t 192.9.8.223:9200 -d elastic2_doc_manager -n wymlib.ym_literature

-m :mongodb地址,-t:目的地址,-d : Used to specify the path to each doc manager file that will be used.    -n:指定数据库

2、elasticsearch-river-mongodb

该工具只支持 elasticsearch 1.7.3 及以下版本

bin/plugin --install com.github.richardwilly98.elasticsearch/elasticsearch-river-mongodb/2.0.9

mongodb-river同步信息属性配置完整版:

1 $ curl -XPUT "localhost:9200/_river/${es.river.name}/_meta" -d '2 {3 "type": "mongodb",4 "mongodb": {5 "servers":6 [7 { "host": ${mongo.instance1.host}, "port": ${mongo.instance1.port} },8 { "host": ${mongo.instance2.host}, "port": ${mongo.instance2.port} }9 ],10 "options": {11 "secondary_read_preference" : true,12 "drop_collection": ${mongo.drop.collection},13 "exclude_fields": ${mongo.exclude.fields},14 "include_fields": ${mongo.include.fields},15 "include_collection": ${mongo.include.collection},16 "import_all_collections": ${mongo.import.all.collections},17 "initial_timestamp": {18 "script_type": ${mongo.initial.timestamp.script.type},19 "script": ${mongo.initial.timestamp.script}20 },21 "skip_initial_import" : ${mongo.skip.initial.import},22 "store_statistics": ${mongo.store.statistics},23 },24 "credentials":25 [26 { "db": "local", "user": ${mongo.local.user}, "password": ${mongo.local.password} },27 { "db": "admin", "user": ${mongo.db.user}, "password": ${mongo.db.password} }28 ],29 "db": ${mongo.db.name},30 "collection": ${mongo.collection.name},31 "gridfs": ${mongo.is.gridfs.collection},32 "filter": ${mongo.filter}33 },34 "index": {35 "name": ${es.index.name},36 "throttle_size": ${es.throttle.size},37 "bulk_size": ${es.bulk.size},38 "type": ${es.type.name}39 "bulk": {40 "actions": ${es.bulk.actions},41 "size": ${es.bulk.size},42 "concurrent_requests": ${es.bulk.concurrent.requests},43 "flush_interval": ${es.bulk.flush.interval}44 }45 }46 }'

[Reference] https://github.com/richardwilly98/elasticsearch-river-mongodb

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/467551.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux中断子系统之Workqueue

背景说明Kernel版本:4.14ARM64处理器,Contex-A53,双核使用工具:Source Insight 3.5, Visio1. 概述Workqueue工作队列是利用内核线程来异步执行工作任务的通用机制;Workqueue工作队列可以用作中断处理的Bott…

python3一个简单的网页抓取

python3一个简单的网页抓取 都是学PYTHON。怎么学都是学,按照基础学也好,按照例子增加印象也好,反正都是学 import urllib import urllib.requestdata{} data[word]baker95935url_valuesurllib.parse.urlencode(data) url"http://www.ba…

给你准备的Linux启动流程

读者朋友提问: 昨天在后台看到一个读者朋友跟我说,发哥,你能不能讲一下嵌入式Linux的开机流程,然后我看了下,我是没有写过这方面的文章,所以,就有了这篇文章。回答:我们都知道pc指针…

[linux]服务器apache配置vhost

官网示例: http://httpd.apache.org/docs/current/vhosts/examples.html转载于:https://www.cnblogs.com/oDoraemon/p/7650748.html

java dao 单元测试_Spring Service、Dao进行Junit单元测试

pring对Controller、Service、Dao进行Junit单元测试总结​ 所有用Junit进行单元测试,都需要下面的配置RunWith(SpringJUnit4ClassRunner.class)ContextConfiguration(locations {"classpath:applicationContext.xml"})​ applicationContext.xml 是整个项…

Linus Torvalds:我们都老了,但Linux维护者真的很难找

Linux 之父Linus Torvalds非常担忧没人继续维护内核「真的很难找到维护者!」在本周召开的Linux开源峰会与嵌入式大会上, VMware的首席开放源代码官Dirk Hohndel和Linux的创建者Linus Torvalds再次就Linux开发展开了远程对话讨论。左:Dirk Ho…

判断线程结束

判断线程结束 使用ExecutorService.isTerminated方式 public void executor() throws InterruptedException{ExecutorService executorService Executors.newFixedThreadPool(threadNum);List<Callable<Object>> calls new ArrayList<>();for (int i 0; …

java map扩容机制_java中ConcurrentHashMap的扩容机制是怎样的?详细解析

大家都知道java中有很多的基础知识&#xff0c;需要大家花费一定的时间去消化。关于java中ConcurrentHashMap的扩容机制不知道大家是否了解过&#xff0c;其实内容也是很好理解的&#xff0c;一起来看看吧。首先&#xff0c;我们需要知道的是&#xff1a;1. 计算每个线程可以处…

看printk引发的一点思考

在源码位置kernel/printk/函数原型asmlinkage __visible int printk(const char *fmt, ...) {printk_func_t vprintk_func;va_list args;int r;va_start(args, fmt);/** If a caller overrides the per_cpu printk_func, then it needs* to disable preemption when calling pr…

寄语

寄语&#xff1a; 前面漆黑一片&#xff0c;什么都看不到。 也不是&#xff0c;天亮后就会很美的。转载于:https://www.cnblogs.com/doudou-taste/p/7660997.html

我毕业时候写的简历

写简历这个事情&#xff0c;一直是一个非常让人头疼的&#xff0c;在我看来&#xff0c;写简历并不是一件简单的事情&#xff0c;所以&#xff0c;现在是晚上一点钟&#xff0c;我倒腾了一个晚上&#xff0c;才有了这篇文章。我认为写简历有几个需要注意的地方&#xff0c;不啰…

idea java 非法字符_解决IDEA显示非法字符 \ufeff 的问题

一、问题在txt文本中复制代码进入IDEA报错Error:(1, 1) java: 非法字符: ‘\ufeffError:(1, 10) java: 需要class, interface或enum二、解决办法用IDEA转换&#xff0c;先转换为GBK&#xff0c;再转回UTF-8()补充知识&#xff1a;Eurake问题Failed to bind properties under eu…

css 单行/多行文字垂直居中问题

例子可以直接看这里 http://www.zhangxinxu.com/study/200911/line-height-text-v-center.html 这篇文章中有一点点解释 http://blog.csdn.net/hdchangchang/article/details/47086565 这一篇提出了一个新想法 http://caibaojian.com/css-vertical-middle.html 总的来说&#x…

Linux 内核完成接口

Linux 内核里面有一个函数wait_for_completion&#xff0c;这是一个内核同步机制的函数&#xff0c;同步机制如果是早期的读者应该看过我发的文章&#xff0c;如果没有看过的可以看看Linux 专辑文章里面找找。既然是同步机制&#xff0c;主要的工作就是调用了这个函数&#xff…

java 换行符 常量_6.java常量

Java中常量的分类&#xff1a;整数常量 &#xff1a; 所有整数小数常量 &#xff1a; 所有小数布尔常量 &#xff1a; 只有true和false字符常量 &#xff1a;使用’’引起来的单个字符字符串常量 &#xff1a;使用“”引起来的字符序列&#xff0c;“” 、“a” 、” ”null常…

关于测试

这是5月份和公司同仁做的分享&#xff0c;分享主题是关于测试&#xff0c;是我自己对于测试的一些认知&#xff0c;以及态度的转变。 目录 以怎样的心态面对测试 安全测试贯穿整个软件生命周期 总结 以怎样的心态面对测试 提问大家几个小问题&#xff1a; 你喜欢测试吗&#…

涨疯了,历史总是如此相似

2015年的股市&#xff0c;如果你经历过&#xff0c;那你一定会记忆犹新。最近的股市太猛了&#xff0c;写一篇文章纪念一下~mark上周五&#xff0c;在一个炎热的晚上&#xff0c;我跟4个股神在深圳坪洲的某个火锅店相遇&#xff0c;虽然他们都是富甲一方的富豪&#xff0c;虽然…

java基础语句_【Java基础-Java语言基础】

知识点&#xff1a;1.关键字  2.标识符  3.变量和常量一、关键字1.Java中的关键字有很多一共53个关键字有两个是保留字(java的关键字都是小写的&#xff01;&#xff01;)2.Java中的保留字(1)const  常量&#xff0c;数量(2)goto   转到3.Java的关键字(1)访问修饰符的关…

【BZOJ3514】Codechef MARCH14 GERALD07加强版 LCT+主席树

【BZOJ3514】Codechef MARCH14 GERALD07加强版 Description N个点M条边的无向图&#xff0c;询问保留图中编号在[l,r]的边的时候图中的联通块个数。 Input 第一行四个整数N、M、K、type&#xff0c;代表点数、边数、询问数以及询问是否加密。接下来M行&#xff0c;代表图中的每…

安卓9.0Sensor框架

前言本来如果只是给传感器写个驱动并提供能读取温湿度数据的节点&#xff0c;是一件比较轻松的事情&#xff0c;但是最近上层应用的同事要求我们按照安卓标准的流程来&#xff0c;这样他们就能通过注册一个服务直接读取传感器事件数据了。这样做的好处就是第三方的应用也能正常…