内存 增量数据持久_内存中数据模型和大数据持久性

内存 增量数据持久

ORM框架在需要与关系数据库进行交互时可以帮助开发人员。 对于关系数据库,有许多出色的ORM框架,例如Hibernate和Apache OpenJPA,其中一些确实很棒。

大数据 如今,大数据正在涌现,越来越多的人开发在大数据上运行的应用程序。 已经开发了各种NoSQL数据库来存储这种大小的数据,即列存储和文档存储。

尽管ORM框架解决了许多问题(即使它们也有缺点)并且在关系数据库方面如此普遍,但由于NoSQL数据库没有通用标准,因此NoSQL数据库的情况有所不同。

阿帕奇戈拉 Apache Gora旨在通过特定于数据存储的映射为用户提供易于使用的内存数据模型和大数据框架的持久性。 Apache Gora的总体目标是成为大数据的标准数据表示和持久性框架。

Gora支持持久存储到列存储,键值存储,文档存储和RDBMS,并通过广泛的Apache Hadoop MapReduce支持来分析数据。

Gora使用Apache Avro,并且依赖于特定于每个数据存储的映射文件。 与其他OTD(对象到数据存储)映射实现不同,在Gora中,数据Bean到数据存储特定的架构映射是显式的。 这样做的好处是,在使用HBase和Cassandra等数据模型时,您始终可以知道如何持久保存这些值。

Apache Gora的路线图

  • 数据持久性:将对象持久保存到列存储中,例如HBase,Cassandra,Hypertable; 键值存储,例如Voldermort,Redis等; SQL数据库,例如MySQL,HSQLDB,本地文件系统或Hadoop HDFS中的平面文件。
  • 数据访问:一种易于使用的Java友好通用API,用于访问数据,而不管其位置如何。
  • 索引:将对象持久化为Lucene和Solr索引,使用Gora API访问/查询数据。
  • 分析:通过Apache Pig,Apache Hive和Cascading的适配器访问数据并进行分析
  • MapReduce支持:对数据存储中的数据提供现成的和广泛的MapReduce(Apache Hadoop)支持。

Apache Gora和当前解决方案之间有什么区别?

  • Gora特别专注于NoSQL数据存储,但对SQL数据库的支持有限。
  • Gora的主要用例是使用Hadoop访问/分析大数据。
  • Gora使用Avro进行bean定义,而不是字节码增强或注释。
  • 对象到数据存储的映射是特定于后端的,因此可以利用完整的数据模型。
  • Gora很简单,因为它忽略了复杂SQL映射。
  • Gora将使用Pig,Lucene,Hive等支持持久性,数据索引和分析。

Apache Gora支持的数据存储

  • Apache Accumulo
  • 阿帕奇·卡桑德拉(Apache Cassandra)
  • 亚马逊DynamoDB
  • Apache HBase
  • 阿帕奇·索尔(Apache Solr)
  • MongoDB

apache-spark-logo Apache Spark是大数据开发人员的一个光辉的项目。 Spark提供了更快,更通用的数据处理平台。 使用Spark,您可以在内存上运行程序的速度比Hadoop快100倍,在磁盘上的速度快10倍。 当前Gora不支持Spark,在我的GSoC期间,我正在为Apache Gora实施Spark后端以填补这一空白。

资源资源

  1. http://gora.apache.org/current/tutorial.html#introduction
  2. http://gora.apache.org/current/tutorial.html#introduction
  3. https://github.com/apache/gora
  4. https://hadoop.apache.org/
  5. https://avro.apache.org/
  6. http://spark.apache.org/
  7. 大数据徽标来自: http : //www.smartdatacollective.com/sites/smartdatacollective.com/files/big-data-big_0.png

翻译自: https://www.javacodegeeks.com/2015/08/in-memory-data-model-and-persistence-for-big-data.html

内存 增量数据持久

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/337144.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

自学编程的6个技巧总结

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删有一天,我的一个在学编程的朋友问我:“我想快速学习编程,你有什么好的推荐吗?”我曾在上大学的时…

C语言如何知自身函数的实际地址与大小

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删事情的起因大概是这样……在很久很久以前,我最早用的是MASM(Win32ASM)写程序,从平台兼容性、开发…

xtext_使用Xtext为Eclipse和IntelliJ开发DSL

xtext在这篇文章中,我们将看到如何开发一种简单的语言。 我们的目标是: 语言的解析器 IntelliJ的编辑器 。 编辑器应具有语法突出显示,验证和自动完成功能 我们还将免费提供Eclipse和Web编辑器的编辑器 ,但请包含您的兴奋之处&…

sed 插入多行_Linux三剑客之sed

sed命令用法小记版本:CentOS7▼ ▼ ▼ ▼ ▼ ▼ ▼ ▼ ▼好久没更新文章了,项目的事情太多,总得给自己的懒惰找个借口,哈哈~话不多说进入正题创建测试数据[aliscaspark02 a]$ cat data#test the sedThis is the header l…

分享一些超级炫酷的C语言小技巧

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删C语言常常让人觉得它所能表达的东西非常有限。它不具有类似第一级函数和模式匹配这样的高级功能。但是C非常简单,并且仍然有一些非常…

C++编程新手容易犯的 10 种编程错误

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删公司每年都会有一定的人员流动,相应地也会招一些应届生补充进来,指导应届生已经成为老员工的必修课了。平日里会我们会经…

Linux上C语言程序编译过程详解

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删本文将介绍如何将高层的C/C语言编写的程序转换成为处理器能够执行的二进制代码的过程,包括四个步骤:预处理(P…

C语言,动图展示十大经典排序算法

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删以前也零零碎碎发过一些排序算法,但排版都不太好,又重新整理一次,排序算法是数据结构的重要部分,…

java ee各类组件_在Java EE组件中使用骆驼路线

java ee各类组件从现在开始我一直在与Camel合作,我真的很喜欢它的简单性。 在Java EE之上使用它一直是一个挑战,我最近发表了一篇关于如何做到这一点的演讲,而在Java EE中引导Camel的不同方法实际上建议使用WildFly-Camel Subsystem 。 在正在…

5gnr帧结构特点有哪些_真空离子束刻蚀设备的结构特点有哪些

离子束刻蚀设备有立式、卧式两种结构。通常情况下,该设备以卧式的结构居多,因为采用卧式结构的话,离子源发出的离子束为水平喷射方向,大部分的刻蚀溅射物将落在真空室的底部,可在一定程度上将溅射材料的重新沉积减少。…

老了就不能编程?大龄程序员在线“辟谣”:15 年后,我变得更好了

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删几年前,Quora 上的一个提问在程序员圈内掀起热议:“随着年龄的增长,人们会对编程失去兴趣吗?预计…

wildfly管理控制台_WildFly管理控制台已更新–请求反馈

wildfly管理控制台红帽JBoss企业应用程序平台(EAP)和WildFly具有共生关系 。 简而言之,红帽JBoss企业应用程序平台(JBoss EAP)保留了WildFly社区项目(以前称为JBoss Application Server)的所有创…

性能测试中脚本怎么写_脚本在流程中的性能影响

性能测试中脚本怎么写我们经常看到人们出于各种目的而使用脚本(例如,在服务任务,执行侦听器等中)。 使用脚本和Java逻辑通常很有意义: 它不需要打包到jar中并放在classpath上 它使流程定义更易于理解:无需…

超炫酷的C语言技巧

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删C语言常常让人觉得它所能表达的东西非常有限。它不具有类似第一级函数和模式匹配这样的高级功能。但是C非常简单,并且仍然有一些非常…

java8默认垃圾收集器_Java 8中最快的垃圾收集器是什么?

java8默认垃圾收集器OpenJDK 8具有几种垃圾收集器算法,例如Parallel GC , CMS和G1 。 哪一个最快? 如果默认GC从Java 8中的并行GC更改为Java 9中的G1(当前建议),将会发生什么? 让我们对其进行基…

u盘启动 联想一体机_联想Y430pAT-ISE(H)U盘安装Win7系统教程

最近听到有人在问联想Y430pAT-ISE(H)笔记本安装WIN 7系统的方法,联想Y430pAT-ISE(H)笔记本从发行到现在也快5年了,不过有人在问该电脑安装系统就说明有人还在使用,关于联想Y430pAT-ISE(H)安装Win 7系统的方法有很多,不过大多过时了…

收藏|C语言常用的一些转换工具函数!

点击蓝字关注我们因公众号更改推送规则&#xff0c;请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络&#xff0c;侵删1、字符串转十六进制代码实现&#xff1a;void StrToHex(char *pbDest, char *pbSrc, int nLen) {char h1,h2;char s1,s2;int i;for (i0; i<n…

apache camel_学习Apache Camel –实时索引推文

apache camel在大多数软件开发项目中&#xff0c;有一点需要使应用程序开始与其他应用程序或第三方组件通信。 无论是发送电子邮件通知&#xff0c;调用外部api&#xff0c;写入文件还是将数据从一个地方迁移到另一个地方&#xff0c;您都可以推出自己的解决方案或利用现有框架…

让你不再害怕指针——C指针详解(经典,非常详细)

点击蓝字关注我们因公众号更改推送规则&#xff0c;请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络&#xff0c;侵删前言:复杂类型说明要了解指针,多多少少会出现一些比较复杂的类型,所以我先介绍一下如何完全理解一个复杂类型,要理解复杂类型其实很简单,一个类型…

C语言实现可写入文件的账号密码登录系统

点击蓝字关注我们因公众号更改推送规则&#xff0c;请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络&#xff0c;侵删账号登录系统在很多系统设计时都时必不可少的&#xff0c;今天这个登录系统功能较全&#xff0c;可以注册&#xff0c;登录&#xff0c;找回密码…