内存 增量数据持久_内存中数据模型和大数据持久性

内存 增量数据持久

ORM框架在需要与关系数据库进行交互时可以帮助开发人员。 对于关系数据库,有许多出色的ORM框架,例如Hibernate和Apache OpenJPA,其中一些确实很棒。

大数据 如今,大数据正在涌现,越来越多的人开发在大数据上运行的应用程序。 已经开发了各种NoSQL数据库来存储这种大小的数据,即列存储和文档存储。

尽管ORM框架解决了许多问题(即使它们也有缺点)并且在关系数据库方面如此普遍,但由于NoSQL数据库没有通用标准,因此NoSQL数据库的情况有所不同。

阿帕奇戈拉 Apache Gora旨在通过特定于数据存储的映射为用户提供易于使用的内存数据模型和大数据框架的持久性。 Apache Gora的总体目标是成为大数据的标准数据表示和持久性框架。

Gora支持持久存储到列存储,键值存储,文档存储和RDBMS,并通过广泛的Apache Hadoop MapReduce支持来分析数据。

Gora使用Apache Avro,并且依赖于特定于每个数据存储的映射文件。 与其他OTD(对象到数据存储)映射实现不同,在Gora中,数据Bean到数据存储特定的架构映射是显式的。 这样做的好处是,在使用HBase和Cassandra等数据模型时,您始终可以知道如何持久保存这些值。

Apache Gora的路线图

  • 数据持久性:将对象持久保存到列存储中,例如HBase,Cassandra,Hypertable; 键值存储,例如Voldermort,Redis等; SQL数据库,例如MySQL,HSQLDB,本地文件系统或Hadoop HDFS中的平面文件。
  • 数据访问:一种易于使用的Java友好通用API,用于访问数据,而不管其位置如何。
  • 索引:将对象持久化为Lucene和Solr索引,使用Gora API访问/查询数据。
  • 分析:通过Apache Pig,Apache Hive和Cascading的适配器访问数据并进行分析
  • MapReduce支持:对数据存储中的数据提供现成的和广泛的MapReduce(Apache Hadoop)支持。

Apache Gora和当前解决方案之间有什么区别?

  • Gora特别专注于NoSQL数据存储,但对SQL数据库的支持有限。
  • Gora的主要用例是使用Hadoop访问/分析大数据。
  • Gora使用Avro进行bean定义,而不是字节码增强或注释。
  • 对象到数据存储的映射是特定于后端的,因此可以利用完整的数据模型。
  • Gora很简单,因为它忽略了复杂SQL映射。
  • Gora将使用Pig,Lucene,Hive等支持持久性,数据索引和分析。

Apache Gora支持的数据存储

  • Apache Accumulo
  • 阿帕奇·卡桑德拉(Apache Cassandra)
  • 亚马逊DynamoDB
  • Apache HBase
  • 阿帕奇·索尔(Apache Solr)
  • MongoDB

apache-spark-logo Apache Spark是大数据开发人员的一个光辉的项目。 Spark提供了更快,更通用的数据处理平台。 使用Spark,您可以在内存上运行程序的速度比Hadoop快100倍,在磁盘上的速度快10倍。 当前Gora不支持Spark,在我的GSoC期间,我正在为Apache Gora实施Spark后端以填补这一空白。

资源资源

  1. http://gora.apache.org/current/tutorial.html#introduction
  2. http://gora.apache.org/current/tutorial.html#introduction
  3. https://github.com/apache/gora
  4. https://hadoop.apache.org/
  5. https://avro.apache.org/
  6. http://spark.apache.org/
  7. 大数据徽标来自: http : //www.smartdatacollective.com/sites/smartdatacollective.com/files/big-data-big_0.png

翻译自: https://www.javacodegeeks.com/2015/08/in-memory-data-model-and-persistence-for-big-data.html

内存 增量数据持久

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/337144.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

自学编程的6个技巧总结

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删有一天,我的一个在学编程的朋友问我:“我想快速学习编程,你有什么好的推荐吗?”我曾在上大学的时…

python就业班 miniweb框架_mini-web框架

1. 框架概述web框架是一个为web服务器提供服务的应用程序,专门负责处理用户的动态资源请求.静态资源: 资源的内容是固定不变的.动态资源: 资源的内容是动态变化, 数据是从数据库获取的.静态 web 服务器 使用 tcp 传输数据1. 导包 socket2. 创建一个 socket 对象, socket.socket…

java编写应用程序_为您的Java应用程序编写数据驱动的测试

java编写应用程序JUnit是一个功能非常强大的测试框架,它不仅为其用户提供了编写快速简便的测试的功能,而且还为用户提供了扩展它并使其按其期望的方式工作的机会。 在JUnit之上构建了许多框架,这些框架为目标受众提供了各种易用的功能。 Eas…

C语言如何知自身函数的实际地址与大小

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删事情的起因大概是这样……在很久很久以前,我最早用的是MASM(Win32ASM)写程序,从平台兼容性、开发…

python快速排序算法循环_算法:快速排序的Python实现

一、概述快速排序(quick sort)是一种分治排序算法。该算法首先 选取 一个划分元素(partition element,有时又称为pivot);接着重排列表将其 划分 为三个部分:left(小于划分元素pivot的部分)、划分元素pivot、right(大于划分元素pivot的部分)&a…

xtext_使用Xtext为Eclipse和IntelliJ开发DSL

xtext在这篇文章中,我们将看到如何开发一种简单的语言。 我们的目标是: 语言的解析器 IntelliJ的编辑器 。 编辑器应具有语法突出显示,验证和自动完成功能 我们还将免费提供Eclipse和Web编辑器的编辑器 ,但请包含您的兴奋之处&…

sed 插入多行_Linux三剑客之sed

sed命令用法小记版本:CentOS7▼ ▼ ▼ ▼ ▼ ▼ ▼ ▼ ▼好久没更新文章了,项目的事情太多,总得给自己的懒惰找个借口,哈哈~话不多说进入正题创建测试数据[aliscaspark02 a]$ cat data#test the sedThis is the header l…

分享一些超级炫酷的C语言小技巧

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删C语言常常让人觉得它所能表达的东西非常有限。它不具有类似第一级函数和模式匹配这样的高级功能。但是C非常简单,并且仍然有一些非常…

使用Apache Cassandra设置SpringData项目

在这篇文章中,我们将使用Gradle和spring boot来创建一个集成spring-mvc和Apache Cassandra数据库的项目。 首先,我们将从Gradle配置开始 group com.gkatzioura version 1.0-SNAPSHOTapply plugin: java apply plugin: eclipse apply plugin: idea appl…

优朋普乐大数据_优朋普乐邵以丁:用大数据全面洞察需求

优朋普乐创始人、董事长兼CEO邵以丁回顾优朋普乐十二年发展历程,数次强调是多年来积累的大数据给优朋普乐的业务拓展指明了方向,有的放矢的决策让企业对未来发展充满信心。大数据为及时发现甚至准确预测消费需求提供了新途径,因为基于相关的大…

C++编程新手容易犯的 10 种编程错误

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删公司每年都会有一定的人员流动,相应地也会招一些应届生补充进来,指导应届生已经成为老员工的必修课了。平日里会我们会经…

drill apache_Apache Drill:如何创建新功能?

drill apacheApache Drill允许用户使用ANSI SQL探索任何类型的数据。 这很棒,但是Drill的作用远远不止于此,它允许您创建自定义函数来扩展查询引擎。 这些自定义函数具有Drill基本操作的所有性能,但是允许执行这些性能会使编写这些函数的技巧…

python往npy写入数据_Python 存取npy格式数据实例

数据处理的时候主要通过两个函数(1):np.save(“test.npy”,数据结构) ----存数据(2):data np.load(test.npy") ----取数据给2个例子如下(存列表)1、z [[[1, 2, 3], [w]], [[1, 2, 3], [w]]]np.save(test.npy, z)x np.load(test.npy) x:->array([[list([1,…

Linux上C语言程序编译过程详解

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删本文将介绍如何将高层的C/C语言编写的程序转换成为处理器能够执行的二进制代码的过程,包括四个步骤:预处理(P…

hibernate 别名_Hibernate:在sqlRestriction上使用联接表别名

hibernate 别名如果在复杂查询的情况下使用Hibernate模式,则需要使用sql。 因此,sqlRestrictions可以解决。 但是,对联接表别名使用sql限制有点棘手。 将有三个表: 公司表。 员工表。 每个员工都属于一个公司,因此…

C语言,动图展示十大经典排序算法

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删以前也零零碎碎发过一些排序算法,但排版都不太好,又重新整理一次,排序算法是数据结构的重要部分,…

python求偏度系数_用 Python 讲解偏度和峰度

之前笔者在做一个金融数据项目时,有朋友问我,衡量股票收益率有没有什么好的方法。这个问题让笔者也思索了好久,其实股票的收益率如果我们从本质来看不就是数据吗,无非就是收益率我们就想让其越高越好,也就是让这个数据增加得越多越好。而衡量数据我们经常用到的方法有均值…

java ee各类组件_在Java EE组件中使用骆驼路线

java ee各类组件从现在开始我一直在与Camel合作,我真的很喜欢它的简单性。 在Java EE之上使用它一直是一个挑战,我最近发表了一篇关于如何做到这一点的演讲,而在Java EE中引导Camel的不同方法实际上建议使用WildFly-Camel Subsystem 。 在正在…

5gnr帧结构特点有哪些_真空离子束刻蚀设备的结构特点有哪些

离子束刻蚀设备有立式、卧式两种结构。通常情况下,该设备以卧式的结构居多,因为采用卧式结构的话,离子源发出的离子束为水平喷射方向,大部分的刻蚀溅射物将落在真空室的底部,可在一定程度上将溅射材料的重新沉积减少。…

老了就不能编程?大龄程序员在线“辟谣”:15 年后,我变得更好了

点击蓝字关注我们因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享来源于网络,侵删几年前,Quora 上的一个提问在程序员圈内掀起热议:“随着年龄的增长,人们会对编程失去兴趣吗?预计…