因为NameNode的数据需要加载到内存里,随着数据越来越大,内存会不够用出现内存受限问题。
解决方法:
官网:hdfs联邦 http://blog.csdn.net/zengmingen/article/details/52143300
国内:
因为数据存在阶段性,时间,内容不同等。
一个集群只能有一个NameNode,则把不同阶段的数据存到不同的集群里,这是国内如京东百度淘宝等的解决方法。
如:
京东的订单存一个集群
京东的流水存一个集群
京东的商品信息存一个集群
订单里10年前的一个集群,10年内的一个集群