1. metastore内存飙升

1 问题

metastore内存飙升降不下来;

spark集群提交的任务无法运行, 只申请到了dirver的资源;

2 原因

当Spark任务无法获取足够资源时，因为任务无法继续进行，不能将元数据从Metastore返回给任务

后，这些元数据暂存在Metastore中;

这种情况下，如果Metastore的内存不断累积，可能会导致内存占用过高，进而影响系统的稳定性

和性能;

3 措施

• 增加Metastore的内存配置：减少内存溢出风险;
• 优化集群扩容策略: 避免任务长时间无法获取资源;
• 定期清理Metastore中无用元数据：避免不必要的内存占用;