[每日一氵] PySpark 的 log GC 部分是什么意思

2024-11-15T11:10:40.292+0800: 2850.503: [GC (Allocation Failure) [PSYoungGen: 142705K->3472K(141312K)] 1403514K->1264289K(1543168K), 0.0170225 secs] [Times: user=0.05 sys=0.00, real=0.01 secs] 

这一行日志来自Java的垃圾收集器(Garbage Collector, GC),并且是在使用Spark时产生的。下面会逐一解释这一行日志中的各个部分:

  1. 时间戳:2024-11-15T11:10:40.292+0800
    这表示垃圾收集事件发生在2024年11月15日,时间是11:10:40.292,时区是+0800(即东八区,通常是中国、台湾、香港、澳门等地的时区)。

  2. GC事件:2850.503: [GC (Allocation Failure)
    2850.503:这是Java虚拟机(JVM)启动后的秒数,表示从JVM启动到这次GC事件发生已经过去了大约2850.503秒。
    [GC (Allocation Failure):这表示发生了一次GC事件,原因是“分配失败”(Allocation Failure),即JVM在尝试为新对象分配内存时,发现没有足够的空间,从而触发了垃圾收集。
    内存变化:[PSYoungGen: 142705K->3472K(141312K)] 1403514K->1264289K(1543168K)
    PSYoungGen: 这是指“Parallel Scavenge Young Generation”,是Java堆内存中的年轻代部分。年轻代通常包含新创建的对象。
    142705K->3472K(141312K): 这表示在GC之前,年轻代使用了142705K的内存,GC之后减少到了3472K。年轻代的总容量是141312K。
    1403514K->1264289K(1543168K): 这表示整个Java堆在GC之前使用了1403514K的内存,GC之后减少到了1264289K。整个堆的总容量是1543168K。
    耗时:0.0170225 secs

  3. 这表示这次GC事件总共耗费了 0.0170225 秒。
    时间细节:[Times: user=0.05 sys=0.00, real=0.01 secs]
    user=0.05: 这表示在用户模式下(即执行Java代码时)耗费了0.05秒。
    sys=0.00: 这表示在系统模式下(即执行操作系统代码,如垃圾收集器本身)耗费了0.00秒。
    real=0.01: 这表示从GC事件开始到结束实际经过的时间是0.01秒,这通常包括了等待时间和其他非计算开销。

2024-11-15T10:59:09.768+0800: 2159.978: [Full GC (Ergonomics) [PSYoungGen: 1952K->0K(123904K)] [ParOldGen: 1196156K->1165762K(1401856K)] 1198108K->1165762K(1525760K), [Metaspace: 161537K->161537K(1202176K)], 2.0533133 secs] 
[Times: user=7.57 sys=0.01, real=2.05 secs]
  • 时间戳: 2024-11-15T10:59:09.768+0800,发生在2024年11月15日 10:59:09。

  • GC类型: Full GC,表示发生了全局垃圾收集,这通常涉及到整个堆的清理。

  • 触发原因: (Ergonomics),表明垃圾收集是基于JVM的自动调整策略触发的。

  • 内存变化:

    • PSYoungGen: 年轻代从1952K清理到0K。
    • ParOldGen: 老年代从1196156K减少到1165762K。
    • 总堆内存: 从1198108K减少到1165762K。
    • Metaspace: 元空间大小未变,保持在161537K。
    • 耗时: 2.0533133 secs,表明Full GC花费了大约2.05秒。
  • 时间细节: 用户模式7.57秒,系统模式0.01秒,实际耗时2.05秒。这里的用户模式时间远大于实际耗时,可能是因为GC过程中多个线程并行工作。

2024-11-15T10:54:06.273+0800: 1856.484: [Full GC (System.gc()) [PSYoungGen: 2368K->0K(389632K)] [ParOldGen: 1052564K->1035143K(1197056K)] 1054932K->1035143K(1586688K), [Metaspace: 161469K->161469K(1202176K)], 2.7494377 secs] [Times: user=9.01 sys=0.03, real=2.75 secs]
  • 时间戳: 2024-11-15T10:54:06.273+0800,发生在2024年11月15日 10:54:06。
  • GC类型: Full GC,同样是全局垃圾收集。
  • 触发原因: (System.gc()),表明垃圾收集是由System.gc()调用触发的,这通常是由应用程序或开发者显式调用的。
  • 内存变化:
    • PSYoungGen: 年轻代从2368K清理到0K。
    • ParOldGen: 老年代从1052564K减少到1035143K。
    • 总堆内存: 从1054932K减少到1035143K。
    • Metaspace: 元空间大小未变,保持在161469K。
    • 耗时: 2.7494377 secs,Full GC花费了大约2.75秒。
  • 时间细节: 用户模式9.01秒,系统模式0.03秒,实际耗时2.75秒。这里的用户模式时间也远大于实际耗时。
2024-11-15T10:24:30.644+0800: 80.855: [GC (Metadata GC Threshold) [PSYoungGen: 87878K->7167K(194048K)] 115047K->44846K(422400K), 0.0238500 secs] [Times: user=0.08 sys=0.01, real=0.02 secs]
  • 时间戳: 2024-11-15T10:24:30.644+0800,发生在2024年11月15日 10:24:30。
  • GC类型: GC,这表明不是Full GC,可能是针对年轻代的垃圾收集。
  • 触发原因: (Metadata GC Threshold),表明垃圾收集是由于元空间使用达到了某个阈值而触发的。
  • 内存变化:
    • PSYoungGen: 年轻代从87878K减少到7167K。
    • 总堆内存: 从115047K减少到44846K(这里没有明确给出老年代的变化)。
    • 耗时: 0.0238500 secs,这次GC事件非常快,仅耗时约0.02秒。
  • 时间细节: 用户模式0.08秒,系统模式0.01秒,实际耗时0.02秒。这里的用户模式时间和实际耗时比较接近。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/59863.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

sslSocketFactory not supported on JDK 9+

clientBuilder.sslSocketFactory(SSLSocketFactory) not supported on JDK 9 at okhttp3.internal.platform.Jdk9Platform.trustManager(Jdk9Platform.kt:61) at okhttp3.OkHttpClient$Builder.sslSocketFactory(OkHttpClient.kt:751) at 1.升版本4.9.3以上 2、加个函数获取X…

「Mac玩转仓颉内测版8」入门篇8 - Cangjie函数与方法

本篇介绍Cangjie编程语言中的函数与方法,帮助理解如何通过函数封装重复操作,提升代码的复用性和可维护性。 关键词 Cangjie函数方法定义参数传递返回值模块化与复用性 一、什么是函数? 函数是一个代码块,用于接收参数、执行操作…

ubuntu 16.04 中 VS2019 跨平台开发环境配置

su 是 “switch user” 的缩写,表示从当前用户切换到另一个用户。 sudo 是 “superuser do” 的缩写,意为“以超级用户身份执行”。 apt 是 “Advanced Package Tool” 的缩写,Ubuntu中用于软件包管理的命令行工具。 1、为 root 用户设置密码…

git没有识别出大写字母改成小写重命名的文件目录

Git 默认不会跟踪大写字母和小写字母的区别,因为在大多数文件系统中,大写字母和小写字母被认为是相同的文件,只有在区分大小写的文件系统中(如 macOS 的 HFS 或 Windows 的 NTFS),这才是一个问题。 如果重命…

Java集合ConcurrentHashMap——针对实习面试

目录 Java集合ConcurrentHashMapConcurrentHashMap的特性是什么?HashMap和ConcurrentHashMap的区别?说说ConcurrentHashMap的底层实现 Java集合ConcurrentHashMap ConcurrentHashMap的特性是什么? 线程安全性 多线程并发读写安全&#xff1a…

游戏引擎学习第16天

视频参考:https://www.bilibili.com/video/BV1mEUCY8EiC/ 这些字幕讨论了编译器警告的概念以及如何在编译过程中启用和处理警告。以下是字幕的内容摘要: 警告的定义:警告是编译器用来告诉你某些地方可能存在问题,尽管编译器不强制要求你修复…

数据库几道简答题

1。 什么是数据库? 答:数据库是长期存储在计算机内、有组织的、可共享的数据集合。数据库是按某种数据模型进行组织的、存放在外存储器上,且可被多个用户同时使用。因此,数据库具有较小的冗余度,较高的数据独立性和易扩展性. 2。 什么是数据库的数据独…

使用--log-file保存pytest的运行日志

前面使用了tee和重定向来保存pytest的运行日志,这次使用--log-file,因为它可以配置日志的级别、格式和每行日志的生成时间。 pytest -q -s -ra --count100 test_open_stream.py --alluredir./report/CXL --log-filepytest_log.txt 【pytest.ini】 使用…

【题目3】C++类的设计——07年复试笔试题

【题目】07年C复试笔试真题 定义一个处理日期的类TDate,它有3个私有数据成员:Month,Day,Year和若干共有成员函数,实现如下要求[附条件解读] ①构造函数重载→创建无参构造函数有参构造函数 ②成员函数设置缺省参数→与④一同可用set()在类中实…

【STL】set,multiset,map,multimap的介绍以及使用

关联式容器 在C的STL中包含序列式容器和关联式容器 1.关联式容器:它里面存储的是元素本身,其底层是线性序列的数据结构,比如:vector,list,deque,forward_list(C11)等 2.关联式容器里面储存的…

VUE+SPRINGBOOT实现邮箱注册、重置密码、登录功能

随着互联网的发展,网站用户的管理、触达、消息通知成为一个网站设计是否合理的重要标志。目前主流互联网公司都支持手机验证码注册、登录。但是手机短信作为服务端网站是需要付出运营商通信成本的,而邮箱的注册、登录、重置密码,无疑成为了这…

PyTorch——从入门到精通:PyTorch基础知识(张量)【PyTorch系统学习】

什么是张量(Tensor) ​ 张量在数学中是一个代数对象,描述了与矢量空间相关的代数对象集之间的多重线性映射。张量是向量和矩阵概念的推广,可以理解为多维数组。作为数学中的一个基本概念,张量有着多种类型,…

自动化生成边界测试和极端情况测试用例

在软件测试中,边界测试和极端情况测试是确保代码健壮性和容错能力的关键步骤。许多软件缺陷和错误往往发生在输入数据的边界值或极端情况下。手动生成这些测试用例不仅费时费力,而且容易遗漏。幸运的是,OpenAI的强大功能可以帮助软件测试工程…

ARM(安谋) China处理器

0 Preface/Foreword 0.1 参考博客 Cortex-M23/M33与STAR-MC1星辰处理器 ARM China,2018年4月established,独立运行。 1 处理器类型 1.1 周易AIPU 1.2 STAR-MC1(星辰处理器) STAT-MC1,主要为满足AIOT应用性能、功…

OpenCV:VideoWriter.write()导致内存不断增长(未解决)

以前某个应用,专门把opencv独立为进程,完成后自动释放。当时我还想优化一下,比如减少frame,结果一点用没用。 这次专门一下,结论就是:每次执行write(),内存必然增加。 输出版本号,是…

如何使用Django写个接口,然后postman中调用

好的,下面是一个详细的步骤,展示如何使用 Django 创建一个简单的 API 接口,并在 Postman 中进行调用。 1. 创建 Django 项目和应用 首先,确保你已经安装了 Django。如果还没有安装,可以使用以下命令安装:…

nfs服务器作业

1.NFS服务器可以让PC将网络中的NFS服务器共享的目录挂载到本地端的文件系统中,而在本地端的系统 中看来,那个远程主机的目录就好像是自己的一个磁盘分区。 2.RPC服务 : 由于当服务器在启动NFS时会随机 选取数个端口号,并主动向RP…

Android中perform和handle方法的区别——以handleLaunchActivity与performLaunchActivity为例

在Android系统中,perform和handle方法经常出现在关键流程中,分别承担不同的职责。这种命名约定反映了框架设计中的分层思想,帮助开发者区分任务的调度与实现。本文通过handleLaunchActivity和performLaunchActivity这两个典型方法的源码分析&…

拉取docker镜像应急方法

发现许多docker hub镜像网址速度也慢得发指啦,如果想速度快点,可以考虑买个按量计费的公有云服务器,用他们的内网镜像,然后再导出,然后传到本地。 开通服务器 可以考虑个开通最低配的,这里我用的是腾讯的…

论文解读《Personalized LoRA for Human-Centered Text Understanding》

引言:感觉这篇蛮不错的,读一读。学一学如何在 LLMs(文中说的是PLMs,不过我觉得可以理解为 LLMs) 的结构上做改进 ✅ NLP 研 2 选手的学习笔记 笔者简介:Wang Linyong,NPU,2023级&…