PostgreSQL 的事务管理和并发控制机制解析

🌷🍁 博主 libin9iOak带您 Go to New World.✨🍁
🦄 个人主页——libin9iOak的博客🎐
🐳 《面试题大全》 文章图文并茂🦕生动形象🦖简单易学!欢迎大家来踩踩~🌺
🌊 《IDEA开发秘籍》学会IDEA常用操作,工作效率翻倍~💐
🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅,敬请批评指正!🍁🐥

文章目录

  • PostgreSQL 的事务管理和并发控制机制解析
    • 摘要:
    • 1. 引言
    • 2. 事务管理
      • 2.1 什么是事务?
      • 2.2 PostgreSQL 的事务实现
        • 2.2.1 写日志(Write-Ahead Logging)
        • 2.2.2 回滚日志(Undo Log)
      • 3. 多版本并发控制(MVCC)
      • 3.1 MVCC 的原理
      • 3.2 MVCC 的实现方式
        • 3.2.1 快照(Snapshot)
        • 3.2.2 可见性规则(Visibility Rules)
    • 4. 锁和并发控制
      • 4.1 行级锁
      • 4.2 表级锁
      • 4.3 锁对数据库性能和并发处理的影响
    • 5. 死锁和避免策略
      • 5.1 什么是死锁?
      • 5.2 死锁可能发生的原因
      • 5.3 PostgreSQL 的死锁检测和解决
      • 5.4 避免死锁的策略
    • 6. 事务隔离级别
      • 6.1 读未提交(Read Uncommitted)
      • 6.2 读已提交(Read Committed)
      • 6.3 可重复读(Repeatable Read)
      • 6.4 串行化(Serializable)
      • 6.5 隔离级别的应用场景
    • 7. 乐观并发控制
      • 7.1 乐观并发控制的概念
      • 7.2 PostgreSQL 中的乐观并发控制
    • 8. 性能优化和并发控制
      • 8.1 性能优化技巧
      • 8.2 性能优化与并发控制的冲突
    • 9. 结论
    • 10. 参考文献
  • 原创声明

在这里插入图片描述

PostgreSQL 的事务管理和并发控制机制解析

摘要:

在本篇博客中,我们将深入解析 PostgreSQL 的事务管理和并发控制机制。事务管理和并发控制是 PostgreSQL 强大功能的基石,它们保证了数据库的数据一致性和并发处理的高效性。

1. 引言

PostgreSQL是一个功能强大的开源关系型数据库管理系统。它以其可靠性、扩展性和高级功能而闻名。然而,要确保数据库的数据一致性和高效处理并发操作,就需要深入了解 PostgreSQL 的事务管理和并发控制机制。本篇博客将带领读者深入探讨这些重要的主题,为读者提供全面的了解。

2. 事务管理

事务是数据库操作的基本单位,它是一系列操作的逻辑单元,要么全部执行,要么全部回滚。在本节中,我们将深入探讨什么是事务以及事务的特性,即原子性、一致性、隔离性和持久性(ACID)。然后,我们将重点关注 PostgreSQL 如何实现事务的 ACID 特性,包括写日志和回滚日志等关键机制。

2.1 什么是事务?

事务是一组数据库操作的集合,这些操作要么全部成功执行,要么全部不执行,以保持数据库的一致性和完整性。事务具有以下特性:

  • 原子性(Atomicity):事务中的所有操作要么全部执行成功,要么全部失败回滚,不存在部分执行的情况。如果任何操作失败,整个事务都将回滚,数据库状态将恢复到执行事务前的状态。

  • 一致性(Consistency):事务执行后,数据库必须保持一致状态。这意味着事务将使数据库从一个有效状态转换到另一个有效状态,而不会导致数据库处于中间、不一致的状态。

  • 隔离性(Isolation):并发事务的执行是相互隔离的,一个事务的执行不应影响其他事务的执行。隔离性确保每个事务在看到数据时就像在系统中是唯一运行的一样,避免了并发执行时可能产生的问题。

  • 持久性(Durability):一旦事务成功提交,其结果将永久保存在数据库中,即使发生系统故障,数据也不会丢失。

2.2 PostgreSQL 的事务实现

PostgreSQL 是一个支持事务的关系型数据库管理系统,它严格遵循 ACID 原则,确保数据的一致性和可靠性。要实现事务的 ACID 特性,PostgreSQL 采取了以下关键机制:

2.2.1 写日志(Write-Ahead Logging)

写日志是 PostgreSQL 实现事务持久性的重要机制。在事务执行期间,所有对数据库的修改操作将首先被写入事务日志,然后再应用到数据库。这样,即使系统发生故障,数据库也能通过重放日志中的操作来恢复到故障前的状态。

2.2.2 回滚日志(Undo Log)

回滚日志是为了实现事务的原子性和一致性而引入的机制。在事务执行期间,所有对数据库的修改操作都被记录在回滚日志中。如果事务回滚或发生错误,可以利用回滚日志来撤消已经执行的操作,从而将数据库恢复到原始状态。

3. 多版本并发控制(MVCC)

在本节中,我们将深入介绍 PostgreSQL 中的多版本并发控制(MVCC)机制。MVCC 是 PostgreSQL 处理并发操作的重要手段,它能够有效解决并发事务之间的隔离问题,确保数据库的数据一致性。

MVCC(Multi-Version Concurrency Control)是 PostgreSQL 中用于处理并发的重要机制。在并发环境中,多个事务同时读写数据库时可能会产生冲突,MVCC 通过维护数据的多个版本来解决这个问题。

MVCC 的原理是为每个事务创建一个可见性视图,这个视图决定了在该事务中可以看到哪些数据版本。当一个事务读取数据时,MVCC 确保它只看到在事务开始前已经存在的数据版本,而不会看到其他事务尚未提交的修改。这样,每个事务都像在独立的数据库中操作一样,不会互相干扰。

通过 MVCC,PostgreSQL 能够实现高度的隔离性,避免了许多并发问题,从而保障数据库的数据一致性。同时,MVCC 还提供了高并发性能,允许多个事务同时读取数据库,提升了数据库的并发处理能力。

3.1 MVCC 的原理

MVCC 的核心原理是为每个事务创建多个数据版本,这些版本可以同时存在于数据库中,而不会相互干扰。每个事务在开始时会创建一个可见性视图,这个视图决定了在该事务中可以看到哪些数据版本。

当一个事务对数据进行修改时,实际上是在创建新的数据版本,而不是直接在原始数据上进行修改。这样,其他事务仍然可以看到原始数据版本,不会受到正在进行的修改操作的影响。

3.2 MVCC 的实现方式

在 PostgreSQL 中,MVCC 的实现方式主要涉及以下两个关键概念:

3.2.1 快照(Snapshot)

快照是指每个事务在开始时所看到的数据库状态。每个事务都有自己的快照,它决定了在该事务中可以访问哪些数据版本。当事务执行时,它只能看到在该事务开始之前已经存在的数据版本,不会看到其他事务尚未提交的修改。

3.2.2 可见性规则(Visibility Rules)

可见性规则定义了每个事务在其快照下能够看到哪些数据版本。一般而言,事务只能看到满足以下条件的数据版本:

  • 数据版本的创建时间在事务开始之前。
  • 数据版本是由已提交的事务创建的。

通过快照和可见性规则,PostgreSQL 实现了高度的事务隔离性,从而避免了许多并发问题,例如脏读、不可重复读和幻读。

4. 锁和并发控制

在并发环境下,为了防止数据损坏和保持数据的一致性,PostgreSQL 使用锁来处理并发事务。锁是一种同步机制,它可以限制对数据库对象的访问,使得每个事务能够按照一定的顺序进行执行,从而避免并发冲突。

4.1 行级锁

行级锁是最细粒度的锁,它允许多个事务同时访问同一张表,但只有在修改同一行数据时才会发生冲突。行级锁能够在保持高并发性的同时,保证数据的一致性和完整性。

4.2 表级锁

表级锁是比较粗粒度的锁,它会锁定整张表,使得其他事务无法同时修改整张表的数据。表级锁适用于一些特定的操作场景,但在大多数情况下,行级锁更为常用,因为它能够提供更好的并发性能。

4.3 锁对数据库性能和并发处理的影响

锁在保证数据一致性的同时,也会对数据库的性能和并发处理能力产生影响。过度使用锁可能会导致事务等待时间增加,降低数据库的并发性能。因此,在设计数据库系统时,需要根据具体情况合理选择锁的粒度,以平衡数据一致性和并发性能之间的关系。

在接下来的篇章中,我们将继续探讨 PostgreSQL 的并发控制机制以及其他相关主题,帮助读者更全面地了解 PostgreSQL 数据库管理的核心概念。请继续关注!

5. 死锁和避免策略

在并发系统中,死锁是一个常见的问题,它可能导致事务无法继续执行,从而影响数据库的性能和可用性。在本节中,我们将详细解释什么是死锁,以及死锁可能发生的原因。然后,我们将探讨 PostgreSQL 如何检测和解决死锁,并提供避免死锁的策略。

5.1 什么是死锁?

死锁是指两个或多个事务彼此持有对方需要的资源,并且由于互相等待对方释放资源,导致所有事务都无法继续执行的情况。当发生死锁时,系统陷入了僵局,无法自动恢复,需要人工干预才能解决。

5.2 死锁可能发生的原因

死锁发生的原因通常包括以下几点:

  1. 循环等待:多个事务形成一个循环,每个事务都在等待另一个事务释放资源。

  2. 竞争资源:多个事务同时竞争相同的资源,但每个事务又持有其他事务需要的资源,导致死锁。

  3. 无法释放锁:某个事务在持有锁的情况下,需要获取其他事务持有的锁,但其他事务无法释放这些锁。

5.3 PostgreSQL 的死锁检测和解决

PostgreSQL 使用一种超时机制来检测死锁。当系统发现两个或多个事务之间存在循环等待时,它会选择中断其中一个事务,释放其所占有的资源,以解开死锁。被中断的事务会被回滚,然后可以由应用程序重新发起。

5.4 避免死锁的策略

为了避免死锁的发生,可以采取以下策略:

  1. 锁顺序排序:在应用程序中统一规定获取锁的顺序,避免不同事务以不同的顺序获取锁,从而降低死锁发生的概率。

  2. 降低事务的粒度:尽量减少事务持有锁的时间,缩小事务的范围,从而减少死锁的可能性。

  3. 使用辅助工具:使用专门的死锁检测工具,可以帮助及时发现死锁并解决。

6. 事务隔离级别

事务隔离级别是数据库管理系统用来控制并发事务之间相互影响的程度。PostgreSQL 支持多种事务隔离级别,每种级别定义了事务之间的可见性和并发性。不同的隔离级别在处理事务并发时有不同的性能和复杂性权衡。在本节中,我们将介绍 PostgreSQL 支持的事务隔离级别,并解释每种级别的特点和应用场景。

PostgreSQL 支持多种事务隔离级别,每种级别定义了事务之间的可见性和并发性。不同的隔离级别在处理事务并发时有不同的性能和复杂性权衡。在本节中,我们将介绍 PostgreSQL 支持的事务隔离级别,包括:

  • 读未提交(Read Uncommitted):允许一个事务读取另一个事务尚未提交的修改。

  • 读已提交(Read Committed):确保一个事务只能读取已提交的数据,解决了脏读问题。

  • 可重复读(Repeatable Read):确保在一个事务执行期间,多次读取同样的数据都能得到一致的结果,解决了不可重复读问题。

  • 串行化(Serializable):最高的隔离级别,确保事务之间完全串行执行,避免了幻读问题。

6.1 读未提交(Read Uncommitted)

读未提交是最低的事务隔离级别,它允许一个事务读取另一个事务尚未提交的修改。这意味着在一个事务中可以读取到其他事务的脏数据(未提交的数据),可能会导致脏读、不可重复读和幻读等问题。

由于读未提交级别的隔离性较低,一般情况下不建议在生产环境中使用该级别,因为它可能会引起严重的并发问题。

6.2 读已提交(Read Committed)

读已提交是较低的隔离级别,它确保一个事务只能读取已提交的数据。在这个级别下,事务之间的相互影响被控制在较小的范围内,避免了脏读问题。

虽然读已提交级别解决了脏读问题,但在并发环境下仍可能出现不可重复读和幻读问题。因为其他事务可能在当前事务读取数据的过程中进行了修改和提交。

6.3 可重复读(Repeatable Read)

可重复读是较高的隔离级别,它确保在一个事务执行期间,多次读取同样的数据都能得到一致的结果。在可重复读级别下,其他事务对数据的修改不会被读取,避免了脏读和不可重复读问题。

但在可重复读级别下,仍然可能出现幻读问题。幻读是指一个事务在读取某个范围的数据时,另一个事务在该范围内插入了新的数据,导致第一个事务重新读取时发现了新插入的数据。

6.4 串行化(Serializable)

串行化是最高的隔离级别,它确保事务之间完全串行执行,避免了脏读、不可重复读和幻读等所有并发问题。在串行化级别下,数据库会对事务进行强制排序,以保证每个事务的操作都像是在单独执行的数据库中进行的。

串行化级别提供了最高的数据一致性和隔离性,但付出的代价是性能较低,因为事务之间无法并发执行。

6.5 隔离级别的应用场景

  • 读未提交:一般不建议在生产环境中使用,但在某些特殊情况下,如果对数据一致性要求不高,可以考虑使用。

  • 读已提交:适用于大多数情况,能够提供较好的性能和数据一致性。

  • 可重复读:适用于对数据一致性要求较高的场景,可以解决不可重复读问题。

  • 串行化:适用于对数据一致性要求极高的场景,可以解决所有并发问题,但性能较低。

在实际应用中,选择适当的隔离级别需要根据具体的业务需求和性能要求进行权衡。默认情况下,PostgreSQL 使用读已提交隔离级别,可以通过设置事务隔离级别来更改默认的隔离级别。

7. 乐观并发控制

乐观并发控制是一种不使用显式锁的并发控制方式,它通过乐观地假设事务之间不会产生冲突来处理并发。在本节中,我们将引入乐观并发控制的概念和原理,并解释 PostgreSQL 如何通过版本号或时间戳来实现乐观并发控制,从而避免了显式锁机制,提高了并发处理的效率。

7.1 乐观并发控制的概念

乐观并发控制是一种较为宽松的并发控制方式,它假设事务之间的冲突不太频繁发生。在乐观并发控制中,事务在执行读取操作时,并不会对数据进行加锁,而是在提交更新操作时检查是否发生了冲突。如果发现冲突,那么事务将会回滚,让应用程序重新尝试。

7.2 PostgreSQL 中的乐观并发控制

PostgreSQL 支持乐观并发控制通过使用版本号或时间戳来实现。具体来说,每个数据行都会有一个相关的版本号或时间戳,当事务更新数据时,会将版本号或时间戳进行更新,从而表示数据已经被修改。

在乐观并发控制中,当事务进行更新时,会先读取数据行的版本号或时间戳,并在提交更新时再次检查数据行的版本号或时间戳是否发生了变化。如果发现数据行的版本号或时间戳已经被其他事务修改,那么当前事务会回滚,并提示应用程序重新执行。

通过乐观并发控制,PostgreSQL 避免了显式的锁机制,提高了并发处理的效率,特别是在读多写少的场景中,乐观并发控制能够带来显著的性能提升。

8. 性能优化和并发控制

性能优化是提高数据库处理效率的关键。在本节中,我们将提供一些优化技巧,以提高事务处理的性能和并发处理能力。同时,我们将探讨性能优化对数据库并发控制的影响,以避免性能优化与数据一致性的冲突。

8.1 性能优化技巧

以下是一些常用的性能优化技巧,可以帮助提高数据库的处理效率:

  1. 合理使用索引:在数据库中添加适当的索引可以加快数据检索的速度,提高查询性能。

  2. 批量处理数据:尽量使用批量处理操作,减少数据库与应用程序之间的交互次数,从而提高处理效率。

  3. 减少数据冗余:避免数据冗余可以节约存储空间,同时减少数据的更新和维护操作。

  4. 优化查询语句:合理编写查询语句,尽量避免复杂的连接和子查询,从而减少查询的执行时间。

8.2 性能优化与并发控制的冲突

在进行性能优化时,需要特别注意与并发控制的冲突。某些性能优化策略可能会增加事务之间的竞争,导致并发冲突增加,进而影响数据库的数据一致性。因此,在优化数据库性能时,必须权衡优化的效果和数据一致性之间的关系,确保性能优化不会影响数据库的并发控制。

在实际应用中,需要根据具体情况综合考虑并发控制和性能优化的需求,采取合适的措施来提高数据库的处理效率,同时保证数据的一致性。

9. 结论

PostgreSQL 的事务管理和并发控制机制是其作为一款优秀数据库系统的重要基石。在本篇博客中,我们深入解析了 PostgreSQL 的事务管理和并发控制机制,以及其他相关主题,为读者提供了全面的了解。

通过学习事务管理,我们了解了事务的概念和特性,即原子性、一致性、隔离性和持久性(ACID)。我们还探讨了 PostgreSQL 如何实现事务的 ACID 特性,包括写日志和回滚日志等关键机制。

了解多版本并发控制(MVCC)机制,我们了解了它是 PostgreSQL 中用于处理并发的重要方式,通过版本号或时间戳实现乐观并发控制,避免了显式锁机制,提高了并发处理的效率。

我们还讨论了锁和并发控制,了解了 PostgreSQL 如何使用锁来处理并发事务,包括行级锁和表级锁,并分析了不同类型的锁对数据库性能和并发处理的影响。

另外,我们深入探讨了死锁问题以及避免策略,以及 PostgreSQL 支持的不同事务隔离级别,包括读未提交、读已提交、可重复读和串行化,帮助读者选择适合自己应用的隔离级别。

最后,我们提供了性能优化技巧,以提高事务处理的性能和并发处理能力,并强调了在进行性能优化时要注意与并发控制的冲突,确保性能优化不会影响数据库的数据一致性。

综上所述,深入理解 PostgreSQL 的事务管理和并发控制机制对于优化和管理 PostgreSQL 数据库至关重要。通过合理地配置事务隔离级别和性能优化策略,我们能够充分发挥 PostgreSQL 强大功能的优势,确保数据库的数据一致性和高效处理并发操作。

在阅读本篇博客后,希望读者对 PostgreSQL 的事务管理和并发控制机制有了更深入的了解,并能够应用这些知识来优化和管理自己的 PostgreSQL 数据库。若想进一步深入学习,可以参考列出的参考文献,获取更多关于 PostgreSQL 的相关资料。感谢阅读本篇博客!

10. 参考文献

在本篇博客的撰写过程中,我们参考了相关的书籍、文章和官方文档,供读者进一步深入学习:

  • PostgreSQL 官方网站
  • 《PostgreSQL 9 高级技术》 - 唐明明
  • 《PostgreSQL 权威指南》 - 高桥哲夫
  • 《PostgreSQL 修炼之道》 - 张文升

希望这些参考文献能够帮助读者更深入地了解 PostgreSQL 的事务管理和并发控制机制。感谢您阅读本篇博客!

原创声明

======= ·

  • 原创作者: 猫头虎

作者wx: [ libin9iOak ]


本文为原创文章,版权归作者所有。未经许可,禁止转载、复制或引用。

作者保证信息真实可靠,但不对准确性和完整性承担责任

未经许可,禁止商业用途。

如有疑问或建议,请联系作者。

感谢您的支持与尊重。

点击下方名片,加入IT技术核心学习团队。一起探索科技的未来,共同成长。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/6229.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

BEVPoolv2 A Cutting-edge Implementation of BEVDet Toward Deployment 论文学习

Github Repo: https://github.com/HuangJunJie2017/BEVDet/tree/dev2.0 Arxiv Paper: https://arxiv.org/abs/2211.17111 1. 解决了什么问题? 多相机 3D 目标检测是自动驾驶领域的基本任务,受到学术界和工业界的大量关注。Lift-Splat-Shoot view trans…

MFC第十九天 记事本项目功能完善和开发、CTabCtrl类与分页模式开发

文章目录 记事本项目功能完善和开发查找界面的记忆功能 、使用F3快捷键自动向下查找功能 的开发单次替换的算法研究 CFileDialog 构造函数详解 应用另存为时选择编码 (三种方案)vista 样式文件对话框 bVistaStyle 为TRUE时 1pch.hCApp NotePad.cpp 对编码…

视频对比工具(基于python+ffmpeg+airtest实现视频抽帧比较工具)

VideoDiff:基于ffmpeg,实现视频抽帧比较工具 使用场景:在视频渲染模块发生迭代,快速回归测试其产出的视频是否存在问题,从而节省人工回归成本 源码地址:https://github.com/jiangliuer32/VideoDiff 原理图…

centos7中MySQL备份还原策略

目录 一、直接拷贝数据库文件 1.1在shangke主机上停止服务并且打包压缩数据库文件 1.2 在shangke主机上把数据库文件传输到localhost主机上(ip为192.168.33.157) 1.3在localhost主机上停止服务,解压数据库文件 1.4 在localhost主机上开启服务 1.5 测试 二、m…

JVM-Java虚拟机

JVM——Java虚拟机,是Java实现平台无关性的基石。 基本概念:JVM 是可运行 Java 代码的假想计算机 ,包括一套字节码指令集、一组寄存器、一个栈、 一个垃圾回收,堆 和 一个存储方法域。JVM 是运行在操作系统之上的,它与…

【Docker】基本概念和底层技术

Docker 1 什么是 Docker Docker 是一种容器技术。只要开发者将其应用和依赖包进行打包,放入到一个轻量级的、可移植的容器中,就能发布到任何流行的 linux 机器上。 Docker 的要素: image 镜像:静态的container 容器&#xff1a…

android studio 新建项目没有R文件

android studio 新建项目没有R文件,处理步骤 1,找一个能打开的项目替换根目录下的settings.gradle 2,改app 目录下的build.gradle文件 3,改gradle版本 4,改AndroidManifest.xml 5,改theme 改为,ok.

【Python】数据分析+数据挖掘——变量列的相关操作

前言 在Python和Pandas中,变量列操作指的是对DataFrame中的列进行操作,包括但不限于选择列、重命名列、添加新列、删除列、修改列数据等操作。这些操作可以帮助我们处理数据、分析数据和进行特征工程等。 变量列的相关操作 概述 下面将会列出一些基本…

Jmeter-使用http proxy代理录制脚本

Jmeter-使用http proxy代理录制脚本 第1步:打卡jmeter工具新增1个线程组 第2步:给线程组添加1个HTTP请求默认值 第3步:设置下HTTP请求默认值第4步:在工作台中新增1个----HTTP代理服务器 第5步:设置HTTP代理服务器…

2023华为OD统一考试(B卷)题库清单(持续收录中)以及考点说明

目录 专栏导读2023 B卷 “新加题”(100分值)2023Q2 100分2023Q2 200分2023Q1 100分2023Q1 200分2022Q4 100分2022Q4 200分牛客练习题 专栏导读 本专栏收录于《华为OD机试(JAVA)真题(A卷B卷)》。 刷的越多&…

卷积神经网络识别人脸项目—使用百度飞桨ai计算

卷积神经网络识别人脸项目的详细过程 整个项目需要的准备文件: 下载链接: 链接:https://pan.baidu.com/s/1WEndfi14EhVh-8Vvt62I_w 提取码:7777 链接:https://pan.baidu.com/s/10weqx3r_zbS5gNEq-xGrzg 提取码&#x…

pnpm 与monorepo架构

软链接与硬链接 创建方式: mklink (windows) 软链接 : a、b指向同一个文件 b相当于一个快捷方式 硬链接: a、b指向同一个内存地址 某一文件修改,其他文件跟这变化 上图所示:安装某依赖&…

分布式光伏电站监控及集中运维管理-安科瑞黄安南

前言:今年以来,在政策利好推动下光伏、风力发电、电化学储能及抽水蓄能等新能源行业发展迅速,装机容量均大幅度增长,新能源发电已经成为新型电力系统重要的组成部分,同时这也导致新型电力系统比传统的电力系统更为复杂…

【C++】多态(举例+详解,超级详细)

本篇文章会对C中的多态进行详解。希望本篇文章会对你有所帮助。 文章目录 一、多态的定义及实现 1、1 多态的概念 1、2 多态的构成条件 1、2、1 虚函数 1、2、2 虚函数的重写 1、2、3 析构函数构成重写特例原因 1、3 多态的实例练习 1、3、1 例1 1、3、2 例2 1、3、3 例3 1、4…

linux安装conda

linux安装conda 卸载conda 在主目录下,使用普通权限安装: ./Anaconda3-2023.03-1-Linux-x86_64.shanaconda的目录是ENTER

python_day13

reduceByKey算子,聚合 列表中存放二元元组,元组中第一个为key,此算子按key聚合,传入计算逻辑 from pyspark import SparkConf, SparkContext import osos.environ["PYSPARK_PYTHON"] "D:/dev/python/python3.10…

【分布式】1、CAP 理论 | 一致性、可用性、分区容忍性

文章目录 一、CAP 理论1.1 Consistency 一致性1.2 Availbility 可用性1.3 Partition Tolerance 分区容忍性1.4 CAP 应用1.4.1 CP1.4.2 AP 二、CAP 实践2.1 ACID2.2 BASE 一、CAP 理论 是 2002 年证明的定理,原文,内容如下: In a distributed…

喜报|英码科技联合广师大荣获“智芯杯”AI芯片应用创新创业大赛两大奖项

7月15日,由中国仪器仪表学会主办的全国首届“智芯杯”AI芯片应用创新创业大赛总决赛暨颁奖典礼圆满结束,英码科技联合广东技术师范大学设计开发的“AI视觉,让工厂建设更智慧”和“基于AI的智慧校园无感考勤系统”创新项目均荣获三等奖。 ​ 自…

springcloudAlibaba之nacos集群部署和nginx负载均衡

1.环境准备 nacos server安装包:https://github.com/alibaba/nacos nginx安装包:https://nginx.org/en/download.html 2、nacos配置 将下载好的nacos-server的压缩包解压好以后,复制出N份(这里取决于你集群的数量)&…

设计模式之模板方法模式

例子:登陆(普通用户,工作人员) 没有使用设计模式实现用户登陆 package com.tao.YanMoDesignPattern.template.notPattern;/*** Author Mi_Tao* Date 2023/7/22* Description* Version 1.0**/ public class LoginModel {private …