[Python3] 线程安全的数据共享容器 List,Set,Dict

多个线程可以共享一个列表 (list),但要注意并发访问时可能引发的问题

文章目录

  • 线程安全的List
  • 线程安全的Set
  • 线程安全的 Dict

线程安全的List

  • 以下实现了一个行为类似list的类, 并且在多线程环境下安全
  • 这个类提供了与 list 类似的功能,同时确保了线程安全。这对于在多线程环境中使用列表而又避免数据竞争非常有用。
import threadingclass ThreadSafeList:def __init__(self):self._list = []self._lock = threading.Lock()def append(self, item):with self._lock:self._list.append(item)def extend(self, items):with self._lock:self._list.extend(items)def insert(self, index, item):with self._lock:self._list.insert(index, item)def remove(self, item):with self._lock:self._list.remove(item)def pop(self, index=-1):with self._lock:return self._list.pop(index)def clear(self):with self._lock:self._list.clear()def index(self, item):with self._lock:return self._list.index(item)def count(self, item):with self._lock:return self._list.count(item)def sort(self, *, key=None, reverse=False):with self._lock:self._list.sort(key=key, reverse=reverse)def reverse(self):with self._lock:self._list.reverse()def __getitem__(self, index):with self._lock:if isinstance(index, slice):return self._list[index.start:index.stop:index.step]else:return self._list[index]def __setitem__(self, index, value):with self._lock:self._list[index] = valuedef __delitem__(self, index):with self._lock:del self._list[index]def __len__(self):with self._lock:return len(self._list)def __iter__(self):with self._lock:return iter(self._list.copy())

在这个 ThreadSafeList 类中:

  • 我们用 threading.Lock 来确保线程安全。
  • 大多数 list 方法都得到了实现,包括 appendextendinsertremovepopclearindexcountsortreverse 等。
  • __getitem____setitem__ 等方法也被实现,以支持索引和切片操作。
  • __iter__ 返回列表的副本,以防止迭代时出现竞争。

__iter__ 方法中,返回列表的副本是为了确保迭代过程中不受其他线程影响,因此使用浅拷贝(shallow copy)就足够了。

  • 浅拷贝会创建一个新的对象,该对象的内容与原始对象相同,但是内部元素的引用仍然指向原始对象中的元素。因此,如果对这些元素进行修改,原始对象和副本都会受到影响。
  • 但是在这种情况下,因为我们已经在__iter__方法中使用了锁来确保线程安全,所以在迭代过程中不会出现同时修改的情况,因此返回列表的浅拷贝就足够了。
  • 如果返回的是深拷贝(deep copy),则会完全复制原始列表及其内部元素,这可能会带来额外的开销,并且在这个情况下并不是必要的。

线程安全的Set

Python 的内置 set 对象本身并不是线程安全的。虽然个别操作(如添加和删除单个元素)可能在底层是原子性的,但多个线程同时操作 set 时可能会导致数据竞争或不一致的结果。因此,在多线程环境中同时操作 set 时,需要额外的同步机制来确保线程安全。

常见的实现方式包括:

  • 锁(Lock):使用 threading.Lock 来保护 set,确保在操作 set 时没有其他线程干扰。例如,将 set 的所有访问都包裹在 with 语句中使用锁。
  • 线程安全的集合:自己编写一个线程安全的集合类,类似于我之前示范的 ThreadSafeList。这个类将 set 的所有操作用锁来保护。

示例代码:

import threadingclass ThreadSafeSet:def __init__(self):self._set = set()self._lock = threading.Lock()def add(self, item):with self._lock:self._set.add(item)def remove(self, item):with self._lock:self._set.remove(item)def discard(self, item):with self._lock:self._set.discard(item)def __contains__(self, item):with self._lock:return item in self._setdef __iter__(self):with self._lock:return iter(self._set.copy())

在这个示例中,ThreadSafeSet 类使用 threading.Lock 来确保所有操作是线程安全的。我们使用浅拷贝来获取 set 的副本,以防止迭代期间的竞争。

总之,如果您在多线程环境中需要使用 set,建议使用锁或类似的同步机制来确保线程安全。

线程安全的 Dict

在 Python 3 中,原生的 dict 类型本身不是线程安全的。

虽然在读操作时通常不会出现问题,但在写操作(包括更新、删除和插入)时,多个线程同时操作一个 dict 对象可能导致数据不一致或引发竞争条件。

因此,建议在多线程环境中对 dict 对象的访问进行同步控制。

class ThreadSafeDict:def __init__(self):self._lock = threading.Lock()self._dict = {}def set(self, key, value):with self._lock:self._dict[key] = valuedef get(self, key, default=None):with self._lock:return self._dict.get(key, default)def delete(self, key):with self._lock:if key in self._dict:del self._dict[key]def keys(self):with self._lock:return list(self._dict.keys())def values(self):with self._lock:return list(self._dict.values())def items(self):with self._lock:return list(self._dict.items())def update(self, other):with self._lock:self._dict.update(other)def clear(self):with self._lock:self._dict.clear()def __getitem__(self, key):with self._lock:return self._dict[key]def __setitem__(self, key, value):with self._lock:self._dict[key] = valuedef __delitem__(self, key):with self._lock:del self._dict[key]def __contains__(self, key):with self._lock:return key in self._dict

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/8183.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

每天一个数据分析题(三百零八)-指标分析

指标分析是业务描述性分析中观测业务行为结果的重要方法,以下选项中不属于通用类指标计算方式的是 A. 累计求和 B. 均比 C. 基准比 D. 留存率 cda数据分析考试:点击进入 题目来源于CDA模拟题库 点击此处获取答案

Java使用csv导出多字段大数据文件(无需写实体映射,自动遍历)

csv工具类CsvUtils 此处使用LinkedHashMap链表哈希表,实现键值中值为空时仍存在数据以及保证顺序与sql顺序一致。 package com.xxx.xxx.utils;import lombok.val; import org.springframework.util.CollectionUtils; import javax.servlet.http.HttpServletRespons…

数据库数据恢复—Sql Server数据库文件丢失丢失怎么恢复数据?

数据库数据恢复环境: 5块硬盘组建一组RAID5阵列,划分LUN供windows系统服务器使用。windows系统服务器内运行了Sql Server数据库,存储空间在操作系统层面划分了三个逻辑分区。 数据库故障: 数据库文件丢失,主要涉及3个…

【Kali Linux工具篇】使用Aircrack-ng破解wifi密码

前期准备 1、一个无线网卡 2、密钥爆破字典 实站过程 1、设置wlan为监听模式 airmon-ng start wlan0 #开启网卡wlan0监听模式 iwconfig #查看网卡状态,发现wlan0mon,表示已开启成功2、探测附近WiFi airdump-ng wlan0monBSSID 代表…

asp.net不用验证码包,如何实现手写验证码

引文:众所周知,一般我们日常碰到的验证码是一个图形样式的,列入这个样子的,那么在这个图片里面我们想实现我们自己界面上有这样的一个验证码就需要做两个操作,一个是在我们自己界面上生成如图所示的一个验证码图片&…

任务管理系统是什么?功能、特点、价值分析

任务管理系统是一种高效的项目管理工具,旨在帮助团队或个人有效组织、分配和追踪任务进度。它具有任务规划和分配、进度追踪、以及团队协作等功能。不仅确保每个成员都能明确自己的任务职责,管理者也能实时掌握项目整体进度。通过任务管理系统&#xff0…

案例导入说明.md

案例导入说明 为了演示多级缓存,我们先导入一个商品管理的案例,其中包含商品的CRUD功能。我们将来会给查询商品添加多级缓存。 1.安装MySQL 后期做数据同步需要用到 MySQL 的主从功能,所以需要大家在虚拟机中,利用 Docker 来运行一…

uniapp微信小程序1rpx border在某些手机机型上边框显示不出来解决方案

小程序在ios系统中,如果border小于1px的情况下,border就可能显示不全(可能少了上下左右任意一边) 只需要加一个::after或::before伪类,使用绝对定位定在原来元素上边就不会产生问题了! .d_card_line1_tag { padding: 1rpx 14r…

Golang | Leetcode Golang题解之第74题搜索二维矩阵

题目&#xff1a; 题解&#xff1a; func searchMatrix(matrix [][]int, target int) bool {m, n : len(matrix), len(matrix[0])i : sort.Search(m*n, func(i int) bool { return matrix[i/n][i%n] > target })return i < m*n && matrix[i/n][i%n] target }

数据处理学习笔记9

一些其他的函数 “Resize”和“Reshape”的区别主要在于它们对数组元素数量和形状的处理方式不同&#xff0c;以下是详细介绍&#xff1a; “Resize”通常会改变数组的元素数量&#xff0c;在放大数组形状时会用0补全新增的元素&#xff0c;而在缩小数组形状时会丢弃多余的元素…

Redis 实战之事务的实现

事务的实现 事务开始命令入队事务队列执行事务总结 一个事务从开始到结束通常会经历以下三个阶段&#xff1a; 1、 事务开始&#xff1b; 2、 命令入队&#xff1b; 3、事务执行。 本节接下来的内容将对这三个阶段进行介绍&#xff0c; 说明一个事务从开始到结束的整个过程。 …

服装行业如何洞悉客户对门店满意度?

​在竞争激烈的服装行业中&#xff0c;客户对门店的满意度情况无疑是影响企业制定营销策略、优化服务体验以及提升品牌形象的关键因素。而要获取这一宝贵信息&#xff0c;神秘顾客调查以其独特且高效的方式&#xff0c;逐渐成为了众多服装品牌争相采纳的首选方法。在这一过程中…

华为开启telnet两种方式

前言&#xff1a;telnet传输数据为明文&#xff0c;故不安全&#xff0c;非必要环境不建议开启 方式一&#xff1a;只通过密码登陆 [RG]telnet server enable [RG]user-interface vty 0 4 [RG-ui-vty0-4]authentication-mode password Please configure the login password …

ICLR 2024 杰出论文出炉:“大模型”成最大赢家

昨天&#xff0c;国际表征学习大会&#xff08;International Conference on Learning Representations&#xff0c;ICLR&#xff09;公布了 ICLR 2024 杰出论文。 其中&#xff0c;在 5 篇杰出论文中&#xff0c;有 4 篇论文涉及大模型。另外&#xff0c;也有 11 篇论文获得荣…

Linux学习之高级IO

之前的内容我们基本掌握了基础IO&#xff0c;如套接字&#xff0c;文件描述符&#xff0c;重定向&#xff0c;缓冲区等知识都是文的基本认识&#xff0c;而高级IO则是指更加高效的IO。 对于应用层&#xff0c;在读写的时候&#xff0c;本质就是把数据写给OS&#xff0c;若一方…

[运维|系统] Centos7忘记密码后修改密码

参考文献 见Centos7.9忘记Root密码找回

从互联网医院源码到搭建:开发视频问诊小程序的技术解析

如今&#xff0c;视频问诊小程序作为医疗服务的一种新形式&#xff0c;正逐渐受到人们的关注和青睐。今天&#xff0c;小编将为您详解视频问诊小程序的开发流程。 一、背景介绍 互联网医院源码是视频问诊小程序开发的基础&#xff0c;它提供了一套完整的医疗服务系统框架&…

zlib编译后静态库调用时遇到的无法解析的外部符号问题

编译zlib的静态库后引用到项目中使用&#xff0c;发现报下面的链接错误&#xff1a; error LNK2019: 无法解析的外部符号 _zlibVersion error LNK2019: 无法解析的外部符号 _deflateEnd error LNK2019: 无法解析的外部符号 _deflate error LNK2019: 无法解析的外部符号 _deflat…

【Linux 性能详解】CPU性能篇

目录 平均负载&#xff08;Load Average&#xff09; CPU上下文切换 进程上下文切换 线程上下文切换 中断上下文切换 中断 硬中断 软中断 CPU使用率 性能分析工具 平均负载&#xff08;Load Average&#xff09; 平均负载&#xff1f;这个词对很多人来说&#xff0c…

【Leetcode】 top100 round2 需要加强版

知识补充 python赋值的执行顺序&#xff1a; 在41中&#xff0c;对于测试案例[-1,4,3,1] 当i1时&#xff0c;以下两条语句的执行结果不一致&#xff1a; “nums[nums[i]-1], nums[i] nums[i], nums[nums[i]-1]” “nums[i], nums[nums[i]-1] nums[nums[i]-1], nums[i]” 解析…