Python拾遗1：collections、itertools和内存io

Python拾遗1：collections、itertools和内存io

转自：https://www.liaoxuefeng.com/wiki/1016959663602400

本系列旨在补充python中一些很好用但是并非常规课程主线中的知识。

collections

collections是Python内建的一个集合模块，提供了许多有用的集合类。

namedtuple

我们知道tuple可以表示不变集合，例如，一个点的二维坐标就可以表示成：

p = (1, 2)

但是，看到 (1, 2)，很难看出这个tuple是用来表示一个坐标的。

定义一个class又小题大做了，这时，namedtuple就派上了用场：

from collections import namedtuplePoint = namedtuple('Point', ['x', 'y'])
p = Point(1, 2)
print(p.x, p.y)

namedtuple是一个函数，它用来创建一个自定义的tuple对象，并且规定了tuple元素的个数，并可以用属性而不是索引来引用tuple的某个元素。

这样一来，我们用namedtuple可以很方便地定义一种数据类型，它具备tuple的不变性，又可以根据属性来引用，使用十分方便。

可以验证创建的Point对象是tuple的一种子类：

print(isinstance(p, Point))
print(isinstance(p, tuple))

类似的，如果要用坐标和半径表示一个圆，也可以用namedtuple定义：

# namedtuple('名称', [属性list]):
Circle = namedtuple('Circle', ['x', 'y', 'r'])

deque

使用list存储数据时，按索引访问元素很快，但是插入和删除元素就很慢了，因为list是线性存储，数据量大的时候，插入和删除效率很低。

deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈：

from collections import dequeq = deque(['a', 'b', 'c'])
q.append('x')
q.appendleft('y')
print(q)

输出：

deque(['y', 'a', 'b', 'c', 'x'])

deque除了实现list的append()和pop()外，还支持appendleft()和popleft()，这样就可以非常高效地往头部添加或删除元素。

defaultdict

使用dict时，如果引用的Key不存在，就会抛出KeyError。如果希望key不存在时，返回一个默认值，就可以用defaultdict：

from collections import defaultdictdd = defaultdict(lambda: 'N/A')
dd['key1'] = 'abc'
print(dd['key1'], dd['key2'])

注意默认值是调用函数返回的，而函数在创建defaultdict对象时传入。

除了在Key不存在时返回默认值，defaultdict的其他行为跟dict是完全一样的。

OrderedDict

使用dict时，Key是无序的。在对dict做迭代时，我们无法确定Key的顺序。

如果要保持Key的顺序，可以用OrderedDict：

from collections import OrderedDictod = OrderedDict([('a', 1), ('b', 2), ('c', 3)])
print(od)

输出：

OrderedDict([('a', 1), ('b', 2), ('c', 3)])

注意，OrderedDict的Key会按照插入的顺序排列，不是Key本身排序：

od = OrderedDict()
od['z'] = 1
od['y'] = 2
od['x'] = 3
list(od.keys()) # 按照插入的Key的顺序返回

输出：

['z', 'y', 'x']

OrderedDict可以实现一个FIFO（先进先出）的dict，当容量超出限制时，先删除最早添加的Key：

from collections import OrderedDictclass LastUpdatedOrderedDict(OrderedDict):def __init__(self, capacity):super(LastUpdatedOrderedDict, self).__init__()self._capacity = capacitydef __setitem__(self, key, value):containsKey = 1 if key in self else 0if len(self) - containsKey >= self._capacity:last = self.popitem(last=False)print('remove:', last)if containsKey:del self[key]print('set:', (key, value))else:print('add:', (key, value))OrderedDict.__setitem__(self, key, value)

ChainMap

ChainMap可以把一组dict串起来并组成一个逻辑上的dict。ChainMap本身也是一个dict，但是查找的时候，会按照顺序在内部的dict依次查找。

什么时候使用ChainMap最合适？举个例子：应用程序往往都需要传入参数，参数可以通过命令行传入，可以通过环境变量传入，还可以有默认参数。我们可以用ChainMap实现参数的优先级查找，即先查命令行参数，如果没有传入，再查环境变量，如果没有，就使用默认参数。

下面的代码演示了如何查找user和color这两个参数：

from collections import ChainMap
import os, argparse# 构造缺省参数:
defaults = {'color': 'red','user': 'guest'
}# 构造命令行参数:
parser = argparse.ArgumentParser()
parser.add_argument('-u', '--user')
parser.add_argument('-c', '--color')
namespace = parser.parse_args()
command_line_args = { k: v for k, v in vars(namespace).items() if v }# 组合成ChainMap:
combined = ChainMap(command_line_args, os.environ, defaults)# 打印参数:
print('color=%s' % combined['color'])
print('user=%s' % combined['user'])

没有任何参数时，打印出默认参数：

python3 use_chainmap.py 
color=red
user=guest

当传入命令行参数时，优先使用命令行参数：

python3 use_chainmap.py -u bob
color=red
user=bob

同时传入命令行参数和环境变量，命令行参数的优先级较高：

user=admin color=green python3 use_chainmap.py -u bob
color=green
user=bob

Counter

Counter是一个简单的计数器，例如，统计字符出现的个数：

rom collections import Counterc = Counter()
for ch in 'programming':c[ch] = c[ch] + 1
print(c)
c.update('hello')	# 也可以一次性update
print(c)

输出：

Counter({'r': 2, 'g': 2, 'm': 2, 'p': 1, 'o': 1, 'a': 1, 'i': 1, 'n': 1})
Counter({'r': 2, 'o': 2, 'g': 2, 'm': 2, 'l': 2, 'p': 1, 'a': 1, 'i': 1, 'n': 1, 'h': 1, 'e': 1})

Counter实际上也是dict的一个子类，上面的结果可以看出每个字符出现的次数。

itertools

Python的内建模块itertools提供了非常有用的用于操作迭代对象的函数。

”无限“迭代器

count

首先，我们看看itertools提供的几个**“无限”迭代器**(包括 count, cycle, repeat)：

import itertoolsnaturals = itertools.count(1)
for n in naturals:print(n, end=' ')

输出：

1 2 3 4 5 6 ...

因为**count()**会创建一个无限的迭代器，所以上述代码会打印出自然数序列，根本停不下来，只能按Ctrl+C退出。

cycle

**cycle()**会把传入的一个序列无限循环重复下去：

import itertoolscs = itertools.cycle('ABC')
for c in cs:print(c, end=' ')

输出：

A B C A B C A B C ...

同样停不下来。

repeat

**repeat()**负责把一个元素无限重复下去，不过如果提供第二个参数就可以限定重复次数：

import itertoolsns = itertools.repeat('A', 3)
for n in ns:print(n, end=' ')

输出：

A A A

无限序列只有在 for 迭代时才会无限地迭代下去，如果只是创建了一个迭代对象，它不会事先把无限个元素生成出来，事实上也不可能在内存中创建无限多个元素，itertools 模块提供的全部是处理迭代功能的函数，它们的返回值不是list，而是 Iterator，只有用 for 循环迭代的时候才真正计算。

几个有用的迭代器操作函数

takewile

无限序列虽然可以无限迭代下去，但是通常我们会通过 takewhile() 等函数根据条件判断来截取出一个有限的序列：

import itertoolsnaturals = itertools.count(1)
ns = itertools.takewhile(lambda x: x<=10, naturals)
for i in ns:print(i, end=' ')

输出：

1 2 3 4 5 6 7 8 9 10

chain

chain() 可以把一组迭代对象串联起来，形成一个更大的迭代器：

import itertoolsfor c in itertools.chain('ABC', 'XYZ'):print(c, end=' ')

输出：

A B C X Y Z

groupby

groupby() 把迭代器中相邻的重复元素挑出来放在一起

import itertoolsfor key, group in itertools.groupby('AAABBBCCAAA'):print(key, list(group))

输出：

A ['A', 'A', 'A']
B ['B', 'B', 'B']
C ['C', 'C']
A ['A', 'A', 'A']如果换成AAABBBCCAAA
则输出：
A ['A', 'A']
D ['D']
A ['A']
B ['B', 'B', 'B']
C ['C', 'C']
A ['A', 'A', 'A']

实际上挑选规则是通过函数完成的，只要作用于函数的两个元素返回的值相等，这两个元素就被认为是在一组的，而函数返回值作为组的key。比如我们要忽略大小写分组，就可以让元素'A'和'a'都返回相同的key：

for key, group in itertools.groupby('AaaBBbcCAAa', lambda c: c.upper()):print(key, list(group))

输出：

A ['A', 'a', 'a']
B ['B', 'B', 'b']
C ['c', 'C']
A ['A', 'A', 'a']

StringIO与BytesIO

StringIO

很多时候，数据读写不一定是文件，也可以在内存中读写。

StringIO顾名思义就是在内存中读写str。

要把str写入StringIO，我们需要先创建一个StringIO，然后，像文件一样写入即可：

from io import StringIO
f = StringIO()
f.write('hello')
f.write(' ')
f.write('world!')
print(f.getvalue())

输出：

hello world!

getvalue()方法用于获得写入后的str。

要读取StringIO，可以用一个str初始化StringIO，然后，像读文件一样读取：

from io import StringIO
f = StringIO('Hello!\nHi!\nGoodbye!')
while True:s = f.readline()if s == '':breakprint(s.strip())

输出：

Hello!
Hi!
Goodbye!

BytesIO

StringIO操作的只能是str，如果要操作二进制数据，就需要使用BytesIO。

BytesIO实现了在内存中读写bytes，我们创建一个BytesIO，然后写入一些bytes：

from io import BytesIO
f = BytesIO()
f.write('中文'.encode('utf-8'))
print(f.getvalue())

输出：

b'\xe4\xb8\xad\xe6\x96\x87'

请注意，写入的不是str，而是经过UTF-8编码的bytes。

和StringIO类似，可以用一个bytes初始化BytesIO，然后，像读文件一样读取：

from io import BytesIO
f = BytesIO(b'\xe4\xb8\xad\xe6\x96\x87')
print(f.read())

输出：

b'\xe4\xb8\xad\xe6\x96\x87'

StringIO和BytesIO是在内存中操作str和bytes的方法，使得和读写文件具有一致的接口。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/532501.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

混合精度训练

混合精度训练

混合精度训练 转自&#xff1a;https://zhuanlan.zhihu.com/p/441591808 通常我们训练神经网络模型的时候默认使用的数据类型为单精度FP32。近年来&#xff0c;为了加快训练时间、减少网络训练时候所占用的内存&#xff0c;并且保存训练出来的模型精度持平的条件下&#xff0…
阅读更多...
拓扑排序C++

拓扑排序C++

拓扑排序C 几个基本概念的介绍 入度和出度 图中的度&#xff1a;所谓顶点的度(degree)&#xff0c;就是指和该顶点相关联的边数。在有向图中&#xff0c;度又分为入度和出度。 入度 (in-degree) &#xff1a;以某顶点为弧头&#xff0c;终止于该顶点的边的数目称为该顶点的…
阅读更多...
C++面试常考题——编译内存相关

C++面试常考题——编译内存相关

C面试常考题——编译内存相关 转自&#xff1a;https://leetcode-cn.com/leetbook/read/cpp-interview-highlights/e4ns5g/ C程序编译过程 编译过程分为四个过程&#xff1a;编译&#xff08;编译预处理、编译、优化&#xff09;&#xff0c;汇编&#xff0c;链接。 编译预处…
阅读更多...
C++遍历删除元素

C++遍历删除元素

C遍历删除元素 转自&#xff1a;http://zencoder.info/2019/10/11/erase-element-from-container/ 今天看到一个patch fix从std::map中遍历删除元素导致crash问题&#xff0c;突然意识到自己对如何正确地从map等C容器中删除元素也没有很牢固清醒的认知。重新梳理了下这块的正…
阅读更多...
关键字库函数

关键字库函数

关键字库函数 转自&#xff1a;https://leetcode-cn.com/leetbook/read/cpp-interview-highlights/ej3mx1/ sizeof和strlen的区别 strlen 是头文件<cstring> 中的函数&#xff0c;sizeof 是 C 中的运算符。 strlen 测量的是字符串的实际长度&#xff08;其源代码如下&…
阅读更多...
memcpy和memmove的区别以及内存重叠问题

memcpy和memmove的区别以及内存重叠问题

memcpy和memmove的区别以及内存重叠问题 转自&#xff1a;https://www.codecomeon.com/posts/89/ 区别 memcpy() 和 memmove() 都是C语言中的库函数&#xff0c;在头文件 string.h 中&#xff0c;作用是拷贝一定长度的内存的内容&#xff0c;原型分别如下&#xff1a; void…
阅读更多...
从头搭建一个深度学习框架

从头搭建一个深度学习框架

从头搭建一个深度学习框架 转自&#xff1a;Build a Deep Learning Framework From Scratch 代码&#xff1a;https://github.com/borgwang/tinynn 当前深度学习框架越来越成熟&#xff0c;对于使用者而言封装程度越来越高&#xff0c;好处就是现在可以非常快速地将这些框架作为…
阅读更多...
关于python import的sys.path路径问题

关于python import的sys.path路径问题

关于python import的sys.path路径问题 sys.path 先说一下 sys.path 这个变量&#xff0c;该变量需要导入 sys 官方库方可使用&#xff0c;它是一个列表&#xff0c;是当前 python 文件 import 库时会逐个搜索列表中的路径。 初始化 sys.path 从这些位置初始化&#xff1a; …
阅读更多...
python pdb调试基本命令整理

python pdb调试基本命令整理

python pdb调试基本命令整理 使用简介 启动调试 侵入式 在 py 文件内部设置&#xff1a; import pdb; pdb.set_trace()程序会在运行到这一行时停下来&#xff0c;进入 pdb 交互。 非侵入式 在运行 py 脚本时&#xff1a; python -m pdb main.py程序会在一启动时就进入 pdb 交…
阅读更多...
Docker概念理解

Docker概念理解

Docker概念理解 本文非Docker命令大全&#xff0c;而是对Docker的概念、原理等作说明&#xff0c;适合有一定实操经验后来加深理解。 转自&#xff1a;docker从入门到实践 Docker简介 本章将带领你进入 Docker 的世界。 什么是 Docker&#xff1f; 用它会带来什么样的好处&a…
阅读更多...
Dockerfile详解

Dockerfile详解

Dockerfile详解 转自&#xff1a;https://yeasy.gitbook.io/docker_practice/ 使用Dockerfile定制镜像 从刚才的 docker commit 的学习中&#xff0c;我们可以了解到&#xff0c;镜像的定制实际上就是定制每一层所添加的配置、文件。如果我们可以把每一层修改、安装、构建、操…
阅读更多...
Dockerfile最佳实践

Dockerfile最佳实践

Dockerfile最佳实践 本文是原作者对 Docker 官方文档中 Best practices for writing Dockerfiles 的理解与翻译。 转自&#xff1a;附录四&#xff1a;Dockerfile 最佳实践 一般性指南和建议 容器应该是短暂的 通过 Dockerfile 构建的镜像所启动的容器应该尽可能短暂&#xf…
阅读更多...
Linux内存背后的那些神秘往事

Linux内存背后的那些神秘往事

Linux内存背后的那些神秘往事 作者&#xff1a;大白斯基&#xff08;公众号&#xff1a;后端研究所&#xff09; 转自&#xff1a;https://mp.weixin.qq.com/s/l_YdpyHht5Ayvrc7LFZNIA 前言 大家好&#xff0c;我的朋友们&#xff01; CPU、IO、磁盘、内存可以说是影响计算机…
阅读更多...
mmdeploy快速上手

mmdeploy快速上手

mmdeploy快速上手 若要将使用 openmmlab 的框架&#xff08;如mmdet、mmcls&#xff09;等训练的模型进行快速部署&#xff0c;同样来自 openmmlab 的 mmdeploy 无疑是最合适的选择&#xff0c;本文将简单地完成一个 Faster RCNN 模型的部署。 配置 本文基于如下软硬件配置&…
阅读更多...
精简CUDA教程——CUDA Driver API

精简CUDA教程——CUDA Driver API

精简CUDA教程——CUDA Driver API tensorRT从零起步迈向高性能工业级部署&#xff08;就业导向&#xff09; 课程笔记&#xff0c;讲师讲的不错&#xff0c;可以去看原视频支持下。 Driver API概述 CUDA 的多级 API CUDA 的 API 有多级&#xff08;下图&#xff09;&#xff…
阅读更多...
CUDA编程入门极简教程

CUDA编程入门极简教程

CUDA编程入门极简教程 转自&#xff1a;CUDA编程入门极简教程 作者&#xff1a;小小将 前言 2006年&#xff0c;NVIDIA公司发布了CUDA&#xff0c;CUDA是建立在NVIDIA的CPUs上的一个通用并行计算平台和编程模型&#xff0c;基于CUDA编程可以利用GPUs的并行计算引擎来更加高效地…
阅读更多...
精简CUDA教程——CUDA Runtime API

精简CUDA教程——CUDA Runtime API

精简CUDA教程——CUDA Runtime API tensorRT从零起步迈向高性能工业级部署&#xff08;就业导向&#xff09; 课程笔记&#xff0c;讲师讲的不错&#xff0c;可以去看原视频支持下。 Runtime API 概述 环境 图中可以看到&#xff0c;Runtime API 是基于 Driver API 之上开发的…
阅读更多...
Python并发——concurrent.futures梳理

Python并发——concurrent.futures梳理

Python并发——concurrent.futures梳理 参考官方文档&#xff1a; concurrent.futures — 启动并行任务 Executor对象 class concurrent.funtures.Executor该抽象类是 ThreadPoolExecutor 和 ProcessPoolExecutor 的父类&#xff0c;提供异步执行调用方法。要通过它的子类调用…
阅读更多...
TensorRT ONNX 基础

TensorRT ONNX 基础

TensorRT ONNX 基础 tensorRT从零起步迈向高性能工业级部署&#xff08;就业导向&#xff09; 课程笔记&#xff0c;讲师讲的不错&#xff0c;可以去看原视频支持下。 概述 TensorRT 的核心在于对模型算子的优化&#xff08;合并算子、利用当前 GPU 特性选择特定的核函数等多种…
阅读更多...
回文子串、回文子序列相关题目

回文子串、回文子序列相关题目

回文子串、回文子序列相关题目 回文子串是要连续的&#xff0c;回文子序列可不是连续的。 516. 最长回文子序列 dp数组含义&#xff1a;dp[i][j]dp[i][j]dp[i][j] 表示子序列 s[i,j]s[i,j]s[i,j] 中的最长回文子序列的长度。 dp数组初始化&#xff1a;子序列长度为 1 时&am…
阅读更多...
最新文章

Copyright @ 2022~2023