10分钟掌握Python缓存,效率提升1000%

全文速览

  • python的不同缓存组件的使用场景和使用样例
  • cachetools的使用

项目背景

代码检查项目,需要存储每一步检查的中间结果,最终把结果汇总并写入文件中

在中间结果的存储中

  • 可以使用context进行上下文的传递,但是整体对代码改动比较大,违背了开闭原则
  • 也可以利用缓存存储,处理完成之后再统一读缓存并写入文件

在权衡了不同方案后,我决定采用缓存来存储中间结果。接下来,我将探讨 Python 中可用缓存组件。

python缓存分类

决定选择缓存,那么python中都有哪些类型的缓存呢?

1. 使用内存缓存(如 functools.lru_cache

这是最简单的一种缓存方法,适用于小规模的数据缓存。使用 functools.lru_cache 可以对函数结果进行缓存。

from functools import lru_cache@lru_cache(maxsize=128)
def expensive_function(param1, param2):# 进行一些耗时的操作return result

2. 使用本地文件缓存(如 diskcache

如果缓存的数据较大,或者需要跨进程共享缓存,可以使用文件系统缓存库,例如 diskcache

import diskcache as dccache = dc.Cache('/tmp/mycache')@cache.memoize(expire=3600)
def expensive_function(param1, param2):# 进行一些耗时的操作return result

3. 使用分布式缓存(如 Redis)

对于需要跨多个应用实例共享缓存的数据,可以使用 Redis 这样的分布式缓存系统。

import redis
import pickler = redis.StrictRedis(host='localhost', port=6379, db=0)def expensive_function(param1, param2):key = f"{param1}_{param2}"cached_result = r.get(key)if cached_result:return pickle.loads(cached_result)result = # 进行一些耗时的操作r.set(key, pickle.dumps(result), ex=3600)  # 设置缓存过期时间为1小时return result

总结

如果只是简单的小规模缓存,lru_cache 足够;如果需要持久化或分布式缓存,可以考虑使用 diskcache 或 Redis;如果使用了 Web 框架,使用框架自带的缓存功能会更方便。

python内存缓存分类

兼顾速度和成本以及实现的复杂度,最终决定使用内存缓存,在 Python 中,内存缓存组件有许多选择,每种都有其特定的优点和适用场景。以下是一些常见的内存缓存组件:

1. functools.lru_cache

lru_cache 是 Python 标准库中的一个装饰器,用于缓存函数的返回结果,基于最近最少使用(LRU)策略。

from functools import lru_cache@lru_cache(maxsize=128)
def expensive_function(param1, param2):# 进行一些耗时的操作return result

2. cachetools

cachetools 是一个第三方库,提供了多种缓存策略,包括 LRU、LFU、TTL(基于时间的缓存)等。

from cachetools import LRUCache, cachedcache = LRUCache(maxsize=100)@cached(cache)
def expensive_function(param1, param2):# 进行一些耗时的操作return result

3. django.core.cache

如果使用 Django 框架,Django 自带了缓存框架,支持多种缓存后端,包括内存缓存。

settings.py 中配置内存缓存:

CACHES = {'default': {'BACKEND': 'django.core.cache.backends.locmem.LocMemCache','LOCATION': 'unique-snowflake',}
}

4. Flask-Caching

如果使用 Flask 框架,Flask-Caching 插件可以方便地实现内存缓存。

from flask import Flask
from flask_caching import Cacheapp = Flask(__name__)
cache = Cache(app, config={'CACHE_TYPE': 'simple'})@app.route('/expensive')
@cache.cached(timeout=60)
def expensive_function():# 进行一些耗时的操作return result

5. requests_cache

requests_cache 是一个专门用于缓存 HTTP 请求的库,支持多种缓存后端,包括内存缓存。

import requests
import requests_cacherequests_cache.install_cache('demo_cache', backend='memory', expire_after=3600)response = requests.get('https://api.example.com/data')

6. dogpile.cache

dogpile.cache 是一个更高级的缓存库,提供了灵活的缓存后端和缓存失效策略。

from dogpile.cache import make_regionregion = make_region().configure('dogpile.cache.memory',expiration_time=3600
)@region.cache_on_arguments()
def expensive_function(param1, param2):# 进行一些耗时的操作return result

7. joblib.Memory

joblib.Memory 常用于科学计算和数据处理领域,用于缓存函数的计算结果。

from joblib import Memorymemory = Memory(location='/tmp/joblib_cache', verbose=0)@memory.cache
def expensive_function(param1, param2):# 进行一些耗时的操作return result

总结

根据具体需求和使用场景选择合适的内存缓存组件。对于简单的缓存需求,可以使用 functools.lru_cachecachetools。对于 Web 应用,django.core.cacheFlask-Caching 是不错的选择。对于 HTTP 请求缓存,可以使用 requests_cache。对于科学计算,joblib.Memory 是一个好选择。

cachetools使用

我的项目是一个命令行执行的项目,综合考量最终决定选择cachetools

  1. 安装 cachetools
pip install cachetools
  1. 实现缓存工具类
from cachetools import LRUCache
from cachetools import Cache
from siada.cr.logger.logger import loggerclass CacheUtils:"""缓存工具类"""def __init__(self, cache: Cache = None):self.cache = cache if cache else LRUCache(maxsize=100)def get_value(self, cache_key: str):value = self.cache.get(cache_key, None)if value is not None:logger.info(f"Cache hit for key: {cache_key}")else:logger.info(f"Cache miss for key: {cache_key}")return valuedef set_key_value(self, cache_key: str, value):self.cache[cache_key] = valuelogger.info(f"Set cache key: {cache_key} with value: {value}")def set_key_list(self, cache_key: str, value):v = self.cache.get(cache_key, None)if v is not None:v.append(value)else:self.cache[cache_key] = [value]def clear_cache(self):self.cache.clear()# TODO 如果后续生成过程改为多线程并发,需考虑数据竞争问题
cache = CacheUtils()

更多惊喜

我还将定期分享:

  • 最新互联网资讯:让你时刻掌握行业动态。

  • AI前沿新闻:紧跟技术潮流,不断提升自我。

  • 技术分享与职业发展:助你在职业生涯中走得更远、更稳。

  • 程序员生活趣事:让你在忙碌的工作之余找到共鸣与乐趣。

关注回复【1024】惊喜等你来拿!

点击查看惊喜

敬请关注【程序员世杰】

点击关注程序员世杰

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/34461.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux系统中文件权限详解

一、Linux文件权限设计 Linux系统中任何内容都可以用文件表示,其对文件设计了一套权限进行管理;文件权限共有11个字符,从左向右共分为5段(每段的具体说明如下表Linux权限设计说明所示): Linux权限设计说明 …

揭秘:企业如何防盗版软件

在当前的数字化时代,软件盗版问题一直困扰着软件开发者和企业。为了维护软件的合法权益,保护创新成果,许多企业采取了各种技术手段来防止软件被非法复制和分发。其中,白名单机制作为一种有效的防盗版软件手段,被广泛采…

Transformer模型:革新序列到序列任务的深度学习范式

在深度学习领域,序列到序列(Seq2Seq)任务是一类重要的问题,涉及到将一个序列转换为另一个序列的过程,如机器翻译、文本摘要、对话生成等。传统的序列到序列模型,如循环神经网络(RNN)…

vue2面试题——vuex

1. Vuex有哪些属性 state > 全局共享属性 getters > 针对于state数据进行二次计算 mutations > 存放同步方法的 actions > 存放异步方法的,并且是用来提交mutations的 modules > 把vuex再次进行模块的划分(进行细分,便于项目的…

查看哪个docker环境在占用gpu

前言 有时候发现某些docker占用gpu资源却没有训练,需要查清楚是哪个并且把它stop掉。 方法 在docker里面用nvidia-smi命令,没有pid显示,需要在外面使用。得到pid信息后,使用命令 docker top 15766f6eeaf7(容器ID) | grep 551…

gin框架中使用session的详细步骤和示例

gin框架中的Session是通过中间件Middleware的方式来使用的, 官方的gin-contrib提供了session包(通过对github.com/gorilla/sessions的二次封装实现),我们可以直接使用即可, session支持的存储方式有如下多种&#xff1…

书酒共舞:品味文字之韵,沉醉酒香之境

在喧嚣的都市中,我们常常渴望找到一片宁静的角落,让心灵得到片刻的休憩。此刻,一杯雷盛红酒与一本心仪的书籍,便成了很好的伴侣,它们相互映衬,共同编织出一幅优雅的画卷,让我们在品味中感受文字…

分支策略指南 | 发布分支、基于主干的分支、功能分支等常见分支策略利弊分析、版本控制工具Perforce Helix Core全新轻量级分支功能解析

对于希望加快工作流程、按时完成任务并减少代码错误的团队来说,拥有专用的分支策略至关重要。但是,面对各种不同的分支策略(包括发布分支、基于主干的分支、功能分支等),如何确定哪一种分支策略更符合团队需求&#xf…

第十六站:Java珊瑚红——Web开发的活力之源

Java在Web开发领域扮演着极其重要的角色,其生态系统提供了多种技术来构建高效、可维护的Web应用程序。下面我们将通过源代码示例,来探讨Servlet、JSP、Spring MVC和RESTful API在Java Web开发中的应用。 Servlet Servlet是Java EE规范的一部分&#xf…

数据处理神器Elasticsearch_Pipeline:原理、配置与实战指南

文章目录 📑引言一、Elasticsearch Pipeline的原理二、Elasticsearch Pipeline的使用2.1 创建 Pipeline2.2 使用 Pipeline 进行索引2.3 常用的 Processor 三、实际应用场景3.1 日志数据处理3.2 数据清洗和标准化3.3 数据增强 四、最佳实践4.1 性能优化4.2 错误处理4…

Java面试题:Redis为什么速度快

Redis为什么速度快 Redis是纯内存操作 采用单线程,避免不必要的上下文切换可竞争条件 多线程还要考虑线程的安全问题 使用I/O多路复用模型,非阻塞IO I/O多路复用模型 因为Redis是纯内存操作,执行速度非常快,性能的瓶颈是网络延迟而非执行速度 I/O多路复用模型主要就是实…

全球视角下的网络安全法规

在全球范围内,网络安全法规的发展已成为各国政府关注的焦点。随着互联网的快速发展和信息技术的广泛应用,网络安全问题日益凸显,为此,各国纷纷出台了相应的网络安全法律法规,以应对不断演变的网络威胁并维护网络空间的…

Fusion WAN:企业出海与全球组网的数字网络底座

众多中国企业与品牌正将目光投向海外市场,积极寻求发展新机遇,并且在这一过程中取得了显著的成果。"出海"战略已经成为一些企业转型升级的关键选择。 随着国内市场的竞争日益激烈,越来越多的企业开始寻求海外市场的拓展&#xff0c…

@NestedConfigurationProperty注解嵌入配置类不生效

问题 在SmsProperties中嵌入AliyunSmsProperties,在代码中通过SmsProperties读取AliyunSmsProperties的配置为null导致无法启动。两个配置类如下: Data ConfigurationProperties(prefix "sms") public class SmsProperties {NestedConfigur…

11年之约 聚焦上海 | 亚信科技邀您相约2024 MWC上海展

关于亚信安慧AntDB数据库 AntDB数据库始于2008年,在运营商的核心系统上,服务国内24个省市自治区的数亿用户,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行超十年&a…

深入理解PHP命名空间

在PHP项目中,命名空间(namespace)是一个非常重要的特性。它不仅帮助开发者组织代码,还能避免类、函数、常量等命名冲突问题。本文将详细介绍PHP命名空间的概念、使用方法和最佳实践。 一、什么是命名空间? 命名空间…

淘客返利平台的前端架构与优化

淘客返利平台的前端架构与优化 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿! 在当前互联网时代,淘客返利平台已经成为电商生态的重要组成部分。为…

windows@局域网或蓝牙文件传输@共享文件夹@就近共享

文章目录 windows系统下的简单共享文件方案👺就近共享设置共享文件夹(推荐)方法1:使用shrpubw程序引导创建方法2:使用图形界面创建右键设置共享文件夹 查看所有已经共享的文件夹👺停止某个文件的共享 共享文件夹的访问控制补充匿名访问问题😊…

10个国内免费AI绘画网站汇总【2024最新】

迎战MidJourney和Stable Diffusion:10款国产AI绘画神器,让你轻松创作出超凡艺术品!不论你是初学者还是资深艺术家,这些AI绘画平台都能帮你轻松入门。快来探索这些AI绘画网站,释放你的创意潜能! 1、AI绘画创…

MapStruct参数拷贝

我们先看看前面的部分代码 Override public UserDto getUserById(Integer userId) {User user userDaoService.getById(userId);UserDto userDto new UserDto();BeanUtils.copyProperties(user, userDto);return userDto; } 我们上面代码里面可以看到,处理参数和…