Python使用Numba装饰器进行加速

Python使用Numba装饰器进行加速

  • 前言
  • 前提条件
  • 相关介绍
  • 实验环境
  • Numba装饰器进行加速
    • 未加速的代码
      • 输出结果
    • @numba.jit加速的代码
      • 输出结果

在这里插入图片描述

前言

  • 由于本人水平有限,难免出现错漏,敬请批评改正。
  • 更多精彩内容,可点击进入Python日常小操作专栏、OpenCV-Python小应用专栏、YOLO系列专栏、自然语言处理专栏或我的个人主页查看
  • 基于DETR的人脸伪装检测
  • YOLOv7训练自己的数据集(口罩检测)
  • YOLOv8训练自己的数据集(足球检测)
  • YOLOv5:TensorRT加速YOLOv5模型推理
  • YOLOv5:IoU、GIoU、DIoU、CIoU、EIoU
  • 玩转Jetson Nano(五):TensorRT加速YOLOv5目标检测
  • YOLOv5:添加SE、CBAM、CoordAtt、ECA注意力机制
  • YOLOv5:yolov5s.yaml配置文件解读、增加小目标检测层
  • Python将COCO格式实例分割数据集转换为YOLO格式实例分割数据集
  • YOLOv5:使用7.0版本训练自己的实例分割模型(车辆、行人、路标、车道线等实例分割)
  • 使用Kaggle GPU资源免费体验Stable Diffusion开源项目

前提条件

  • 熟悉Python

相关介绍

  • Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越多被用于独立的、大型项目的开发。
  • Python是一种非常流行和强大的编程语言,它有很多优点,比如简洁、易读、灵活、跨平台、丰富的库等。但是,Python也有一些缺点,其中之一就是运行速度相对较慢。
  • Python为什么慢呢?这主要有以下几个原因:
    • Python是一种解释型语言,也就是说,它的代码在运行时才被解释器转换成机器语言,而不是像编译型语言那样,提前编译成可执行文件。这样就增加了运行时的开销,降低了执行效率。
    • Python使用了动态类型,也就是说,它的变量在运行时才确定类型,而不是像静态类型那样,提前声明类型。这样就增加了运行时的类型检查和转换,降低了执行效率。
    • Python使用了全局解释器锁(GIL),也就是说,它的多线程在同一时刻只能有一个线程执行,而不是像多核处理器那样,可以并行执行多个线程。这样就限制了Python的并发能力,降低了执行效率。
  • Python的运行速度可以通过一些方法进行优化和加速,比如:
    • 使用PyPy,这是一种基于JIT(即时编译)技术的Python解释器,它可以在运行时动态编译Python代码,提高执行效率。
    • 使用Numba,这是一种基于LLVM(低级虚拟机)技术的Python库,它可以将Python函数编译成机器码,提高执行效率。
    • 使用Cython,这是一种基于C语言的Python扩展,它可以将Python代码转换成C代码,提高执行效率。
    • 使用多进程,这是一种利用多核处理器的并行计算方法,它可以创建多个进程,避免GIL的限制,提高执行效率。
  • Numba是一个用于Python的开源即时编译器,它可以将Python代码编译为机器代码,从而提高Python代码的执行速度。
  • Numba的优缺点:
    • 优点:
      • Numba可以显著提高Python代码的执行速度,特别是在处理大量数据时。
      • Numba使用LLVM(低级虚拟机)技术将Python函数编译成机器码,从而避免了Python解释器的性能瓶颈。
      • Numba可以通过使用JIT(Just-In-Time)编译技术,将Python代码转换为机器代码,即当你调用Python函数时,你的全部或部分代码就会被转换为“即时”执行的机器码,它将以你的本地机器码速度运行,从而避免了Python解释器的性能瓶颈。
      • Numba支持多种CPU架构和操作系统,包括x86、ARM和PowerPC。
      • Numba可以与NumPy和SciPy等科学计算库无缝集成。
    • 缺点:
      • Numba只能加速一部分Python代码,例如数值计算密集型代码,而对于I/O密集型代码,Numba的加速效果不明显。
      • Numba需要对代码进行修改,以便使用其加速功能,这可能需要一些额外的工作。
      • Numba的性能取决于代码的质量和结构,因此需要一定的编程经验和技能。
  • 以下是一个简单的numba加速例子,它比较了使用numba和不使用numba的情况下,计算斐波那契数列的第n项的时间消耗。
import time
import numbaimport warnings
warnings.filterwarnings('ignore')# 不使用numba的函数
def fib(n):if n < 2:return nreturn fib(n-1) + fib(n-2)# 使用numba的函数
@numba.jit
def fib_numba(n):if n < 2:return nreturn fib_numba(n-1) + fib_numba(n-2)# 测试两个函数的运行时间
n = 40
start = time.time()
fib(n)
end = time.time()
print(f'不使用numba的时间:{end - start}秒')start = time.time()
fib_numba(n)
end = time.time()
print(f'使用numba的时间:{end - start}秒')
不使用numba的时间:15.397910833358765秒
使用numba的时间:0.731497049331665秒

实验环境

  • Python 3.x (面向对象的高级语言)
  • Numba 0.58.1(Python第三方库)pip install numba -i https://pypi.tuna.tsinghua.edu.cn/simple
    在这里插入图片描述

Numba装饰器进行加速

未加速的代码

import timedef one_cycle():num = 0  for i in range(1, 1000000):  num +=ireturn numdef double_cycle():num = 0 for i in range(1000):  for j in range(1000):num +=i*jreturn num  def triple_cycle():num = 0for i in range(100):  for j in range(100):  for k in range(100):num += i*j*kreturn num        if __name__=="__main__":start_time = time.time()for i in range(100):one_cycle()end_time = time.time()print("one_cycle函数运行时间:",(end_time-start_time)/100)start_time = time.time()for i in range(100):double_cycle()end_time = time.time()print("double_cycle函数运行时间:",(end_time-start_time)/100)start_time = time.time()for i in range(100):triple_cycle()end_time = time.time()print("triple_cycle函数运行时间:",(end_time-start_time)/100)

输出结果

one_cycle函数运行时间: 0.021781625747680663
double_cycle函数运行时间: 0.031956143379211426
triple_cycle函数运行时间: 0.042625854015350344

@numba.jit加速的代码

import time
import numbaimport warnings
warnings.filterwarnings('ignore')@numba.jit
def one_cycle():num = 0  for i in range(1, 1000000):  num +=ireturn num@numba.jit
def double_cycle():num = 0 for i in range(1000):  for j in range(1000):num +=i*jreturn num  @numba.jit
def triple_cycle():num = 0for i in range(100):  for j in range(100):  for k in range(100):num += i*j*kreturn num        if __name__=="__main__":start_time = time.time()for i in range(100):one_cycle()end_time = time.time()print("one_cycle函数运行时间:",(end_time-start_time)/100)start_time = time.time()for i in range(100):double_cycle()end_time = time.time()print("double_cycle函数运行时间:",(end_time-start_time)/100)start_time = time.time()for i in range(100):triple_cycle()end_time = time.time()print("triple_cycle函数运行时间:",(end_time-start_time)/100)

输出结果

one_cycle函数运行时间: 0.002056455612182617
double_cycle函数运行时间: 0.00046929597854614255
triple_cycle函数运行时间: 0.0007887816429138183
  • 由于本人水平有限,难免出现错漏,敬请批评改正。
  • 更多精彩内容,可点击进入Python日常小操作专栏、OpenCV-Python小应用专栏、YOLO系列专栏、自然语言处理专栏或我的个人主页查看
  • 基于DETR的人脸伪装检测
  • YOLOv7训练自己的数据集(口罩检测)
  • YOLOv8训练自己的数据集(足球检测)
  • YOLOv5:TensorRT加速YOLOv5模型推理
  • YOLOv5:IoU、GIoU、DIoU、CIoU、EIoU
  • 玩转Jetson Nano(五):TensorRT加速YOLOv5目标检测
  • YOLOv5:添加SE、CBAM、CoordAtt、ECA注意力机制
  • YOLOv5:yolov5s.yaml配置文件解读、增加小目标检测层
  • Python将COCO格式实例分割数据集转换为YOLO格式实例分割数据集
  • YOLOv5:使用7.0版本训练自己的实例分割模型(车辆、行人、路标、车道线等实例分割)
  • 使用Kaggle GPU资源免费体验Stable Diffusion开源项目

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/137365.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

效率提升75%!要做矩阵号,更要做好矩阵号管理

在如今的信息数字化时代&#xff0c;面对竞争日趋激烈的市场&#xff0c;数字化转型成为了企业提高效率和竞争力、实现可持续发展的重要手段。 这一两年来&#xff0c;我们也发现&#xff0c;越来越多的品牌企业开始探索数字化转型的实践&#xff0c;通过使用自建或者采买的数据…

node插件MongoDB(四)—— 库mongoose 的个性话读取(字段筛选、数据排序、数据截取)(四)

文章目录 一、字段筛选二、数据排序三、数据截取1. skip 跳过2. limit 限定![在这里插入图片描述](https://img-blog.csdnimg.cn/c7067b1984ee4c6686f8bbe07cae9176.png) 一、字段筛选 字段筛选&#xff1a;只读取指定的数据&#xff0c;比如集合&#xff08;表&#xff09;中有…

uniapp:打包ios配置隐私协议框

使用uniapp打包ios 上架商店需要配置隐私协议政策弹窗。当用户点击确定后才能继续操作。 首先manifest.json中配置使用原生隐私政策提示框是不支持ios的。不用勾选。 解决思路&#xff1a; 1、新建页面&#xff1a;iosLogin.vue&#xff0c;pages.json中 这个页面需要放在第一…

MacOS升级后命令行出现xcrun: error: invalid active developer path报错信息

在Mac上用g编译cpp文件时&#xff0c;出现以下&#xff08;类似于工具环境问题的&#xff09;报错&#xff1a; 解决方案&#xff1a;重新安装最新版的MacOS Command Line Tools xcode-select --install重新尝试编译&#xff1a; 编译成功&#xff08;忽略这个warning&…

Kotlin基本语法

以下内容摘自郭霖《第一行代码》第三版 文章目录 Kotlin变量Kotlin循环语句Kotlin条件语句Kotlin继承Kotlin主构造函数与次构造函数Kotlin实现Kotlin函数的可见性修饰符Kotlin data关键字Kotlin单例模式Kotlin List集合Kotlin Set集合Kotlin Map映射Kotlin Lamda表达式Kotlin …

GPT最佳实践:五分钟打造你自己的GPT

前几天OpenAI的My GPTs栏目还是灰色的&#xff0c;就在今天已经开放使用了。有幸第一时间体验了一把生成自己的GPT&#xff0c;效果着实惊艳&#xff01;&#xff01;&#xff01;我打造的GPT模型我会放到文章末尾&#xff0c;大家感兴趣也可以自己体验一下。 打造自己的GPT模型…

k8s metadata.labels,spec.template.metadata.labels,spec.selector 三者之间的关系。

在 Kubernetes 配置文件中&#xff0c;metadata.labels 和 spec.selector 通常在一起使用&#xff0c;。他们起着不同的作用&#xff1a; metadata.labels&#xff1a;这些标签&#xff08;labels&#xff09;附加在你创建的对象&#xff08;例如 Pod、Service、或 Deployment&…

Linux学习之进程三

目录 进程控制 fork函数 什么是写时拷贝 进程终止 mian函数的返回值 退出码 错误码 exit() 进程等待 1.什么是进程等待&#xff1f; 2.为什么要进行进程等待&#xff1f; 3.如何进程进程等待&#xff1f; wait&#xff0c;waitpid&#xff1a; waitpid 进程替换 …

leaflet

Leaflet 是一个为建设移动设备友好的互动地图&#xff0c;而开发的现代的、开源的 JavaScript 库。它是由 Vladimir Agafonkin 带领一个专业贡献者团队开发&#xff0c;虽然代码仅有 33 KB&#xff0c;但它具有开发人员开发在线地图的大部分功能。 leafLet入门教程兼leafLet A…

Flink—— Flink Data transformation(转换)

Flink数据算子转换有很多类型&#xff0c;各位看官看好&#xff0c;接下来&#xff0c;演示其中的十八种类型。 1.Map&#xff08;映射转换&#xff09; DataStream → DataStream 将函数作用在集合中的每一个元素上,并返回作用后的结果&#xff0c;其中输入是一个数据流&…

Kibana Dashboard饼图展示keyword子字符串去重统计

日志内容 log.info("请求开始 uri: {} header RequestId:{}", request.getRequestURI(), reqId, request.getHeader("request_id"));操作步骤 进入Dashboard菜单 点击Create Dashboard按钮 点击Create Panel按钮 选择Aggregation based 然后选择Pie饼图 …

【JAVA】字符截取包含中文字符情况

问题 需求:给定一个中英文字符串&#xff0c;截取固定长度后存储数据 情况&#xff1a;中文占用2个字节,英文1个 //org.apache.commons.lang3.StringUtils.substring(columnVal, 0, lenMax)public static String substring(String str, int start, int end) {if (str null) {…

开源论道 源聚一堂@COSCon

自2015年以来&#xff0c;开源高峰论坛一直是中国开源年会中的传统亮点项目。本次在COSCon23 大会期间的高峰圆桌会&#xff0c;于2023年10月29日在成都高新区的菁蓉汇召开。 本次高峰圆桌上&#xff0c;我们特别邀请了20 位来自企业&#xff0c;基金会和社区的专家和领袖参加讨…

京东数据分析:2023年10月京东洗衣机行业品牌销售排行榜

鲸参谋监测的京东平台10月份洗衣机市场销售数据已出炉&#xff01; 10月份&#xff0c;洗衣机市场整体销售呈上升走势。鲸参谋数据显示&#xff0c;今年10月&#xff0c;京东平台洗衣机市场的销量为143万&#xff0c;环比增长约23%&#xff0c;同比增长约1%&#xff1b;销售额约…

AI:76-基于机器学习的智能城市交通管理

🚀 本文选自专栏:AI领域专栏 从基础到实践,深入了解算法、案例和最新趋势。无论你是初学者还是经验丰富的数据科学家,通过案例和项目实践,掌握核心概念和实用技能。每篇案例都包含代码实例,详细讲解供大家学习。 📌📌📌在这个漫长的过程,中途遇到了不少问题,但是…

物联网AI MicroPython学习之语法 ustruct 打包和解压原始数据类型

学物联网&#xff0c;来万物简单IoT物联网&#xff01;&#xff01; ustruct 介绍 ustruct提供打包和解压原始数据类型的功能。 默认情况下&#xff0c;C类型以机器的本机格式和字节顺序表示&#xff0c;并在必要时通过跳过填充字节来正确对齐&#xff08;根据C编译器使用的规…

Ubuntu 20.04 中配置NFS服务

NFS是Network File System的首字母缩写。它是一种分布式协议&#xff0c;使客户端可以访问远程服务器上的共享文件。 1、安装NFS服务端 $ sudo apt install nfs-kernel-server 检查nfs-server是否已经启动 $ sudo systemctl status nfs-server 2、创建NFS共享目录 下一步…

STL常用库函数复习

文章目录 pairvectorliststackqueuequeuepriority_queuequeue双端队列 set✨set集合✨multiset 多重集合了解&#xff1a;unordered_set 无序集合 map&#x1f31f;map几乎不用&#xff1a;multimap一般不用&#xff1a;undered_map pair utility示例 #include <iostream&…

DAY48 121. 买卖股票的最佳时机 + 122.买卖股票的最佳时机II

121. 买卖股票的最佳时机 题目要求&#xff1a; 给定一个数组 prices &#xff0c;它的第 i 个元素 prices[i] 表示一支给定股票第 i 天的价格。 你只能选择某一天买入这只股票&#xff0c;并选择在未来的某一个不同的日子卖出该股票。设计一个算法来计算你所能获取的最大利润…

调用API接口获取淘宝商品评论:方法与实战

一、引言 淘宝作为中国最大的电商平台之一&#xff0c;提供了丰富的商品信息和用户评价数据。对于开发者、数据分析师或电商从业者来说&#xff0c;获取淘宝商品评论数据具有重要的应用价值。本文将详细介绍如何调用淘宝API接口来获取商品评论数据&#xff0c;并给出相应的代码…