python 基准测试(cProfile \ kcachegrind \ line_profiler \ memory_profiler)

learn from 《Python高性能(第2版)》

类似工具:pycharm profile对函数调用效率进行测试

1. 例子

一个圆周运动的动画

from matplotlib import pyplot as plt
from matplotlib import animation
from random import uniform
import timeitclass Particle:__slots__ = ('x', 'y', 'ang_speed')# 声明成员只允许这么多,不能动态添加,当生成大量实例时,可以减少内存占用def __init__(self, x, y, ang_speed):self.x = xself.y = yself.ang_speed = ang_speedclass ParticleSimulator:def __init__(self, particles):self.particles = particlesdef evolve(self, dt):timestep = 0.00001nsteps = int(dt / timestep)for i in range(nsteps):for p in self.particles:norm = (p.x ** 2 + p.y ** 2) ** 0.5v_x = (-p.y) / normv_y = p.x / normd_x = timestep * p.ang_speed * v_xd_y = timestep * p.ang_speed * v_yp.x += d_xp.y += d_ydef visualize(simulator):X = [p.x for p in simulator.particles]Y = [p.y for p in simulator.particles]fig = plt.figure()ax = plt.subplot(111, aspect='equal')line, = ax.plot(X, Y, 'ro')# Axis limitsplt.xlim(-1, 1)plt.ylim(-1, 1)# It will be run when the animation startsdef init():line.set_data([], [])return line,def animate(i):# We let the particle evolve for 0.1 time unitssimulator.evolve(0.01)X = [p.x for p in simulator.particles]Y = [p.y for p in simulator.particles]line.set_data(X, Y)return line,# Call the animate function each 10 msanim = animation.FuncAnimation(fig,animate,init_func=init,blit=True,interval=10)plt.show()def test_visualize():particles = [Particle(0.3, 0.5, +1),Particle(0.0, -0.5, -1),Particle(-0.1, -0.4, +3),Particle(-0.2, -0.8, +3),]simulator = ParticleSimulator(particles)visualize(simulator)if __name__ == '__main__':test_visualize()

在这里插入图片描述

2. 运行耗时测试

linux time 命令

def benchmark():particles = [Particle(uniform(-1.0, 1.0),uniform(-1.0, 1.0),uniform(-1.0, 1.0))for i in range(100)]simulator = ParticleSimulator(particles)# visualize(simulator)simulator.evolve(0.1)if __name__ == '__main__':benchmark()

生成100个实例,模拟 0.1 秒

在 linux 中进行测试耗时:

time python my.py
real    0m10.435s  # 进程实际花费时间
user    0m2.078s  # 计算期间 所有CPU花费总时间
sys     0m1.412s  #  执行系统相关任务(内存分配)期间,所有CPU花费总时间

python timeit包

  • 指定 循环次数、重复次数
def timing():result = timeit.timeit('benchmark()',setup='from __main__ import benchmark',number=10)# Result is the time it takes to run the whole loopprint(result)result = timeit.repeat('benchmark()',setup='from __main__ import benchmark',number=10,repeat=3)# Result is a list of timesprint(result)

输出:

6.9873279229996115
[6.382431660999828, 6.248147055000118, 6.325469069000064]

pytest、pytest-benchmark

pip install pytest
pip install pytest-benchmark
$ pytest test_simul.py::test_evolve
=================== test session starts ====================platform linux -- Python 3.8.10, pytest-7.1.2, pluggy-1.0.0
benchmark: 3.4.1 (defaults: timer=time.perf_counter disable_gc=False min_rounds=5 min_time=0.000005 max_time=1.0 calibration_precision=10 warmup=False warmup_iterations=100000)
rootdir: /mnt/d/gitcode/Python_learning/Python-High-Performance-Second-Edition-master/Chapter01
plugins: benchmark-3.4.1
collected 1 itemtest_simul.py .                                      [100%]---------------------------------------------- benchmark: 1 tests ---------------------------------------------
Name (time in ms)         Min      Max     Mean  StdDev   Median     IQR  Outliers      OPS  Rounds  Iterations
---------------------------------------------------------------------------------------------------------------
test_evolve           15.9304  42.7975  20.1502  5.6825  18.2795  3.7249       5;5  49.6274      58           1
---------------------------------------------------------------------------------------------------------------Legend:Outliers: 1 Standard Deviation from Mean; 1.5 IQR (InterQuartile Range) from 1st Quartile and 3rd Quartile.OPS: Operations Per Second, computed as 1 / Mean

上面显示,测了58次,用时的最小、最大、均值、方差、中位数等

3. cProfile 找出瓶颈

  • profile包是 python写的开销比较大,cProfile 是C语言编写的,开销小
python -m cProfile simul.py
$ python -m cProfile simul.py2272804 function calls (2258641 primitive calls) in 8.209 secondsOrdered by: standard namencalls  tottime  percall  cumtime  percall filename:lineno(function)30    0.000    0.000    0.001    0.000 <__array_function__ internals>:177(any)160    0.000    0.000    0.002    0.000 <__array_function__ internals>:177(column_stack)161    0.000    0.000    0.004    0.000 <__array_function__ internals>:177(concatenate)34    0.000    0.000    0.000    0.000 <__array_function__ internals>:177(copyto)30    0.000    0.000    0.002    0.000 <__array_function__ internals>:177(linspace)30    0.000    0.000    0.000    0.000 <__array_function__ internals>:177(ndim)30    0.000    0.000    0.000    0.000 <__array_function__ internals>:177(result_type)5    0.000    0.000    0.116    0.023 <frozen importlib._bootstrap>:1002(_gcd_import)485/33    0.001    0.000    6.807    0.206 <frozen importlib._bootstrap>:1017(_handle_fromlist)。。。

输出结果非常长

tottime 排序 -s tottime,看前几个就是耗时最多的几个

$ python -m cProfile -s tottime simul.py2272784 function calls (2258621 primitive calls) in 7.866 secondsOrdered by: internal timencalls  tottime  percall  cumtime  percall filename:lineno(function)1258    2.498    0.002    2.498    0.002 {built-in method posix.stat}273    1.057    0.004    1.057    0.004 {built-in method io.open_code}27    0.874    0.032    0.879    0.033 {built-in method _imp.create_dynamic}1    0.691    0.691    0.691    0.691 simul.py:21(evolve)273    0.464    0.002    0.464    0.002 {method 'read' of '_io.BufferedReader' objects}273    0.432    0.002    1.953    0.007 <frozen importlib._bootstrap_external>:1034(get_data)32045    0.245    0.000    0.411    0.000 inspect.py:625(cleandoc)30    0.171    0.006    0.171    0.006 {built-in method posix.listdir}33    0.151    0.005    0.151    0.005 {built-in method io.open}

或者使用代码

>>> from simul import benchmark
>>> import cProfile
>>> cProfile.run('benchmark()')707 function calls in 0.733 secondsOrdered by: standard namencalls  tottime  percall  cumtime  percall filename:lineno(function)1    0.000    0.000    0.733    0.733 <string>:1(<module>)300    0.000    0.000    0.000    0.000 random.py:415(uniform)100    0.000    0.000    0.000    0.000 simul.py:10(__init__)1    0.000    0.000    0.733    0.733 simul.py:117(benchmark)1    0.000    0.000    0.000    0.000 simul.py:118(<listcomp>)1    0.000    0.000    0.000    0.000 simul.py:18(__init__)1    0.733    0.733    0.733    0.733 simul.py:21(evolve)1    0.000    0.000    0.733    0.733 {built-in method builtins.exec}1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}300    0.000    0.000    0.000    0.000 {method 'random' of '_random.Random' objects}

profile 对象开启和关闭之间可以包含任意代码

>>> from simul import benchmark
>>> import cProfile
>>>
>>> pr = cProfile.Profile()
>>> pr.enable()
>>> benchmark()
>>> pr.disable()
>>> pr.print_stats()706 function calls in 0.599 secondsOrdered by: standard namencalls  tottime  percall  cumtime  percall filename:lineno(function)1    0.000    0.000    0.000    0.000 <stdin>:1(<module>)300    0.000    0.000    0.000    0.000 random.py:415(uniform)100    0.000    0.000    0.000    0.000 simul.py:10(__init__)1    0.000    0.000    0.599    0.599 simul.py:117(benchmark)1    0.000    0.000    0.000    0.000 simul.py:118(<listcomp>)1    0.000    0.000    0.000    0.000 simul.py:18(__init__)1    0.599    0.599    0.599    0.599 simul.py:21(evolve)1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}300    0.000    0.000    0.000    0.000 {method 'random' of '_random.Random' objects}
  • tottime 不含调用其他函数的时间,cumtime 执行函数(包含调用其他函数的时间)的总时间

KCachegrind 图形化分析

KCachegrind - pyprof2calltree - cProfile

sudo apt install kcachegrind
pip install pyprof2calltree
python -m cProfile -o prof.out taylor.py
pyprof2calltree -i prof.out -o prof.calltree
kcachegrind prof.calltree

安装 kcachegrind 失败,没有运行截图

还有其他工具 Gprof2Dot 可以生成调用图

4. line_profiler

它是一个 py 包,安装后,对要监视的函数应用 装饰器 @profile

pip install line_profiler

https://github.com/rkern/line_profiler

kernprof -l -v simul.py
$ kernprof -l -v simul.py
Wrote profile results to simul.py.lprof
Timer unit: 1e-06 sTotal time: 4.39747 s
File: simul.py
Function: evolve at line 21Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================21                                               @profile22                                               def evolve(self, dt):23         1          5.0      5.0      0.0          timestep = 0.0000124         1          5.0      5.0      0.0          nsteps = int(dt/timestep)2526     10001       5419.0      0.5      0.1          for i in range(nsteps):27   1010000     454924.0      0.5     10.3              for p in self.particles:2829   1000000     791441.0      0.8     18.0                  norm = (p.x**2 + p.y**2)**0.530   1000000     537019.0      0.5     12.2                  v_x = (-p.y)/norm31   1000000     492304.0      0.5     11.2                  v_y = p.x/norm3233   1000000     525471.0      0.5     11.9                  d_x = timestep * p.ang_speed * v_x34   1000000     521829.0      0.5     11.9                  d_y = timestep * p.ang_speed * v_y3536   1000000     537637.0      0.5     12.2                  p.x += d_x37   1000000     531418.0      0.5     12.1                  p.y += d_y
python -m line_profiler simul.py.lprof
$ python -m line_profiler simul.py.lprof
Timer unit: 1e-06 sTotal time: 5.34553 s
File: simul.py
Function: evolve at line 21Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================21                                               @profile22                                               def evolve(self, dt):23         1          3.0      3.0      0.0          timestep = 0.0000124         1          3.0      3.0      0.0          nsteps = int(dt/timestep)2526     10001       6837.0      0.7      0.1          for i in range(nsteps):27   1010000     567894.0      0.6     10.6              for p in self.particles:2829   1000000     953363.0      1.0     17.8                  norm = (p.x**2 + p.y**2)**0.530   1000000     656821.0      0.7     12.3                  v_x = (-p.y)/norm31   1000000     601929.0      0.6     11.3                  v_y = p.x/norm3233   1000000     635255.0      0.6     11.9                  d_x = timestep * p.ang_speed * v_x34   1000000     636091.0      0.6     11.9                  d_y = timestep * p.ang_speed * v_y3536   1000000     651873.0      0.7     12.2                  p.x += d_x37   1000000     635462.0      0.6     11.9                  p.y += d_y

5. 性能优化

  • 用更简洁的计算公式
  • 预计算不变量
  • 减少赋值语句,消除中间变量

注意:细微的优化,速度有所提高,但可能并不显著,还需要保证算法正确

6. dis 模块

该包可以了解代码是如何转换为字节码的, dis 表示 disassemble 反汇编

import dis
dis.dis(函数名)
dis.dis(ParticleSimulator.evolve)22           0 LOAD_CONST               1 (1e-05)2 STORE_FAST               2 (timestep)23           4 LOAD_GLOBAL              0 (int)6 LOAD_FAST                1 (dt)8 LOAD_FAST                2 (timestep)10 BINARY_TRUE_DIVIDE12 CALL_FUNCTION            114 STORE_FAST               3 (nsteps)25          16 LOAD_GLOBAL              1 (range)18 LOAD_FAST                3 (nsteps)20 CALL_FUNCTION            122 GET_ITER>>   24 FOR_ITER               118 (to 144)26 STORE_FAST               4 (i)26          28 LOAD_FAST                0 (self)30 LOAD_ATTR                2 (particles)32 GET_ITER>>   34 FOR_ITER               106 (to 142)36 STORE_FAST               5 (p)28          38 LOAD_FAST                5 (p)40 LOAD_ATTR                3 (x)42 LOAD_CONST               2 (2)44 BINARY_POWER46 LOAD_FAST                5 (p)48 LOAD_ATTR                4 (y)50 LOAD_CONST               2 (2)52 BINARY_POWER54 BINARY_ADD56 LOAD_CONST               3 (0.5)58 BINARY_POWER60 STORE_FAST               6 (norm)29          62 LOAD_FAST                5 (p)64 LOAD_ATTR                4 (y)66 UNARY_NEGATIVE68 LOAD_FAST                6 (norm)70 BINARY_TRUE_DIVIDE72 STORE_FAST               7 (v_x)30          74 LOAD_FAST                5 (p)76 LOAD_ATTR                3 (x)78 LOAD_FAST                6 (norm)80 BINARY_TRUE_DIVIDE82 STORE_FAST               8 (v_y)32          84 LOAD_FAST                2 (timestep)86 LOAD_FAST                5 (p)88 LOAD_ATTR                5 (ang_speed)90 BINARY_MULTIPLY92 LOAD_FAST                7 (v_x)94 BINARY_MULTIPLY96 STORE_FAST               9 (d_x)33          98 LOAD_FAST                2 (timestep)100 LOAD_FAST                5 (p)102 LOAD_ATTR                5 (ang_speed)104 BINARY_MULTIPLY106 LOAD_FAST                8 (v_y)108 BINARY_MULTIPLY110 STORE_FAST              10 (d_y)35         112 LOAD_FAST                5 (p)114 DUP_TOP116 LOAD_ATTR                3 (x)118 LOAD_FAST                9 (d_x)120 INPLACE_ADD122 ROT_TWO124 STORE_ATTR               3 (x)36         126 LOAD_FAST                5 (p)128 DUP_TOP130 LOAD_ATTR                4 (y)132 LOAD_FAST               10 (d_y)134 INPLACE_ADD136 ROT_TWO138 STORE_ATTR               4 (y)140 JUMP_ABSOLUTE           34>>  142 JUMP_ABSOLUTE           24>>  144 LOAD_CONST               0 (None)146 RETURN_VALUE

可以是用该工具了解指令的多少和代码是如何转换的

7. memory_profiler

https://pypi.org/project/memory-profiler/

pip install memory_profiler
pip install psutil

psutil说明

也需要对监视的函数 加装饰器 @profile

python -m memory_profiler simul.py
$ python -m memory_profiler simul.py
Filename: simul.pyLine #    Mem usage    Increment  Occurrences   Line Contents
=============================================================141   67.465 MiB   67.465 MiB           1   @profile142                                         def benchmark_memory():143   84.023 MiB   16.559 MiB      300004       particles = [Particle(uniform(-1.0, 1.0),144   84.023 MiB    0.000 MiB      100000                             uniform(-1.0, 1.0),145   84.023 MiB    0.000 MiB      100000                             uniform(-1.0, 1.0))146   84.023 MiB    0.000 MiB      100001                     for i in range(100000)]147148   84.023 MiB    0.000 MiB           1       simulator = ParticleSimulator(particles)149   84.023 MiB    0.000 MiB           1       simulator.evolve(0.001)

内存使用随时间的变化

$ mprof run simul.py
mprof: Sampling memory every 0.1s
running new process
running as a Python program...

绘制曲线

$ mprof plot

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/470851.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

纯粹的python优化(数据结构、cache、推导、生成器)

learn from 《Python高性能&#xff08;第2版&#xff09;》 1. 数据结构与算法 列表、双端队列 list 底层是数组&#xff0c;在 开头 插入和删除的时间复杂度 O(n)&#xff0c; 在结尾插入和删除是 O(1)&#xff0c;访问任意元素是 O(1)deque 底层是 双向链表实现&#xff…

解决在vue init webpack my-project卡住的问题(已解决)

执行vue init webpack test命令&#xff1a; 然后cd test&#xff0c;然后cnpm install 或者 npm install --registryhttps://registry.npm.taobao.org 然后执行 npm run dev命令&#xff1a;

十一、案例:TabBar的封装

0、案例效果演示&#xff1a; 一、TabBar实现思路 如果在下方有一个单独的TabBar组件&#xff0c;你如何封装 自定义TabBar组件&#xff0c;在APP中使用 让TabBar出于底部&#xff0c;并且设置相关的样式 TabBar中显示的内容由外界决定 定义插槽 flex布局平分TabBar 自定义Ta…

POJ 3126 Prime Path

水题&#xff1a;直接判断素数bfs 1 #include <iostream>2 #include <cstdio>3 #include <cstring>4 #include <sstream>5 #include <algorithm>6 #include <list>7 #include <map>8 #include <vector>9 #include <queue&g…

十二、Promise的学习笔记(Promise的基本使用、链式编程、all())

一、认识Promise ES6中一个非常重要和好用的特性就是Promise 但是初次接触Promise会一脸懵逼&#xff0c;这TM是什么东西&#xff1f;看看官方或者一些文章对它的介绍和用法&#xff0c;也是一头雾水。 Promise到底是做什么的呢&#xff1f; Promise是异步编程的一种解决方…

十三、Vuex学习笔记

一、Vuex是做什么的? 官方解释&#xff1a;Vuex 是一个专为 Vue.js 应用程序开发的状态管理模式。 它采用 集中式存储管理 应用的所有组件的状态&#xff0c;并以相应的规则保证状态以一种可预测的方式发生变化。Vuex 也集成到 Vue 的官方调试工具 devtools extension&#xf…

SQL Server2008附加数据库失败

今天旁晚时分&#xff0c;我准备把老师在上课时候发给我们的一个数据库附加到我的SQL Server2008上面去&#xff0c;本来在学校机房用的SQL Server2000是很顺利地就成功了&#xff0c;但是把*.mdf文件附加到我的08上就不行了&#xff0c;出现了下面的问题&#xff08;图是我 百…

数据解析学习笔记(正则解析、bs4解析、xpath解析)

聚焦爬虫:爬取页面中指定的页面内容。 - 编码流程&#xff1a; - 指定url - 发起请求 - 获取响应数据 - 数据解析 - 持久化存储 数据解析分类&#xff1a; 正则bs4xpath&#xff08;***&#xff09; 数据解析原理概述&#xff1a; - 解析的局部的文本内容都会在标签之间或者标…

Rasa NLU 实践

文章目录1. 目录结构2. nlu.yml3. config.yml4. domain.yml5. 实践learn from https://github.com/Chinese-NLP-book/rasa_chinese_book_code 1. 目录结构 2. nlu.yml version: "3.0" nlu:- intent: greetexamples: |- 你好- hello- hi- 喂- 在么- intent: goodbye…

python3爬虫验证码识别——超级鹰打码平台的使用实战:识别古诗文网登录页面中的验证码

一、验证码和爬虫之间的爱恨情仇&#xff1f; 反爬机制&#xff1a;验证码.识别验证码图片中的数据&#xff0c;用于模拟登陆操作。 二、识别验证码的操作&#xff1a; 人工肉眼识别。&#xff08;不推荐&#xff09;第三方自动识别&#xff08;推荐&#xff09; - 超级鹰打…

python爬虫模拟登录人人网

模拟登录&#xff1a;爬取基于某些用户的用户信息。 需求1&#xff1a;对人人网进行模拟登录。 点击登录按钮之后会发起一个post请求post请求中会携带登录之前录入的相关的登录信息&#xff08;用户名&#xff0c;密码&#xff0c;验证码…&#xff09;验证码&#xff1a;每次…

python爬虫——代理IP

代理&#xff1a;破解封IP这种反爬机制。 什么是代理&#xff1a; 代理服务器。 代理的作用&#xff1a; 突破自身IP访问的限制。隐藏自身真实IP 代理相关的网站&#xff1a; - 快代理 西祠代理www.goubanjia.comhttps://ip.jiangxianli.com/?page1 代理ip的类型&#…

ES 安装、search、index、doc

文章目录1. 安装2. search3. index4. doc CRUDop_type获取 doc 元字段只获取 doc 源数据删除 docupdate doc1. 安装 https://www.elastic.co/cn/ 下载 https://www.elastic.co/cn/downloads/past-releases/elasticsearch-8-5-3 https://www.elastic.co/cn/downloads/past-rele…

UWP开发入门(十一)——Attached Property的简单应用

UWP中的Attached Property即附加属性&#xff0c;在实际开发中是很常见的&#xff0c;比如Grid.Row: <Grid Background"{ThemeResource ApplicationPageBackgroundThemeBrush}"><Grid.RowDefinitions><RowDefinition></RowDefinition><Ro…

一、bootstrap4基础(布局系统、栅格系统、显示与隐藏、对齐与排列、内容排版、代码与图文、表格样式、颜色和边框、工具类)

1.1 Bootstrap简单介绍 1.2 Bootstrap结构 1.3 Bootstrap安装和测试 1.4 布局系统 1.5 栅格系统 4.6 栅格等级 1.7 显示与隐藏 1.7 对齐与排列 1.8 内容排版 1.9 代码与图文 1.9.1 设置图片居中显示 1.9.1 设置图片响应式显示 1.9.2 设置图片缩略图显示&#xff0c;以及显示的位…

二、bootstrap4基础(flex布局)

1.1 Flex弹性布局&#xff08;一&#xff09; <div class"d-flex flex-column border border-danger justify-content-end mb-5" style"height: 200px;"><div class"p-2 border border-success">one</div><div class"…

三、bootstrap4 组件(警告和提示框、徽章和面包屑、按钮按钮组、卡片、列表组、导航和选项卡、分页和进度条、巨幕和旋转图标、轮播图、折叠菜单、下拉菜单、导航条、滚动监听、轻量弹框、模态框、表单)

1.1 警告提示框 1.2 徽章和面包屑 1.3 按钮和按钮组 1.4 卡片 1.5 列表组 1.6 导航和选项卡 1.7 分页和进度条 1.8 巨幕和旋转图标 1.9 轮播图 1.10 折叠菜单 1.11 下拉菜单 <!DOCTYPE html> <html><head><meta charset"utf-8" /><title&…

十三、axios框架学习

一、axios的基本使用 1.1 安装axios 执行命令&#xff1a;npm install axios --save 1.2 发送get请求演示 1.3 发送并发请求 有时候, 我们可能需求同时发送两个请求 使用axios.all, 可以放入多个请求的数组.axios.all([]) 返回的结果是一个数组&#xff0c;使用 axios.sp…

LeetCode解题汇总目录

此篇为学习完《数据结构与算法之美》后&#xff0c;在LeetCode刷题的汇总目录&#xff0c;方便大家查找&#xff08;CtrlFind&#xff09;&#xff0c;一起刷题&#xff0c;一起PK交流&#xff01;如果本文对你有帮助&#xff0c;可以给我点赞加油&#xff01; Updated on 2022…

一、node.js搭建最简单的服务器

node.js搭建最简单的服务器 代码演示&#xff1a; // 1. 加载http核心模块 var http require(http)// 2. 使用http.createServer()方法创建一个Web服务器 // 返回一个Server实例 var server http.createServer()// 3. 服务器干嘛&#xff1f; // 提供服务&#xff1a; 对数…