python输出程序运行时间_叨叨 Python 性能优化工具

虽然Python是一个”慢慢的“语言,但是不代表我们对性能没有任何的追求,在程序运行过程中,如果发现程序运行时间太长或者内存占用过大,免不了需要对程序的执行过程进行一些监测,找到有问题的地方,进行优化。今天来分享一些平时用到的Python性能分析工具

memory_profiler

memory_profiler是监控python进程的神器,只需要在函数加一个装饰器就可以输出每行代码的内存使用情况

安装:

pip install memory_profiler

使用:

import time@profiledef my_func():    a = [1] * (10 ** 6)    b = [2] * (2 * 10 ** 7)    time.sleep(10)    del b    del a    print "+++++++++"if __name__ == '__main__':    my_func()

输出:

$ python -m memory_profiler del3.py+++++++++Filename: del3.pyLine #    Mem usage    Increment   Line Contents================================================  10.293 MiB    0.000 MiB   @profile                            def my_func():  17.934 MiB    7.641 MiB       a = [1] * (10 ** 6) 170.523 MiB  152.590 MiB       b = [2] * (2 * 10 ** 7) 170.527 MiB    0.004 MiB       time.sleep(10)  17.938 MiB -152.590 MiB       del b  10.305 MiB   -7.633 MiB       del a  10.309 MiB    0.004 MiB       print "+++++++++"

内建函数 timeit

import timeitimport timedef my_func():    time.sleep(1)    return sum([1,2,3])result = timeit.timeit(my_func, number=5)print(result)

Jupyter Notebook Magic 命令

在Jupyter Notebook中,可以通过%%timeit魔法命令测试cell中代码的运行时间

%%timeitimport timedef my_func():    time.sleep(1)    return sum([1,2,3])result = timeit.timeit(my_func, number=5)print(result)

计时装饰器

Python 中的装饰器可以在其他函数不需要改动任何代码的情况下增加额外功能,经常用在,插入日志、性能测试、权限校验等场景中。我们可以将计时功能封装成一个装饰器,方便复用。

from functools import wrapsimport timedef timeit(func):    @wraps(func)    def deco():        start = time.time()        res = func()        end = time.time()        delta = end - start        print("Wall time ", delta)        return res    return deco

使用:

@timeitdef my_func():    # do something    time.sleep(3)    pass

输出:

Wall time: 3

line_profiler

如果我们除了想知道代码整体的运行时间之外,还要精确分析每行代码的运行时间,那python的 line_profiler 模块就可以帮到你啦!line_profiler 可以用来测试函数每行代码的响应时间等情况。为了使用方便,可以将line_profiler 相关函数封装在装饰器中进行使用,这样在接口请求时,则会执行此装饰器并打印出结果。

安装:

pip install line_profiler

使用:

from flask import Flask, jsonifyimport timefrom functools import wrapsfrom line_profiler import LineProfiler# 查询接口中每行代码执行的时间def func_line_time(f):    @wraps(f)    def decorator(*args, **kwargs):        func_return = f(*args, **kwargs)        lp = LineProfiler()        lp_wrap = lp(f)        lp_wrap(*args, **kwargs)         lp.print_stats()         return func_return     return decoratorapp = Flask(__name__)@app.route('/line_test') @func_line_time def line_test():     for item in range(5):         time.sleep(1)     for item in xrange(5):         time.sleep(0.5)     return jsonify({'code':200})  if __name__=='__main__': app.run()

输出:

* Running on http://127.0.0.1:5000/Timer unit: 1e-06 sTotal time: 7.50827 sFile: /home/rgc/baidu_eye/carrier/test/flask_line_profiler_test.pyFunction: line_test at line 22Line #      Hits         Time  Per Hit   % Time  Line Contents==============================================================                                          @app.route('/line_test')                                          @func_line_time                                          def line_test():        6         33.0      5.5      0.0      for item in range(5):        5    5005225.0 1001045.0     66.7          time.sleep(1)        6         31.0      5.2      0.0      for item in xrange(5):        5    2502696.0 500539.2     33.3          time.sleep(0.5)        1        282.0    282.0      0.0      return jsonify({'code':200})127.0.0.1 - - [05/Mar/2018 15:58:21] "GET /line_test HTTP/1.1" 200 -

pyheat

相较于上面的代码运行时间测试工具,pyheat 通过matplotlib 的绘制热力图来展现代码的运行时间,显得更为直观

539b8c66c8e7a27217b753ea3300c710.png安装:

pip install py-heat

使用方法:

pyheat  --out image_file.png

heartrate

heartrate 也是一个可视化的监测工具,可以像监测心率一样追踪程序运行,通过web页面可视化Python程序的执行过程。

a6d8e54ae50a24f8bf19990b1fe1e35b.gif
img

左侧数字表示每行代码被触发的次数。长方框表示最近被触发的代码行——方框越长表示触发次数越多,颜色越浅表示最近被触发次数越多。该工具记录的是每行代码执行的次数,

而不是具体执行时间,在性能调试的时候有些鸡肋

安装:

pip install --user heartrate

使用:

import heartratefrom heartrate import trace, filesheartrate.trace(browser=True)trace(files=files.path_contains('my_app', 'my_library'))

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/467643.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

链接学习之obj文件探索

Windows的gcc环境,往官网http://sourceforge.net/project/showfiles.php?group_id2435 下载MinGW,安装,安装完毕后按照包 配置环境变量 a.在PATH的值中加入"C:\Program Files\MinGWStudio\MinGW\bin"。这是寻找gcc编译器的路径。…

跳槽并不能解决问题

周末了,聊点和离职相关的事情,上周应该有不下5个人跟我谈到跳槽离职的事,每个人的情况都有点不同,每个人我都认真给了回复,总结一下,希望大家对自己的职场有比较明确的规划,跳槽肯定是为了涨薪水…

http 请求默认时间_JMeter接口测试之HTTP请求默认值

不管是在UI级别的自动化测试还是在接口级别的自动化测试中,对公共数据数据的分离都是一种趋势,或者某种程度来说,这是自动化测试中必须要掌握的一种能力,是基本技能。这些公共数据就包含了测试地址,以及登录的账号密码…

【BZOJ1880】[Sdoi2009]Elaxia的路线 最短路+DP

【BZOJ1880】[Sdoi2009]Elaxia的路线 Description 最近,Elaxia和w**的关系特别好,他们很想整天在一起,但是大学的学习太紧张了,他们 必须合理地安排两个人在一起的时间。Elaxia和w**每天都要奔波于宿舍和实验室之间,他…

有意思的select~

前言最近在写一个小程序,也就是简单的系统调用,但是神奇的是,我用的这个系统调用刚好就阻塞了。如果你也写过应用程序,肯定也会遇到过这样的问题。后来,发现了select这个好东西,可以用来监听文件描述。sele…

cesium 页面截图_Cesium开发入门篇 | 02开发环境搭建及第一个示例

开发环境准备利用Cesium API进行二次开发属于Web前端开发范畴,目前比较火的Web三剑客包括React、Vue、AngularJS,每个js库的详细介绍可转至官网查看,在此不做详细介绍。本次开发环境是基于Vue搭建的,需要安装(部署)的软件主要包括…

Android基础字符串String.md

问题抛出 String这个常量在我们代码中会经常被用到,那么我们了解 String stringbuffer StringBudilder三者之间的区别吗 问题解答 String 字符串常量,位于常量池stringbuffer 字符串变量 不同步适用于单线程 位于字符串缓冲区StringBudilder字符串变量 同步适用于多线程 位于字…

一个单片机ADC的挖坑填坑之旅

[导读] 本文来解析一个盆友在使用STM32采集电池电压踩过的坑。以STM32F4 的ADC属于逐次逼近SAR 型ADC为例进行分析,参考STM32F405xx Datasheet,对于如何编写ADC程序就不做描述了。先描述一下坑 采集电池电压,利用两个电阻将电池电压分压&…

centos mysql.tar.gz_centos7.2 mysql tar.gz 搭建 (亲测成功)

1、安装依赖:yum -y install libaioyum search libaio2、卸载系统自带的Mariadb数据库:rpm -qa | grep mariadbrpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64rpm -qa | grep mariadb3、创建mysql用户组和mysql用户groupadd mysqluseradd -g …

of_property_read_string 剖析~

前言今天在一个群里面看到的一个朋友提交,说of_property_read_string 这个函数有两个定义,到底是用了哪个呢?所以这篇文章就说下这个函数。函数引用的头文件引用的头文件位置在\kernel-4.4\include\linux\of.h其中一个是extern int of_proper…

欧几里得算法扩展欧几里得算法

欧几里德算法 欧几里德算法又称辗转相除法,用于计算两个整数a,b的最大公约数。 基本算法:设aqbr,其中a,b,q,r都是整数,则gcd(a,b)gcd(b,r),即gcd(a,b)gcd(b,a%b)。 第一种证…

mysql查询没有权限试图_MySQL迁移后提示查询view权限不足的处理

一.问题描述:开发人员反应xx物流系统mysql查询视图提示权限不足,请DBA介入处理.MariaDB [abc]> select * from c_time;ERROR 1045 (28000): Access denied for user lsa% (using password: YES)版本:mariadb 10.1.18 for centos 6.6二.问题分析&#…

CPU频率和核心

设置CPU的核心数在/sys/devices/system/cpu目录下可以看到你的CPU有几个核心,如果是四核,就是cpu0,cpu1,cpu2,cpu3 4个文件夹。cpu0 常开。进一个其他文件夹,比如cpu1,里面有个online文件用cat命令查看该文…

Java中的Map

java为数据结构中的映射定义了一个接口java.util.Map;它有四个实现类,分别是HashMap Hashtable LinkedHashMap 和TreeMap.HashMap:1.根据键的HashCode值存储数据2.最多只允许一条记录的键为Null,允许多条记录的值为Null3.不支持线程的同步(不支持多线程同时写操作),线程不安全,…

关于“进程”与“线程”的最通俗解析

来源:电子工程专辑进程(process)和线程(thread)是操作系统的基本概念,但是它们比较抽象,不容易掌握。最近,我读到一篇材料,发现有一个很好的类比,可以把它们解…

mysql 排序num_MySQL 实现row_number() 分组排序功能

数据库基本脚本CREATE TABLE a (ID INT(10) NULL DEFAULT NULL,class INT(10) NULL DEFAULT NULL,score INT(10) NULL DEFAULT NULL)COLLATEutf8_general_ciENGINEInnoDB;insert into a values (1,1,110);insert into a values (2,1,120);insert into a values (3,1,130);inser…

Netty源码学习(零)前言

本系列文章将介绍Netty的工作机制,以及分析Netty的主要源码。 基于的版本是4.1.15.Final(2017.08.24发布) 水平有限,如有谬误请留言指正 参考资料 the_flash的简书 占小狼的简书 转载于:https://www.cnblogs.com/stevenczp/p/7571…

要想选到音质好的耳机,你应该需要知道这些~

最近在一个音频公司调试我们设备的音频,从这次调试中,有所收获,希望这次的吹牛大家看完后,以后去买音频产品,可以分辨什么是好的,什么是不好的。有些产品硬件没有问题,但是产品经理因为个人喜好…

mysql kafka binlog_为什么使用kafka处理mysql binlog?

在开发 Spark Streaming 的公共组件过程中,需要将 binlog 的数据(Array[Byte])转换为 Json 格式,供用户使用,本文提供一种转换的思路。另外我们会用到几个辅助类,为了行文流畅,我们将辅助类的定义放在文章的最后面。如…

Fantasia (Tarjan+树形DP)

Time Limit: 1000 ms Memory Limit: 256 MB Description 给定一张N个点、M条边的无向图 $G$ 。每个点有个权值Wi。 我们定义 $G_i$ 为图 $G$ 中删除第 $i$ 号顶点后的图。我们想计算 $G_1, G_2, ..., G_n$ 这N张图的权值。 对于任意一张图 $G$ ,它的权值是这样定义…