Python在生物信息学中的应用:让你的程序运行得更快

程序运行太慢,想要提速,但不使用复杂的技术如 C 扩展或 JIT 编译器。

解决方案

程序优化的第一准则是“不要优化”第二准则是“不要优化那些不重要的部分”。基于这两个原则,如果你的程序运行得很慢,你得先找出影响性能的问题所在。

多数时候我们发现程序把大量的时间花在几个热点位置,比如处理数据的内层循环。一旦确认了这些热点,就可以使用以下各小节中介绍的技术让程序运行得更快。

使用函数

很多人开始使用 Python 时都是用它来编写一些简单的脚本。最开始时,很容易陷入只管编写代码而不重视程序结构的怪圈。例如:

# somescript.pyimport sys
import csvwith open(sys.argv[1]) as f:for row in csv.reader(f):# Some kind of processingpass

一个鲜为人知的事实是,像上面这样定义在全局范围内的代码比定义在函数中的代码要慢。速度的差异与局部变量与全局变量的实现机制有关(涉及局部变量的操作要更快)。因此,如果想让程序运行得更快,可以将脚本中的语句放入函数中即可:

# somescript.py
import sys
import csvdef main(filename):with open(filename) as f:for row in csv.reader(f):# Some kind of processingpassmain(sys.argv[1])

运行速度的差异与具体执行的任务有关,但根据经验,提升 15% ~ 30% 的情况很常见。

消除属性访问

每次使用句点操作符(.)来访问对象的属性都会带来开销。在底层,这会触发调用特殊的方法。

通常可以用 from module import name 的导入形式以及选择性地使用绑定方法(bound method)来避免出现属性查询操作。我们用下面的代码片段来加以说明:

import mathdef compute_roots(nums):result = []for n in nums:result.append(math.sqrt(n))return result# Test
nums = range(1000000)
for n in range(100):r = compute_roots(nums)

当在我们的机器上测试时,这个程序运行了大约 40 秒。现在将 compute_roots() 函数修改为如下形式:

from math import sqrtdef compute_roots(nums):result = []result_append = result.appendfor n in nums:result_append(sqrt(n))return result

修改后的版本运行时间大约是 29 秒。唯一不同之处就是消除了属性访问。用 sqrt() 代替了 math.sqrt()。result.append() 方法被赋给一个局部变量 result_append,然后在内部循环中使用它。

但是,必须强调的是,只有在频繁执行的代码中做这些修改才有意义,比如在循环中。因此,这种优化技术适用的场景需要经过精心挑选。

理解变量所处的位置

前述提及,访问局部变量比全局变量要快。对于需要频繁访问的名称,想提高运行速度,可以通过尽量让这些变量尽可能成为局部变量来实现。例如:

import mathdef compute_roots(nums):sqrt = math.sqrtresult = []result_append = result.appendfor n in nums:result_append(sqrt(n))return result

在这个版本中,sqrt 方法已经从 math 模块中提取出来并放置在一个局部变量中。如果运行这份代码,执行时间大约是 25 秒,这比上一个版本的 29 秒又有所提升。根本原因就是查找局部变量比全局变量要快。

当使用类时,局部参数同样能起到提速的效果。一般来说,查找像 self.name 这样的值会比访问一个局部变量要慢很多。在内层循环中将需要经常访问的属性移到局部变量中来会很划算。例如:

# Slower
class SomeClass:...def method(self):for x in s:op(self.value)# Faster
class SomeClass:...def method(self):value = self.valuefor x in s:op(value)

避免不必要的抽象

装饰器(decorator)、属性(property)或者描述符(descriptor)包装过的代码,运行速度通常会变慢。参考以下代码:

class A:def __init__(self, x, y):self.x = xself.y = y@propertydef y(self):return self._y@y.setterdef y(self, value):self._y = value

测试一下:

>>> from timeit import timeit
>>> a = A(1,2)
>>> timeit('a.x', 'from __main__ import a')
0.07817923510447145
>>> timeit('a.y', 'from __main__ import a')
0.35766440676525235
>>>

使用内建的容器

内建的数据类型比如字符串、元组、列表、集合以及字典都是用 C 语言实现的,速度非常快。如果需要构建自己的数据结构作为替代(例如链表、二叉树等),想在性能上达到内建的速度几乎不可能,因此还是尽量使用内建的数据结构吧。

避免产生不必要的数据结构或者拷贝动作

有时候程序员可能会创建一些不必要的数据结构,比如下面的代码:

values = [x for x in sequence]
squares = [x*x for x in values]

也许这里的想法是首先将一些值收集到一个列表中,然后使用列表推导来执行操作。不过,第一个列表完全没有必要,可以简单的像下面这样写:

squares = [x*x for x in sequence]

与此相关,还要注意下那些对Python的共享数据机制过于偏执的程序所写的代码。有些人并没有很好的理解或信任Python的内存模型,滥用 copy.deepcopy() 之类的函数。通常在这些代码中是可以去掉复制操作的。

讨论

在进行优化之前,有必要研究一下使用的算法。选择一个复杂度为 O(n log n) 的算法要比你去调整一个复杂度为 O(n**2) 的算法所带来的性能提升要大得多。

如果优化代码势在必行,那么请从整体考虑。作为一般准则,不要对程序的每一个部分都去优化,因为这些修改会导致代码难以阅读和理解。你应该专注于优化产生性能瓶颈的地方,比如内部循环。

还要注意一些小的优化的结果。比如下面创建字典的两种方式:

a = {'name' : 'AAPL','shares' : 100,'price' : 534.22
}b = dict(name='AAPL', shares=100, price=534.22)

后面一种写法更简洁一些(你不需要在关键字上输入引号)。不过,如果你将这两个代码片段进行性能测试对比时,会发现使用 dict() 的方式会慢了3倍。看到这个,你是不是有冲动把所有使用 dict() 的代码都替换成第一种。不过,聪明的程序员只会关注他应该关注的地方,比如内部循环。在其他地方,这点性能损失没有什么影响。

如果你的优化要求比较高,本节的这些简单技术满足不了,那么你可以研究下基于即时编译(JIT)技术的一些工具。例如,PyPy 工程是 Python 解释器的另外一种实现,它会分析你的程序运行并对那些频繁执行的部分生成本机机器码。它有时候能极大的提升性能,通常可以接近 C 代码的速度。不过可惜的是,到写这本书为止,PyPy 还不能完全支持 Python3。因此,这个是你将来需要去研究的。你还可以考虑下 Numba 工程, Numba 是一个在你使用装饰器来选择 Python 函数进行优化时的动态编译器。这些函数会使用LLVM被编译成本地机器码。它同样可以极大的提升性能。但是,跟 PyPy 一样,它对于 Python 3 的支持现在还停留在实验阶段。

最后我引用John Ousterhout说过的话作为结尾:“最好的性能提升就是从不工作转变为可以工作”。直到你真的需要优化的时候再去考虑它。确保你程序正确的运行通常比让它运行更快要更重要一些(至少开始是这样的)。

参考

  • 《Python Cookbook》第三版

  • http://python3-cookbook.readthedocs.org/zh_CN/latest/

关于简说基因

  • 生信平台

    Galaxy中国(UseGalaxy.cn)致力于打造中国人的云上生物信息基础设施。大量在线工具免费使用。无需安装,用完即走。活跃的用户社区,随时交流使用心得。

  • 生信培训

    简说基因的生信培训班,荣获学员的一致好评。如果你也对生物信息学感兴趣,欢迎来跟简说基因,学真生信

  • 生信分析

    我们能够承接所有 NGS 组学数据分析业务,包括但不限于 WGS / WES / RNA-seq 等。基因组组装、注释,以及各种重测序业务都可以与简说基因合作。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/687533.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Mac相关问题

Mac 更新node版本 第一步,先查看本机node.js版本: node -v 第二步,清除node.js的cache: sudo npm cache clean -f 第三步,安装 n 工具,这个工具是专门用来管理node.js版本的,别怀疑这个工具…

Qt的安装

下载安装包 我们选择Open Source的版本。 可以从https://www.qt.io/download-open-source直接下载最新版本,对于想要选择特定版本,或者尝试beta版功能的用户,也可以从https://download.qt.io选择自己需要的版本。 如果你的网速可以的话&am…

PCL库学习及ROS使用

PCL库学习 c_cpp_properties.json {"configurations": [{"name": "Linux","includePath": ["${workspaceFolder}/**","/usr/include","/usr/local/include"],"defines": [],"compiler…

2.14日学习打卡----初学Zookeeper(一)

2.14日学习打卡 目录: 2.14日学习打卡Zookeeper概念一. 集中式到分布式单机架构集群架构什么是分布式三者区别 二. CAP定理分区容错性一致性可用性一致性和可用性的矛盾一致性和可用性如何选择 三. 什么是Zookeeper分布式架构Zookeeper从何而来Zookeeper介绍 四. 应用场景数据发…

第六节笔记:OpenCompass 大模型评测

视频链接:https://www.bilibili.com/video/BV1Gg4y1U7uc/?spm_id_from333.788&vd_source3bbd0d74033e31cbca9ee35e111ed3d1

上位机图像处理和嵌入式模块部署(Halcon借鉴与客户学习)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing 163.com】 对于很多学院派的同学来说,他们对市场的感觉一般是比较弱的。如果写一个软件的话,或者说开发一个项目的话,他们…

2024 CKS 题库 | 9、网络策略 NetworkPolicy

不等更新题库 CKS 题库 9、网络策略 NetworkPolicy Task 创建一个名为 pod-restriction 的 NetworkPolicy 来限制对在 namespace dev-team 中运行的 Pod products-service 的访问。 只允许以下 Pod 连接到 Pod products-service namespace qaqa 中的 Pod位于任何 namespace&…

vue-自定义创建项目(六)

为什么要自定义创建项目? 因为VueCli默认创建的项目不能够满足我们的要求,比如默认的项目中没有帮我们集成路由,vuex,eslink等功能。 默认项目 自定义创建项目 流程: 创建项目命令:vue create custom_dem…

亚马逊测评:揭秘做号的“花招”与“猫腻”,如何避免被割韭菜?

亚马逊测评行业如今如火如荼,吸引了众多朋友投身其中。然而,这个行业也是五花八门,什么样的人和公司都有,让人眼花缭乱。作为卖家,如何选择靠谱的测评服务商是一门必修课;而对于初学者,如何入门…

SHERlocked93 的 2021 年终总结

我还是和往年一样,总结发的又晚了一点,为什么又发这么晚呢,因为懒 年终总结 疫情之后时间时间过的太快了,不知道是不是只有我这样感觉。 四五月份去兰州玩了下(其实是出差),终于看到了黄土高原&…

2024年蓝牙耳机推荐,值得入手的蓝牙耳机排行榜

​随着生活水平的提高,蓝牙耳机已经成为了许多人日常生活中不可或缺的数码产品。无论是听音乐、看视频还是打电话,蓝牙耳机都为我们提供了极大的便利。然而,面对市场上众多的蓝牙耳机品牌和型号,许多人感到无所适从。所以&#xf…

Linux第58步_备份busybox生成rootfs根文件系统

备份busybox生成rootfs根文件系统 打开终端 输入“ls回车” 输入“cd linux/回车” 输入“ls回车”,产看“linux”目录下的文件和文件夹 输入“cd nfs/回车”,切换到“nfs”目录 输入“ls回车”,产看“nfs”目录下的文件和文件夹 输入…

力扣OJ题——旋转数组

题目:189.旋转数组 给定一个整数数组 nums,将数组中的元素向右轮转 k 个位置,其中 k 是非负数 思路一: 1.每次挪动旋转1位(用tmp将最后一位存起来,其余所有数据向后移,然后将tmp放在第一个位…

RabbitMQ配置消息转换器

1. 默认转换器 Test public void testSendMap() throws InterruptedException {// 准备消息Map<String, Object> msg new HashMap<>();msg.put("name", "harry");msg.put("age", 21);// 发送消息rabbitTemplate.convertAndSend(&q…

无电池设备物联网的未来

在物联网(IoT)世界中&#xff0c;一种改变游戏规则的趋势正在出现&#xff0c;它就是无电池物联网。想象一下不需要普通电池的智能设备。这些被称为环境物联网(A-IoT)的独特小工具正在改变游戏规则。它们不再使用老式电池&#xff0c;而是通过无线电信号、光、振动和热量获取能…

Python一级考试笔记

Python一级考试笔记【源源老师】 前置知识&#xff1a;&#xff08;了解即可&#xff09; Python常见的几种编程环境&#xff1a;IDLE&#xff08;自带&#xff09;、Visual Studio Code、Jupyter、pyCharm&#xff1b; python版本&#xff1a;python3 和 python2&#xff08;…

STM32学习笔记(七) —— DMA传输(MTM)

DMA&#xff0c;全称是Direct Memory Access&#xff08;直接内存访问&#xff09;。可以在存储器和存储器之间或者外设和存储器之间传输数据&#xff0c;而不需要CPU的干预&#xff0c;这样可以节省CPU的资源&#xff0c;提高工作效率。 1.功能框图 STM32F103RCT6有两个DMA控…

东方博宜 1057. 能被5整除且至少有一位数字是5的所有整数的个数

东方博宜 1057. 能被5整除且至少有一位数字是5的所有整数的个数。 思路&#xff1a; 1 首先输入n 2 用for循环遍历1-n中间的数 3 每一个数进行对5取余的运算&#xff0c;看是否能被5整除 4 在整除的基础上&#xff0c;看这个数的各个数位上是否有5&#xff0c;这一步将数对10取…

OpenGL学习——15.投光物_聚光

前情提要&#xff1a;本文代码源自Github上的学习文档“LearnOpenGL”&#xff0c;我仅在源码的基础上加上中文注释。本文章不以该学习文档做任何商业盈利活动&#xff0c;一切著作权归原作者所有&#xff0c;本文仅供学习交流&#xff0c;如有侵权&#xff0c;请联系我删除。L…

python学习笔记------数据容器(一)

数据容器入门 一种可以容纳多份数据的数据类型&#xff0c;容纳的每一份数据称之为一个元素 每一个元素可以是任意类型的数据 数据容器根据特点的不同&#xff08;是否支持重复元素、是否可以修改、是否有序&#xff09;分为五类&#xff1a;列表&#xff08;list&#xff0…