学习契机
最近的一个项目中在使用grpc时遇到一个问题,由于client端可多达200,每个端口每10s向grpc server发送一次请求,server端接受client的请求后根据request信息更新数据库,再将数据库和配置文件的某些数据封装后返回给client。原代码的性能是0.26s/request,远远达不到所需性能,其中数据库更新操作耗时达到80%,其中一个优化点就是将数据库更新操作放在独立的线程中。
在次之前没有使用过线程编码,学以致用后本着加深理解的想法,将这个过程记录下来,这里先记下用于线程间通信的队列Queue的相关知识。
概念
Python2中队列库名称为Queue,Python3中已改名为queue,项目使用Python2.7.5版本,自然是使用Queue。
Queue模块中提供了同步的、线程安全的队列类,包括FIFO(先入先出)队列Queue,LIFO(后入先出)队列LifoQueue,和优先级队列PriorityQueue。这些队列都实现了锁原语,可在多线程通信中直接使用。
Queue模块定义了以下类及异常,在队列类中,maxsize限制可入队列数据的数量,值小于等于0时代表不限制:
Queue.Queue(maxsize=0) FIFO队列
Queue.LifoQueue(maxsize=0) LIFO队列
Queue.PriorityQueue(maxsize=0) 优先级队列
Queue.Empty TODO
Queue.Full
Queue(Queue、LifoQueue、PriorityQueue)对象提供以下方法:
Queue.qsize()