基于阻塞队列的生产消费模型

目录

一、线程同步

1.生产消费模型(或生产者消费者模型)

2.认识同步

(1)生产消费模型中的同步

(2)生产者消费者模型的特点

二、条件变量

1.认识条件变量

2.条件变量的使用

3.代码改造

三、基于阻塞队列的生产消费模型

1.阻塞队列类

(1)阻塞队列

(2)实现生产者的生产函数

(3)实现消费者的消费函数

2.pthread_cond_wait为什么要传入锁

3.生产者和消费者线程的执行函数

(1)执行函数

(2)试运行

4.部分细节处理

(1)伪唤醒问题

(2)解锁与唤醒的顺序

5.处理任务的生产消费模型

(1)代码改造

(2)运行

6.生产消费模型为何高效

四、双阻塞队列的生产消费模型

1.编写类代码

2.增加处理保存任务的函数

3.更改线程函数

4.更改main函数


一、线程同步

1.生产消费模型(或生产者消费者模型)

我们肯定有在超市买东西的经历,比如买水。超市的瓶装水是供应商提供的,所以供应商是生产者;超市从供应商进货,超市就是一个交易场所;我们从超市买水,我们就是消费者。

这些概念也可以转换到线程中,我们将读取数据的线程叫做消费者线程(消费者),将产生数据的线程叫做生产者线程(供应商),将共享的特定数据结构叫做缓冲区(交易场所)。

超市中售卖的瓶装水品牌很多,所以供应商肯定不止一个,这些不同牌子瓶装水的生产者之间的关系就是竞争关系。所以,多线程中各个生产者线程之间是互斥关系,同一时刻只有一个生产者线程能访问缓冲区。

对于消费者线程也是一样的,一个消费者买到了水,其他人可能就买不到了。所以消费者线程和消费者线程之间也是互斥关系,同一时刻也只有一个消费者线程能访问缓冲区。

超市也总要有补货的时间,如果当前仓库里有货,但是工作人员还没有将货物摆在货架上,那到来的顾客就以为这里没有水。

为了避免出问题,应当在超市补货时阻止消费者进入。由于缓冲区数据又被错误覆盖的风险,所以最好在消费者线程访问缓冲区时,不允许生产者线程访问缓冲区,反之亦然。

消费者线程和生产者线程之间也是互斥关系,在同一时间内只有一个线程可以访问缓冲区。

2.认识同步

(1)生产消费模型中的同步

在保证数据安全的前提下,让线程能够按照某种特定的顺序访问临界资源,从而有效避免饥饿问题,叫做同步。

首先什么叫饥饿状态?

我以多线程抢票代码为例,如果每个线程抢完票后都没有进行其他处理动作时,第一个申请到锁的线程更容易申请到锁。最终,大部分票都被一个线程抢走。而其他线程竞争能力弱,缺乏调度,这些线程就处于饥饿状态。

那什么是同步?

而同步就是让所有线程按照一定顺序来抢票,尽可能做到人人有份,避免线程饥饿问题产生。

再次回到超市买水,供应商不能没完没了地向超市供货,一方面超市一直关着,消费者无法消费,另一方面,超市又不是四次元口袋,总是要装满的。

同样,消费者也不能没完没了地买水,一方面超市不关门,供货商不能进货,另一方面,瓶装水又肯定会卖完。

所以最好生产者先供货,货架摆满了就不进货了。消费者来买,当水卖完了再让供应商进货,让消费者和生产者协同起来。

所以,消费者线程和生产者线程之间也是同步关系。生产者线程和消费者线程需要按照一定顺序去访问缓冲区。

所以,我们可以将生产消费模型总结为321原则:3种关系、2种角色、1个交易场所。

  • 3种关系:生产者和生产者(互斥关系),消费者和消费者(互斥关系),生产者和消费者(互斥和同步关系)
  • 2种角色:生产者和消费者
  • 1个交易场所:一段特定结构的缓冲区

生产消费模型的运行本质就是321原则。

(2)生产者消费者模型的特点

对供货商而言,只需要给超市供大量的货即可,不用关心消费者什么时候来买。

对消费者而言,只需要直接去超市买方便面就行,不用等待方便面的生产运输。

对超市而言,只需要在水卖完时,告诉供货商进货,进完货后告诉消费者来买。

生产消费模型中消费者和生产者各自只需要关心自己所做的事情,生产与消费线程线程之间完全独立,在计算机科学的角度,我们称其实现了消费者线程和生产者线程之间的解耦。

我们大部分人在周一到周五都是上班上学,所以这些时间去超市买水的人会相对少,这个时候超市就可以适时多进货。而周末大家都放假了,去超市买水的人变多,因为之前进货也很多了,就不需要进货了。

就像上面所说的策略,生产消费模型解决了生产者线程和消费者线程忙闲不均的问题。

而超市作为交易场所,能够储存更多的物品,同样缓冲区也能储存更多的数据。如果消费者直接去找供货商,供货商一般都不会零售。纵使能够零售,直接去找生产者还要等待生成者完成商品生产,消耗时间成本高,效率低。

生产者消费者模型提高了了生产者线程和消费者线程的执行效率。

二、条件变量

1.认识条件变量

条件变量是用来描述某种临界资源是否就绪的一种数据化描述。

比如说存在一个共享的容器,生产者线程负责生产数据到容器内,消费者线程负责从容器中中读取数据。消费者线程发现容器为空时,就不应当去竞争锁,而是阻塞等待,直到生产者线程将数据生成到容器中。

要想让消费者线程等待,那就必须使用条件变量标识容器的状态,那么就需要用到条件变量。

那条件变量到底是什么呢?

假设超市的架子进货一次只放一瓶水,只有这瓶水被买走后,供货商才会进货。

此时又有很多消费者来买水,只有竞争能力强的消费者才能买到水,甚至他们会不停地买。竞争能力弱的消费者,买不到水。放在线程中也是一样的,竞争能力弱的消费者线程始终抢不到锁,产生了饥饿问题。

为了解决这个问题,超市的工作人员设置了一个柜台,所有消费者都在这里排队,有一瓶水摆上货架,工作人员就允许一个消费者进去买,没有水所有人就需要在外面等待。而如果消费者想买第二瓶,就只能重新排队。而这个柜台和工作人员就相当于条件变量。

多线程互斥访问临界资源时,为了让这些线程按一定顺序访问。通常会将这些线程都放在条件变量的等待队列中,当其他线程让条件变量符合线程的唤醒条件时,队列中的第一个线程就会去访问临界资源。

2.条件变量的使用

条件变量同样是一个类(pthread_cond_t),由POSIX线程库维护,使用的是POSIX标准。它也可以构造对象pthread_cond_t cond,cond就是条件变量的对象。

以下是条件变量的一些成员函数和使用代码:

int pthread_cond_init(pthread_cond_t *restrict cond,const pthread_condattr_t *restrict attr);

头文件:pthread.h

功能:初始化条件变量。

参数:pthread_cond_t *restrict cond表示需要被初始化的条件变量的地址,const pthread_condattr_t *restrict attr表示条件变量的属性,一般都为nullptr。

返回值:取消成功返回0,取消失败返回错误码。

int pthread_cond_destroy(pthread_cond_t *cond);

头文件:pthread.h

功能:销毁互斥条件变量。

参数:pthread_cond_t *cond表示需要被销毁的条件变量的地址。

返回值:销毁成功返回0,失败返回错误码。

pthread_cond_t cond = PTHREAD_COND_INITIALIZER;

如果是全局或static修饰的条件变量,使用上面语句初始化。

int pthread_cond_wait(pthread_cond_t *restrict cond, pthread_mutex_t *restrict mutex);

头文件:pthread.h

功能:将调用该接口的线程放入传入的条件变量等待队列中。

参数:pthread_cond_t *restrict cond创建的条件变量地址。pthread_mutex_t *restrict mutex互斥锁的地址(为什么传锁以后会解释)。

返回值:放入等待队列成功返回0,失败返回错误码。

int pthread_cond_signal(pthread_cond_t *cond);

头文件:pthread.h

功能:由另一个线程(通常是主线程)唤醒指定条件变量等待队列中的一个线程。

参数:pthread_cond_t *cond表示需要唤醒的线程所在的等待队列的条件变量地址。

返回值:唤醒成功返回0,失败返回错误码。

int pthread_cond_broadcast(pthread_cond_t *cond);

头文件:pthread.h

功能:由另一个线程(通常是主线程)唤醒指定条件变量等待队列中的所有线程。

参数:pthread_cond_t *cond表示需要唤醒的线程所在的等待队列的条件变量地址。

返回值:唤醒成功返回0,失败返回错误码。

3.代码改造

我们使用条件变量使所有进程可以以一定顺序抢票。

#include<iostream>
#include<pthread.h>
#include<unistd.h>
#include<stdio.h>
#include<vector>
using namespace std;#define NUM 5pthread_mutex_t mutx = PTHREAD_MUTEX_INITIALIZER;//构建一个全局锁
pthread_cond_t cond = PTHREAD_COND_INITIALIZER;//构建一个全局条件变量
int tickets = 10;class pthread_data
{
public:pthread_t tid;char buffer[64];
};void* start_routine(void* args)
{pthread_data* p = (pthread_data*)args;string s;s += p->buffer;s += "Remaining tickets:";while(1){pthread_mutex_lock(&mutx);//加锁pthread_cond_wait(&cond, &mutx);//线程进入等待队列if(tickets > 0){--tickets;pthread_mutex_unlock(&mutx);//解锁printf("%s%d\n", s.c_str(), tickets);//不修改临界资源,可以不包含在内}else{pthread_mutex_unlock(&mutx);//解锁break;}}pthread_exit(nullptr);
}int main()
{vector<pthread_data*> vpd;//创建多个线程for(int i = 0; i<NUM; ++i){pthread_data* pd = new pthread_data;snprintf(pd->buffer, sizeof(pd->buffer), "thread%d buy ticket:",i+1);pthread_create(&(pd->tid), nullptr, start_routine, (void*)pd);vpd.push_back(pd);}//主线程唤醒其他线程for(;;){sleep(1);pthread_cond_signal(&cond);printf("main thread wake up a thread\n");}//线程回收for(int i = 0; i<NUM; ++i){pthread_join(vpd[i]->tid, nullptr);delete vpd[i];}return 0;
}

条件变量、票数和锁都是全局变量,每个线程申请锁成功就进入条件变量等待队列。主线程每个一秒钟唤醒一个等待的线程抢票。

运行结果:

可以发现线程按12345的顺序循环抢票。

使用pthread_cond_broadcast()接口可以一次唤醒条件变量等待队列中的的所有线程,每隔一秒唤醒一次。

运行结果:

仍然是按照一定顺序抢票,只是进行抢票的线程是5个同时进行。

三、基于阻塞队列的生产消费模型

既然讲了这么半天的生产消费模型,那我们不妨实现一个。

1.阻塞队列类

首先需要搭建模型的框架,也就是实现包括生产者线程、消费者线程,还有一个储存数据的阻塞队列(缓冲区)的简单执行代码。

(1)阻塞队列

阻塞队列的实现有以下注意事项:

阻塞队列可使用C++STL中的queue实现。

由于阻塞队列是公共资源,所以必须保证它是线程安全的。生产者线程和消费者线程需要互斥访问,其实也只需要一把互斥锁就能实现生产者和消费者间的互斥。以后的生产者和生产者,消费者和消费者之间的互斥也是这样实现的。

只有阻塞队列中有数据消费者才能读取,消费者读取时,生产者不能生产,必须在等待队列中。

阻塞队列中没有数据或者数据未填满时,生产者才能生产,消费者在生产的时候,消费者不能读取,必须在等待队列中。

template<claas T>
class Blockqueue
{
public://构造函数Blockqueue(size_t capcity = MAX_NUM):_capcity(capcity){pthread_mutex_init(&_mutx, nullptr);pthread_cond_init(&_pcond, nullptr);pthread_cond_init(&_ccond, nullptr);}//析构函数~Blockqueue(){pthread_mutex_destroy(&_mutx);pthread_cond_destroy(&_pcond);pthread_cond_destroy(&_ccond);}//生产数据void push(const T& data);//消费数据void pop(T* data);
private://检测队列是否装满size_t Isfull() const{return (_q.size() == _capcity);}std::queue<T> _q;pthread_mutex_t _mutx;pthread_cond_t _pcond;pthread_cond_t _ccond;size_t _capcity;
};

为了保持生产者和消费者的互斥,我们对生产者和消费者各使用一个条件变量,用一个锁控制对阻塞队列的访问。

需要给阻塞队列储存的数据量设置一个上限,生产者线程不能无限制地生产数据。

构造函数中初始化锁和条件变量,在析构函数中释放互斥锁和条件变量。阻塞队列的容量设置一个合适的缺省值。

(2)实现生产者的生产函数

生产数据我们一般使用push作为函数名。

void push(const T& data)
{//下面的判断就开始使用共享资源,需要加锁pthread_mutex_lock(&_mutx);//如果当前队列是满的,那就需要将生产者线程加入等待队列挂起if(Isfull()){pthread_cond_wait(&_pcond, &_mutx)}_q.push(data);//唤醒消费者线程消费pthread_cond_signal(&_ccond, &_mutx);//解锁pthread_mutex_unlock(&_mutx);
}

生产者线程调用生产数据接口时,先申请锁进入临界区。

当阻塞队列满时,在生产者条件变量将线程放入等待队列中挂起。

当阻塞队列不满时,生产者生产数据到阻塞队列,由于消费者线程全部在等待,所以需要唤醒消费者线程消费数据,否则生产者会一直生产至满。

(3)实现消费者的消费函数

消费数据我们一般使用pop作为函数名。

void pop(T* data)
{//下面的判断就开始使用共享资源,需要加锁pthread_mutex_lock(&_mutx);//如果当前队列是空的,那就需要将消费者线程加入等待队列挂起if(_q.empty()){pthread_cond_wait(&_ccond, &_mutx)}//将数据输出到data中并删除*data = _q.front();_q.pop();//唤醒生产者线程生产pthread_cond_signal(&_pcond, &_mutx);//解锁pthread_mutex_unlock(&_mutx);
}

消费者线程同样先申请到锁后进入临界区。

当阻塞队列为空时,没有数据可以消费,消费者挂起等待。

当阻塞队列为不为空时,消费者消费数据,由生产者线程全部在等待,所以需要唤醒生产者线程消费数据,否则消费者会一直消费至空。

2.pthread_cond_wait为什么要传入锁

使用pthread_cond_wait接口时,必须传如一个锁,这一点我们没有解释。

线程在条件变量的等待队列中排队等待,其目的就是要拿到要访问临界资源的那把锁,申请到锁,线程就可以进入临界区。

如果一个线程拿到了锁,而又发现自己不满足条件需要挂起等待。按照之前的知识,该线程应该继续拿着锁进入条件变量的等待队列。即使其他线程被唤醒了,因为申请不到到锁,无法访问共享资源,只能被挂起。

为了解决这个问题,pthread_cond_wiat的实现大致分三个步骤:挂起该线程->释放锁->记录锁。

也就是说,只要是持有锁的线程进入等待队列,就自动释放自己持有的锁,而释放锁也是原子性操作,不会引起线程安全问题。

在最后,接口还会记录当前进程挂起时释放的锁,这也就解释了为什么唤醒线程的时候,pthread_cond_signal(pthread_cond_t* cond)只有一个参数,被唤醒线程根据记录就知道它该去申请哪把锁。

我们最终得到以下结论:

  • 参数传递的这个锁必须是正在使用的锁。
  • 调用pthread_cond_wait函数的进程,会以原子性的方式,将锁释放,并将自己挂起。
  • 线程在被唤醒的时候,会自动重新获取挂起时传入的锁。

3.生产者和消费者线程的执行函数

(1)执行函数

生产者不断生成随机数再将数据插入阻塞队列。消费者不断将随机数再从阻塞队列中拿出来。

//生产者
void* Produce(void* args)
{Blockqueue<int>* bq = (Blockqueue<int>*)args;while(1){sleep(1);int data = rand()%10;bq->push(data);printf("生产数据完成,数据为:%d\n", data);}return nullptr;
}//消费者
void* Consume(void* args)
{Blockqueue<int>* bq = (Blockqueue<int>*)args;while(1){sleep(1);int data = 0;bq->pop(&data);printf("消费数据完成,数据为:%d\n", data);}return nullptr;
}

(2)试运行

我们只创建一个生产者线程和一个消费者线程,并且让生产者每一秒生产一个数据,所以最终代码如下:

#include<iostream>
#include<queue>
#include<stdlib.h>
#include<time.h>
#include<unistd.h>
using namespace std;#define MAX_NUM 10template<class T>
class Blockqueue
{
public://构造函数Blockqueue(size_t capcity = MAX_NUM):_capcity(capcity){pthread_mutex_init(&_mutx, nullptr);pthread_cond_init(&_pcond, nullptr);pthread_cond_init(&_ccond, nullptr);}//析构函数~Blockqueue(){pthread_mutex_destroy(&_mutx);pthread_cond_destroy(&_pcond);pthread_cond_destroy(&_ccond);}//生产数据void push(const T& data){//下面的判断就开始使用共享资源,需要加锁pthread_mutex_lock(&_mutx);//如果当前队列是满的,那就需要将生产者线程加入等待队列挂起if(Isfull()){pthread_cond_wait(&_pcond, &_mutx);}_q.push(data);//唤醒消费者线程消费pthread_cond_signal(&_ccond);//解锁pthread_mutex_unlock(&_mutx);}//消费数据void pop(T* data){//下面的判断就开始使用共享资源,需要加锁pthread_mutex_lock(&_mutx);//如果当前队列是空的,那就需要将消费者线程加入等待队列挂起if(_q.empty()){pthread_cond_wait(&_ccond, &_mutx);}//将数据输出到data中并删除*data = _q.front();_q.pop();//唤醒生产者线程生产pthread_cond_signal(&_pcond);//解锁pthread_mutex_unlock(&_mutx);}private://检测队列是否装满size_t Isfull() const{return (_q.size() == _capcity);}std::queue<T> _q;pthread_mutex_t _mutx;pthread_cond_t _pcond;pthread_cond_t _ccond;size_t _capcity;
};//生产者
void* Produce(void* args)
{Blockqueue<int>* bq = (Blockqueue<int>*)args;while(1){sleep(1);int data = rand()%10;bq->push(data);printf("生产数据完成,数据为:%d\n", data);}return nullptr;
}//消费者
void* Consume(void* args)
{Blockqueue<int>* bq = (Blockqueue<int>*)args;while(1){//sleep(1);int data = 0;bq->pop(&data);printf("消费数据完成,数据为:%d\n", data);}return nullptr;
}int main()
{srand((unsigned int)time(nullptr));Blockqueue<int>* bq = new Blockqueue<int>;pthread_t tids[2];pthread_create(&tids[0], nullptr, Produce, (void*)bq);pthread_create(&tids[1], nullptr, Consume, (void*)bq);pthread_join(tids[0], nullptr);pthread_join(tids[1], nullptr);return 0;
}

运行结果:

4.部分细节处理

对于一个消费者和一个生产者的模型而言,上面的代码的确足够了。但是生产消费模型的生产者和消费者都应当有多个,此时我们就需要对其进行修改。

(1)伪唤醒问题

如果现在有多个生产者线程在进行数据生产。当阻塞队列满了以后,所有生产者线程都会在条件变量的等待队列中等待。

第一种情况,某个生产者线程调用挂起接口失败。

pthread_cond_wait即使调用失败,它也只会返回错误码,并不能阻断执行流继续向下执行。所以,即使出错,生产者还是会生成数据到阻塞队列中。

第二种情况,一个消费者线程一次唤醒所有生产者线程。

比如,现在阻塞队列满了,消费者线程消费了一个数据并且唤醒了所有的生产者线程,那么很多个生产者向阻塞队列的一个空位置生成数据,同样会出现上述问题。

上面这种情况被叫做伪唤醒,再生产者和消费者线程中都存在这个问题。所以需要让执行流只要不满足队列满或空的条件就循环执行pthread_cond_wait。执行成功了,该线程就被挂起了,执行流不再运行;执行失败了,执行流会一直调用pthread_cond_wait,执行流也不会向下操作数据。

生产数据

消费数据

(2)解锁与唤醒的顺序

在生产者生产完数据后,它需要做两件事:唤醒消费者线程和归还锁。

对于消费者进程也是一样的:唤醒生产者线程和归还锁。

由于唤醒线程是不对共享资源进行操作的,所以对于唤醒线程和解锁的顺序谁先谁后都可以。只是更建议先唤醒再解锁。

5.处理任务的生产消费模型

(1)代码改造

我们使用生产消费模型可不是用来保存随机数的,而是用它处理任务的。

我们可以写一个保存计算方法的任务类,从而实现一个随机数计算器。

任务类

//任务类
class Task
{typedef std::function<int(int,int,char)> func_t;
public://默认构造Task(){}//构造函数Task(int a, int b, char op, func_t func):_a(a),_b(b),_op(op),_func(func){}//仿函数string operator()(){int result = _func(_a, _b, _op);char buffer[64];snprintf(buffer, sizeof(buffer), "%d %c %d = %d\n", _a, _op, _b, result);string s(buffer);return s;}//显示任务string show_task(){char buffer[64];snprintf(buffer, sizeof(buffer), "%d %c %d = ?\n", _a, _op, _b);string s(buffer);return s;}
private:func_t _func;int _a;int _b;char _op;
};

设置处理任务的函数,修改生产者和消费者线程执行的函数。

//计算器函数
const string ops = "+-*/%";
int calculate(int a, int b, char op)
{int result = 0;switch(op){case '+':result = a + b;break;case '-':result = a - b;break;case '*':result = a * b;break;case '/':{if(b == 0)cerr << "除数不能为0\n";elseresult = a / b;}break;case '%':{if(b == 0)cerr << "取模的数字不能为0\n";elseresult = a % b;}break;default:break;}return result;
}//生产者
void* Produce(void* args)
{Blockqueue<Task>* bq = (Blockqueue<Task>*)args;while(1){sleep(1);int a = rand()%10;int b = rand()%10;int opnum = rand()%ops.size();Task data(a, b, ops[opnum], calculate);string s = "数据生产完成,需要计算:";bq->push(data);s += data.show_task().c_str();cout << s;}return nullptr;
}

(2)运行

在主线程中多创建几个线程就可以运行了。

总代码如下:

#include<iostream>
#include<queue>
#include<stdlib.h>
#include<time.h>
#include<unistd.h>
#include<functional>
using namespace std;#define MAX_NUM 10//任务类
class Task
{typedef std::function<int(int,int,char)> func_t;
public://默认构造Task(){}//构造函数Task(int a, int b, char op, func_t func):_a(a),_b(b),_op(op),_func(func){}//仿函数string operator()(){int result = _func(_a, _b, _op);char buffer[64];snprintf(buffer, sizeof(buffer), "%d %c %d = %d\n", _a, _op, _b, result);string s(buffer);return s;}//显示任务string show_task(){char buffer[64];snprintf(buffer, sizeof(buffer), "%d %c %d = ?\n", _a, _op, _b);string s(buffer);return s;}
private:func_t _func;int _a;int _b;char _op;
};template<class T>
class Blockqueue
{
public://构造函数Blockqueue(size_t capcity = MAX_NUM):_capcity(capcity){pthread_mutex_init(&_mutx, nullptr);pthread_cond_init(&_pcond, nullptr);pthread_cond_init(&_ccond, nullptr);}//析构函数~Blockqueue(){pthread_mutex_destroy(&_mutx);pthread_cond_destroy(&_pcond);pthread_cond_destroy(&_ccond);}//生产数据void push(const T& data){//下面的判断就开始使用共享资源,需要加锁pthread_mutex_lock(&_mutx);//如果当前队列是满的,那就需要将生产者线程加入等待队列挂起while(Isfull()){pthread_cond_wait(&_pcond, &_mutx);}_q.push(data);//唤醒消费者线程消费pthread_cond_signal(&_ccond);//解锁pthread_mutex_unlock(&_mutx);}//消费数据void pop(T* data){//下面的判断就开始使用共享资源,需要加锁pthread_mutex_lock(&_mutx);//如果当前队列是空的,那就需要将消费者线程加入等待队列挂起while(_q.empty()){pthread_cond_wait(&_ccond, &_mutx);}//将数据输出到data中并删除*data = _q.front();_q.pop();//唤醒生产者线程生产pthread_cond_signal(&_pcond);//解锁pthread_mutex_unlock(&_mutx);}private://检测队列是否装满size_t Isfull() const{return (_q.size() == _capcity);}std::queue<T> _q;pthread_mutex_t _mutx;pthread_cond_t _pcond;pthread_cond_t _ccond;size_t _capcity;
};//计算器函数
const string ops = "+-*/%";
int calculate(int a, int b, char op)
{int result = 0;switch(op){case '+':result = a + b;break;case '-':result = a - b;break;case '*':result = a * b;break;case '/':{if(b == 0)cerr << "除数不能为0\n";elseresult = a / b;}break;case '%':{if(b == 0)cerr << "取模的数字不能为0\n";elseresult = a % b;}break;default:break;}return result;
}//生产者
void* Produce(void* args)
{Blockqueue<Task>* bq = (Blockqueue<Task>*)args;while(1){sleep(1);int a = rand()%10;int b = rand()%10;int opnum = rand()%ops.size();Task data(a, b, ops[opnum], calculate);string s = "数据生产完成,需要计算:";bq->push(data);s += data.show_task().c_str();cout << s;}return nullptr;
}//消费者
void* Consume(void* args)
{Blockqueue<Task>* bq = (Blockqueue<Task>*)args;while(1){//sleep(1);Task data;string s = "数据消费完成,计算结果为:";bq->pop(&data);string result = data();s += result;cout << s;}return nullptr;
}#define NUM_PRODUCE 3
#define NUM_CONSUME 3int main()
{srand((unsigned int)time(nullptr));Blockqueue<Task>* bq = new Blockqueue<Task>;pthread_t ptids[NUM_PRODUCE];pthread_t ctids[NUM_CONSUME];//创建多个生产者线程for(int i = 0; i<NUM_PRODUCE; ++i){pthread_create(&ptids[i], nullptr, Produce, (void*)bq);}//创建多个消费者线程for(int i = 0; i<NUM_CONSUME; ++i){pthread_create(&ctids[i], nullptr, Consume, (void*)bq);}//回收所有线程for(int i = 0; i<NUM_PRODUCE; ++i){pthread_join(ptids[i], nullptr);}for(int i = 0; i<NUM_CONSUME; ++i){pthread_join(ctids[i], nullptr);}return 0;
}

运行结果:

有一个地方我一直没说,像cout 所以我们在打印信息时尽量使用单句printf或者cout

6.生产消费模型为何高效

该模型中,多个生产者线程向阻塞队列生成数据,多个消费者线程也从阻塞队列中消费数据。

各生产消费者线程之间互斥关系,各线程对于阻塞队列的访问是串行的。同一时间访问阻塞队列的线程只有一个,拿这样又何来高效呢?

注意观察程序的运行逻辑,我们能发现只有临界区的代码是串行的,其他代码所有线程都是并发执行的。这些非临界区的代码通常耗时长,而它们是并发的,所以该模型的效率就变得很高。

结论:生产消费模型的高效不体现在对临界资源的访问上,而是体现在对非临界区代码的并发执行上。

四、双阻塞队列的生产消费模型

我么们可以使用上面的生产者消费者模型,将消费者处理完的计算任务保存成日志,并储存到磁盘上。

所以该模型有两个阻塞队列,一个阻塞队列用于保存计算任务,另一个阻塞队列用于保存保存任务。原来的生产者线程还是生产者,原来的消费者作为中间的线程,既是消费者也是生产者,保存线程是消费者。

1.编写类代码

我们需要构建四个类:计算任务类、保存任务类、阻塞队列类和多队列集合类。

  • 计算任务类就是之前的Task类,我们其他代码不用动,对它改个CalTask的名字就可以。
  • 保存任务类与计算任务类很相似,需要传入一个string表示需要打印的信息,还有一个函数对象表示保存数据的具体执行函数。
  • 阻塞队列类也不用改
  • 多队列集合类是为了线程执行函数的void* args传参设计的,包含了两个阻塞队列指针。
//计算任务类
class CalTask
{typedef std::function<int(int,int,char)> func_t;
public://默认构造CalTask(){}//构造函数CalTask(int a, int b, char op, func_t func):_a(a),_b(b),_op(op),_func(func){}//仿函数string operator()(){int result = _func(_a, _b, _op);char buffer[64];snprintf(buffer, sizeof(buffer), "%d %c %d = %d\n", _a, _op, _b, result);string s(buffer);return s;}//显示任务string show_task(){char buffer[64];snprintf(buffer, sizeof(buffer), "%d %c %d = ?\n", _a, _op, _b);string s(buffer);return s;}
private:func_t _func;int _a;int _b;char _op;
};//保存任务类
class SaveTask
{typedef function<void(const string&)> func_t;
public://默认构造SaveTask(){}//构造函数SaveTask(string message, func_t func):_message(message),_func(func){}//仿函数void operator()(){_func(_message);}
private:string _message;func_t _func;
};//阻塞队列类
template<class T>
class Blockqueue
{
public://构造函数Blockqueue(size_t capcity = MAX_NUM):_capcity(capcity){pthread_mutex_init(&_mutx, nullptr);pthread_cond_init(&_pcond, nullptr);pthread_cond_init(&_ccond, nullptr);}//析构函数~Blockqueue(){pthread_mutex_destroy(&_mutx);pthread_cond_destroy(&_pcond);pthread_cond_destroy(&_ccond);}//生产数据void push(const T& data){//下面的判断就开始使用共享资源,需要加锁pthread_mutex_lock(&_mutx);//如果当前队列是满的,那就需要将生产者线程加入等待队列挂起while(Isfull()){pthread_cond_wait(&_pcond, &_mutx);}_q.push(data);//唤醒消费者线程消费pthread_cond_signal(&_ccond);//解锁pthread_mutex_unlock(&_mutx);}//消费数据void pop(T* data){//下面的判断就开始使用共享资源,需要加锁pthread_mutex_lock(&_mutx);//如果当前队列是空的,那就需要将消费者线程加入等待队列挂起while(_q.empty()){pthread_cond_wait(&_ccond, &_mutx);}//将数据输出到data中并删除*data = _q.front();_q.pop();//唤醒生产者线程生产pthread_cond_signal(&_pcond);//解锁pthread_mutex_unlock(&_mutx);}private://检测队列是否装满size_t Isfull() const{return (_q.size() == _capcity);}std::queue<T> _q;pthread_mutex_t _mutx;pthread_cond_t _pcond;pthread_cond_t _ccond;size_t _capcity;
};//多队列集合类
template<class A,class B>
class Blockqueues
{
public:Blockqueue<A>* _q1;Blockqueue<B>* _q2;
};

2.增加处理保存任务的函数

我们之前对计算任务有一个处理函数calculate,那处理保存任务也同样需要一个函数Savedata。

//保存函数
void Savedata(const string& message)
{//需要保存信息的文件char buffer[64] = "log.txt";//按追加方式打开文件FILE* fp = fopen(buffer, "a");if(fp == nullptr){cerr << "文件打开失败" << endl;return;}fprintf(fp, "%s", message.c_str());fclose(fp);
}

3.更改线程函数

生产者线程此时依旧生产,只不过生产的位置是第一个阻塞队列。

消费者线程此时也成为了后一个模型的生产者,那就需要添加向第二个队列生产的代码。

保存者线程此时是消费者,从第二个队列中取任务执行。

//生产者
void* Produce(void* args)
{Blockqueues<CalTask, SaveTask>* bqs = (Blockqueues<CalTask, SaveTask>*)args;//生产数据while(1){sleep(1);int a = rand()%10;int b = rand()%10;int opnum = rand()%ops.size();CalTask data(a, b, ops[opnum], calculate);string s = "数据生产完成,需要计算:";bqs->_q1->push(data);s += data.show_task().c_str();cout << s;}return nullptr;
}//消费者
void* Consume(void* args)
{Blockqueues<CalTask, SaveTask>* bqs = (Blockqueues<CalTask, SaveTask>*)args;while(1){//消费数据//sleep(1);CalTask data;string s1 = "数据消费完成,计算结果为:";bqs->_q1->pop(&data);string result = data();s1 += result;cout << s1;//生成待保存的数据string s2 = "数据保存任务推送完毕\n";SaveTask task = SaveTask(result, Savedata);bqs->_q2->push(task);cout << s2;}return nullptr;
}void* Save(void* args)
{Blockqueues<CalTask, SaveTask>* bqs = (Blockqueues<CalTask, SaveTask>*)args;while(1){//sleep(1);SaveTask data;string s = "数据保存完成\n";bqs->_q2->pop(&data);data();cout << s;}return nullptr;
}

4.更改main函数

最后我们在main函数中创建两个队列,创建三种线程最后加上回收代码就可以了。

所以总代码如下:

produce_consume.h

#include<iostream>
#include<queue>
#include<stdlib.h>
#include<time.h>
#include<unistd.h>
#include<functional>
#include<stdio.h>
#define MAX_NUM 10
using namespace std;
//计算任务类
class CalTask
{typedef std::function<int(int,int,char)> func_t;
public://默认构造CalTask(){}//构造函数CalTask(int a, int b, char op, func_t func):_a(a),_b(b),_op(op),_func(func){}//仿函数string operator()(){int result = _func(_a, _b, _op);char buffer[64];snprintf(buffer, sizeof(buffer), "%d %c %d = %d\n", _a, _op, _b, result);string s(buffer);return s;}//显示任务string show_task(){char buffer[64];snprintf(buffer, sizeof(buffer), "%d %c %d = ?\n", _a, _op, _b);string s(buffer);return s;}
private:func_t _func;int _a;int _b;char _op;
};//保存任务类
class SaveTask
{typedef function<void(const string&)> func_t;
public://默认构造SaveTask(){}//构造函数SaveTask(string message, func_t func):_message(message),_func(func){}//仿函数void operator()(){_func(_message);}
private:string _message;func_t _func;
};//阻塞队列类
template<class T>
class Blockqueue
{
public://构造函数Blockqueue(size_t capcity = MAX_NUM):_capcity(capcity){pthread_mutex_init(&_mutx, nullptr);pthread_cond_init(&_pcond, nullptr);pthread_cond_init(&_ccond, nullptr);}//析构函数~Blockqueue(){pthread_mutex_destroy(&_mutx);pthread_cond_destroy(&_pcond);pthread_cond_destroy(&_ccond);}//生产数据void push(const T& data){//下面的判断就开始使用共享资源,需要加锁pthread_mutex_lock(&_mutx);//如果当前队列是满的,那就需要将生产者线程加入等待队列挂起while(Isfull()){pthread_cond_wait(&_pcond, &_mutx);}_q.push(data);//唤醒消费者线程消费pthread_cond_signal(&_ccond);//解锁pthread_mutex_unlock(&_mutx);}//消费数据void pop(T* data){//下面的判断就开始使用共享资源,需要加锁pthread_mutex_lock(&_mutx);//如果当前队列是空的,那就需要将消费者线程加入等待队列挂起while(_q.empty()){pthread_cond_wait(&_ccond, &_mutx);}//将数据输出到data中并删除*data = _q.front();_q.pop();//唤醒生产者线程生产pthread_cond_signal(&_pcond);//解锁pthread_mutex_unlock(&_mutx);}private://检测队列是否装满size_t Isfull() const{return (_q.size() == _capcity);}std::queue<T> _q;pthread_mutex_t _mutx;pthread_cond_t _pcond;pthread_cond_t _ccond;size_t _capcity;
};//多队列集合类
template<class A,class B>
class Blockqueues
{
public:Blockqueue<A>* _q1;Blockqueue<B>* _q2;
};

produce_consume.cc

#include"produce_consume.h"
using namespace std;//计算器函数
const string ops = "+-*/%";
int calculate(int a, int b, char op)
{int result = 0;switch(op){case '+':result = a + b;break;case '-':result = a - b;break;case '*':result = a * b;break;case '/':{if(b == 0)cerr << "除数不能为0\n";elseresult = a / b;}break;case '%':{if(b == 0)cerr << "取模的数字不能为0\n";elseresult = a % b;}break;default:break;}return result;
}//保存函数
void Savedata(const string& message)
{//需要保存信息的文件char buffer[64] = "log.txt";//按追加方式打开文件FILE* fp = fopen(buffer, "a");if(fp == nullptr){cerr << "文件打开失败" << endl;return;}fprintf(fp, "%s", message.c_str());fclose(fp);
}//生产者
void* Produce(void* args)
{Blockqueues<CalTask, SaveTask>* bqs = (Blockqueues<CalTask, SaveTask>*)args;//生产数据while(1){sleep(1);int a = rand()%10;int b = rand()%10;int opnum = rand()%ops.size();CalTask data(a, b, ops[opnum], calculate);string s = "数据生产完成,需要计算:";bqs->_q1->push(data);s += data.show_task().c_str();cout << s;}return nullptr;
}//消费者
void* Consume(void* args)
{Blockqueues<CalTask, SaveTask>* bqs = (Blockqueues<CalTask, SaveTask>*)args;while(1){//消费数据//sleep(1);CalTask data;string s1 = "数据消费完成,计算结果为:";bqs->_q1->pop(&data);string result = data();s1 += result;cout << s1;//生成待保存的数据string s2 = "数据保存任务推送完毕\n";SaveTask task = SaveTask(result, Savedata);bqs->_q2->push(task);cout << s2;}return nullptr;
}void* Save(void* args)
{Blockqueues<CalTask, SaveTask>* bqs = (Blockqueues<CalTask, SaveTask>*)args;while(1){//sleep(1);SaveTask data;string s = "数据保存完成\n";bqs->_q2->pop(&data);data();cout << s;}return nullptr;
}#define NUM_PRODUCE 3
#define NUM_CONSUME 3
#define NUM_SAVE 3int main()
{srand((unsigned int)time(nullptr));Blockqueues<CalTask, SaveTask>* bqs = new Blockqueues<CalTask, SaveTask>();bqs->_q1 = new Blockqueue<CalTask>();bqs->_q2 = new Blockqueue<SaveTask>();pthread_t ptids[NUM_PRODUCE];pthread_t ctids[NUM_CONSUME];pthread_t stids[NUM_SAVE];//创建多个生产者线程for(int i = 0; i<NUM_PRODUCE; ++i){pthread_create(&ptids[i], nullptr, Produce, (void*)bqs);}//创建多个消费者线程for(int i = 0; i<NUM_CONSUME; ++i){pthread_create(&ctids[i], nullptr, Consume, (void*)bqs);}//创建多个保存者线程for(int i = 0; i<NUM_CONSUME; ++i){pthread_create(&stids[i], nullptr, Save, (void*)bqs);}//回收所有线程for(int i = 0; i<NUM_PRODUCE; ++i){pthread_join(ptids[i], nullptr);}for(int i = 0; i<NUM_CONSUME; ++i){pthread_join(ctids[i], nullptr);}for(int i = 0; i<NUM_SAVE; ++i){pthread_join(stids[i], nullptr);}return 0;
}

运行结果:

目录中确实多了一个log.txt,也能看出线程的具体执行轨迹。

基于阻塞队列的生产者消费者模型是线程同步与互斥的充分应用,现实中很多场景都可以应用,是线程中的一大杀器。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/70790.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

uniapp移动端h5设计稿还原

思路 动态设置html的font-size大小 实现步骤 先创建一个public.css文件&#xff0c;设置初始的font-size大小 /* 注意这样写 只能使用css文件, scss 是不支持的, setProperty 只适用于原生css上 */ html {--gobal-font-size: 0.45px; } .gobal-font-size {font-size: var(--g…

leetcode 655. 输出二叉树(java)

输出二叉树 题目描述代码演示 题目描述 难度 - 中等 leetcode 655. 输出二叉树 给你一棵二叉树的根节点 root &#xff0c;请你构造一个下标从 0 开始、大小为 m x n 的字符串矩阵 res &#xff0c;用以表示树的 格式化布局 。构造此格式化布局矩阵需要遵循以下规则&#xff1a…

Python接口自动化封装导出excel方法和读写excel数据

一、首先需要思考&#xff0c;我们在页面导出excel&#xff0c;用python导出如何写入文件的 封装前需要确认python导出excel接口返回的是一个什么样的数据类型 如下&#xff1a;我们先看下不对返回结果做处理&#xff0c;直接接收数据类型是一个对象&#xff0c;无法获取返回值…

IOC和注解

想要学好spring&#xff0c;必须时时刻刻想着&#xff0c;spring的本质就是一个容器&#xff0c;放java对象的容器&#xff0c;java对象在spring容器中也叫做bean对象。 文章目录 一、spring介绍1、什么是框架2、框架的作用![在这里插入图片描述](https://img-blog.csdnimg.cn…

这几招真管用!找回丢失的iPhone的好方法!

你昂贵的iPhone不见了。它丢了吗?它被偷了吗?如果你把iPhone弄丢了,你可以从各种其他来源找到它,包括iPad、Mac、iCloud和Apple Watch。 你可以使用iCloud网站上的苹果“查找我的”应用程序、你的任何其他苹果设备或你家人注册的设备来追踪它。或者从“查找我的”应用程序…

Java基础知识点汇总

一、Java基础知识点整体框架 详细知识点见链接资源&#xff0c;注&#xff1a;框架是用Xmind App完成&#xff0c;查看需下载。 二、基础知识各部分概况 2.1 认识Java 2.2 数据类型和变量 2.3 运算符 2.4 程序逻辑控制 2.5 方法的使用 2.6 数组的定义和使用 2.7 类和对象 2.8 …

移植STM32官方加密库STM32Cryptographic

感谢这位博主&#xff0c;文章具有很高的参考价值&#xff1a; STM32F1做RSA&#xff0c;AES数据加解密&#xff0c;MD5信息摘要处理_我以为我爱了的博客-CSDN博客 概述 ST官方在很多年前就推出了自己的加密库&#xff0c;配合ST芯片用起来非常方便&#xff0c;支持ST的所有…

借助CIFAR10模型结构理解卷积神经网络及Sequential的使用

CIFAR10模型搭建 CIFAR10模型结构 0. input : 332x32&#xff0c;3通道32x32的图片 --> 特征图(Feature maps) : 3232x32即经过32个35x5的卷积层&#xff0c;输出尺寸没有变化&#xff08;有x个特征图即有x个卷积核。卷积核的通道数与输入的通道数相等&#xff0c;即35x5&am…

SpringCloud(十)——ElasticSearch简单了解(一)初识ElasticSearch和RestClient

文章目录 1. 初始ElasticSearch1.1 ElasticSearch介绍1.2 安装并运行ElasticSearch1.3 运行kibana1.4 安装IK分词器 2. 操作索引库和文档2.1 mapping属性2.2 创建索引库2.3 对索引库的查、删、改2.4 操作文档 3. RestClient3.1 初始化RestClient3.2 操作索引库3.3 操作文档 1. …

网络技术二十二:NATPPP

NAT 转换流程 产生背景 定义 分类 常用命令 PPP PPP会话建立过程 认证 PPP会话流程

第 3 章 栈和队列(循环队列的顺序存储结构实现)

1. 背景说明 和顺序栈相类似&#xff0c;在队列的顺序存储结构中&#xff0c;除了用一组地址连续的存储单元依次存放从队列头到队列尾的元素之外&#xff0c; 尚需附设两个指针 front 和 rear 分别指示队列头元素及队列尾元素的位置。约定&#xff1a;初始化建空队列时&#x…

qt nodeeditor编译安装

目录 1. 下载源码 2. Qt creator编译源码 2.1 编译debug模式 &#xff08;MinGW&#xff09; 2.2 编译release模式 &#xff08;MinGW&#xff09; 1. 下载源码 https://github.com/paceholder/nodeeditor/archive/refs/tags/3.0.10.zip 2. Qt creator编译源码 解压文件…

Java 数据库改了一个字段, 前端传值后端接收为null问题解决

前端传值后端为null的原因可能有很多种&#xff0c;我遇到一个问题是&#xff0c;数据库修改了一个字段&#xff0c;前端传值了&#xff0c;但是后台一直接收为null值&#xff0c; 原因排查&#xff1a; 1、字段没有匹配上&#xff0c;数据库字段和前端字段传值不一致 2、大…

c语言 4.0

&#x1f482; 个人主页: 程序员爱摸鱼&#x1f91f; 版权: 本文由【程序员爱摸鱼】原创、在CSDN首发、需要转载请联系博主&#x1f4ac; 如果文章对你有帮助、欢迎关注点赞收藏(一键三连)哦&#x1f485; 想寻找共同成长的小伙伴&#xff0c;可以互粉哦 &#x1f4ac;文章目录…

软件架构设计(六) 软件架构风格-MDA(模型驱动架构)

概念 模型驱动架构MDA, 全称叫做Model Driven Architecture。 Model:表示客观事物的抽象表示Architecture:表示构成系统的部件,连接件及其约束的规约Model Driven: 使用模型完成软件的分析,设计,构建,部署和维护等 开发活动MDA起源于分离系统规约和平台实现的思想。之前…

stable diffusion实践操作-复制-清空-保存提示词

系列文章目录 stable diffusion实践操作 stable diffusion实践操作-webUI教程 提示&#xff1a;写完文章后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 系列文章目录前言一、右上生成图标附近按钮介绍1. 箭头介绍&#xff08;复现别人的…

视频汇聚/视频云存储/视频监控管理平台EasyCVR启动时打印starting server:listen tcp,该如何解决?

视频云存储/安防监控EasyCVR视频汇聚平台基于云边端智能协同&#xff0c;可实现视频监控直播、视频轮播、视频录像、云存储、回放与检索、智能告警、服务器集群、语音对讲、云台控制、电子地图、H.265自动转码H.264、平台级联等。为了便于用户二次开发、调用与集成&#xff0c;…

JSON是什么?认识 json

目录 一 Json定义 二 Json语法规则 三 json 的代码演示 一 Json定义 轻量级的文本数据交换格式具有自我描述性【看到某个Json数据就能知道它的特点】比xml传输速度快【跨平台】 二 Json语法规则 &#xff08;1&#xff09;语法 两种数据结构&#xff1a;对象和数组 大括号…

Qt6中使用Qt Charts

官方文档&#xff1a;Qt Charts 6.5.2 如果你是使用 CMake 构建的&#xff0c;则应在 CMakeLists.txt 中添加如下两行代码&#xff1a; find_package(Qt6 REQUIRED COMPONENTS Charts)target_link_libraries(mytarget PRIVATE Qt6::Charts) 其中 mytarget 为你的项目名称。一共…

SpringBoot初级开发--服务请求(GET/POST)所有参数的记录管理(8)

服务端在定位错误的时候&#xff0c;有时候要还原现场&#xff0c;这就要把当时的所有入参参数都能记录下来&#xff0c;GET还好说&#xff0c;基本NGINX都会记录。但是POST的请求参数基本不会被记录&#xff0c;这就需要我们通过一些小技巧来记录这些参数&#xff0c;放入日志…