【Linux系统化学习】生产者消费者模型（阻塞队列和环形队列）

目录

生产者消费者模型

什么是生产者消费者模型

为什么要使用生产者消费者模型

生产者消费者模型的优点

为什么生产者和生产者要互斥？

为什么消费者和消费者要互斥？

为什么生产者和消费者既是互斥又是同步？

基于BlockingQueue的生产者消费者模型 

BlockingQueue

阻塞队列实现

使用阻塞队列实现单生产单消费模型

POSIX信号量

信号量的PV操作

信号量的操作

初始化信号量

销毁信号量

等待信号量（P操作）

 发布信号量（V操作）

基于环形队列的生产者消费者模型

环形队列实现

 使用环形队列实现单生产单消费模型

生产者消费者模型

什么是生产者消费者模型

生产者消费者模型是一种用于解决多线程或多进程间协作的经典问题。在这个模型中，有两种角色：生产者和消费者。生产者负责生成数据，并将其放入共享的缓冲区中，而消费者则负责从缓冲区中取出数据进行处理。这种模型的目标是保持生产者和消费者之间的同步，以避免生产者试图向已满的缓冲区添加数据，或消费者试图从空缓冲区中获取数据。

为什么要使用生产者消费者模型

生产者消费者模式就是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。这个阻塞队列就是用来给生产者和消费者解耦的。

生产者消费者模型的优点

  • 解耦
  • 支持并发
  • 支持忙闲不均

总结：

  • 三种关系
  1.         生产者和生产者（互斥）
  2.         消费者和消费者（互斥）
  3.         消费者和生产者 （互斥&&同步）
  • 两种角色
  1.         生产者
  2.         消费者
  • 一个交易场所——内存空间 

为什么生产者和生产者要互斥？

我们可以这样来理解：当含有很多个生产者的时候，第一个生产者在第一个内存中放一个数据，第二个生产者也在第一个内存中放一个数据，覆盖第一个生产者在内存中的数据，两个生产者会产生竞争关系；那么会造成第一个内存中数据的不一致性；所以要互斥。

为什么消费者和消费者要互斥？

当只含有一个数据时候，来了两个消费者，这两个消费者也是竞争关系；因此要互斥； 

为什么生产者和消费者既是互斥又是同步？

当一个生产者在一个内存中放一个数据，消费者瞬间就会拿取这两个数据，那么生产者到底放没放数据？两者竞争关系；当内存中没数据的时候，消费者是拿不到数据的，因此要生产者放入数据消费者才可以拿取数据，具有一定的顺序性，因此又是同步的。

基于BlockingQueue的生产者消费者模型 

BlockingQueue

在多线程编程中阻塞队列(Blocking Queue)是一种常用于实现生产者和消费者模型的数据结构。其与普通的队列区别在于，当队列为空时，从队列获取元素的操作将会被阻塞，直到队列中被放入了元素；当队列满时，往队列里存放元素的操作也会被阻塞，直到有元素被从队列中取出(以上的操作都是基于不同的线程来说的，线程在对阻塞队列进程操作时会被阻塞)

阻塞队列实现

#pragma once
#include <iostream>
#include <pthread.h>
#include <queue>
const int defauletcap = 5;
template <class T>
class BlockQueue
{
public:BlockQueue(int cap = defauletcap) : _capacity(cap){pthread_mutex_init(&_mutex, nullptr);pthread_cond_init(&_p_cond, nullptr);pthread_cond_init(&_c_cond, nullptr);}bool IsFull(){return _q.size() == _capacity;}void Push(const T &in){pthread_mutex_lock(&_mutex); // 每个关系都是互斥的while (IsFull()){// 满了// 阻塞等待pthread_cond_wait(&_p_cond, &_mutex);}_q.push(in);// 有数据了通知消费者取数据pthread_cond_signal(&_c_cond);pthread_mutex_unlock(&_mutex);}bool IsEmpty(){return _q.size() == 0;}void Pop(T *out){pthread_mutex_lock(&_mutex);while (IsEmpty()){// 空了// 阻塞等待pthread_cond_wait(&_c_cond, &_mutex);}*out = _q.front();_q.pop();// 取了一个数据通知生产者生产数据pthread_cond_signal(&_p_cond);pthread_mutex_unlock(&_mutex);}~BlockQueue(){pthread_mutex_destroy(&_mutex);pthread_cond_destroy(&_p_cond);pthread_cond_destroy(&_c_cond);}private:std::queue<T> _q;int _capacity;pthread_mutex_t _mutex; // 每个关系都是互斥的，同一时刻只能有一个线程访问数据pthread_cond_t _p_cond; // 生产者的环境变量pthread_cond_t _c_cond; // 消费者的环境变量
};

使用阻塞队列实现单生产单消费模型

#include<iostream>
#include<pthread.h>
#include<unistd.h>
#include"BlockQueue.hpp"
void* consumer(void* args)
{BlockQueue<int> *bp = static_cast<BlockQueue<int>*>(args);while(true){//消费者先休息，生产者瞬间打满队列sleep(1);int data=0;bp->Pop(&data);std::cout<<"consumer data:"<<data<<std::endl;}return nullptr;
}
void* productor(void* args)
{BlockQueue<int> *bp = static_cast<BlockQueue<int>*>(args);while(true){int data = rand()%10+1;bp->Push(data);std::cout<<"productor data:"<<data<<std::endl;}return nullptr;
}
int main()
{srand(uint16_t(time(nullptr)^getpid()*pthread_self()));BlockQueue<int> *bp = new BlockQueue<int>();pthread_t c,p;pthread_create(&c,nullptr,consumer,bp);pthread_create(&p,nullptr,productor,bp);pthread_join(c,nullptr);pthread_join(p,nullptr);return 0;
}

 

注：

  • 生产者和消费者谁先调度我们不清楚，是由调度算法和CPU来决定；因为消费者线程先运行由于队列中没有数据会被阻塞。但是可以确定的是一定是生产者进入阻塞队列填充数据；有了数据以后消费者才可以从阻塞队列中取数据。 
  • 生产者消费者模型的高效并不体现在交易场所，因为交易产所不论是生产者还是消费者只能有一个线程进入，高效率而是体现在生产数据并发和获得处理数据并发；

上面的代码只需要创建一个生产者数组和消费者数组即可实现多生产者多消费者模型

POSIX信号量

当我们在上面使用阻塞队列实现生产者消费者模型的时候，虽然是多生产者但是在内存中放数据的时候只能有一个线程必须先申请锁最后在释放锁，因此每个线程放数据是串行的。这样会降低效率，我们可以使用信号量解决这个问题。

  • 信号量本质是一个计数器，是描述临界资源中资源数目的计数器，信号量能够更细粒度的对临界资源进行管理

  • 每个执行流在进入临界区之前都应先申请信号量，申请成功就有了操作临界资源的权限，当操作完毕后就应该释放信号量

信号量的PV操作

信号量的P操作：将申请信号量称为P操作，申请信号量的本质就是申请获得临界资源中某块资源的使用权限，当申请成功时临界资源中资源的数目应该减一，因此P操作的本质就是让计数器减一

信号量的V操作：释放信号量称为V操作，释放信号量的本质就是归还临界资源中某块资源的使用权限，当释放成功时临界资源中资源的数目就应该加一，因此V操作的本质就是让计数器加一

注：

  • 信号量的PV操作时原子的
  • 信号量申请失败会被挂起等待
  • 信号量并不仅仅是一个计数器，还包括一个等待队列

信号量的操作

初始化信号量

#include <semaphore.h>
int sem_init(sem_t *sem, int pshared, unsigned int value);

参数
pshared:0表示线程间共享，非零表示进程间共享
value：信号量初始值 

销毁信号量

int sem_destroy(sem_t *sem);

等待信号量（P操作）

功能：等待信号量，会将信号量的值减1
int sem_wait(sem_t *sem); //P()

 发布信号量（V操作）

功能：发布信号量，表示资源使用完毕，可以归还资源了。将信号量值加1。
int sem_post(sem_t *sem);//V()

基于环形队列的生产者消费者模型

环形队列采用数组模拟，用模运算来模拟环状特性

环形结构起始状态和结束状态都是一样的，不好判断为空或者为满，所以可以通过加计数器或者标记位来判断满或者空。另外也可以预留一个空的位置，作为满的状态。

 

但是我们现在有信号量这个计数器，就很简单的进行多线程间的同步过程。

总结：

  • 当消费者阻塞的时候，生产者疯狂生产时，生产者不能把消费者套圈。
  • 当生产者阻塞的时候，消费者疯狂消费时，消费者不能超过生产者，必须在生产者的后面。
  • 生产者和消费者，只有两种情况会指向同一个位置，其他情况根本就不会指向同一个位置。
  1. 为空（只能让生产者跑）
  2. 为满（只能让消费者跑）
  • 空间资源不够时，生产者不在生产；数据资源不够时，消费者不在消费。

上面的是单生产和单消费，不能直接改为多生产和多消费时，因为读写位置的坐标只有一个。为了保证这一点，我们可以加锁。

环形队列实现

#pragma noce
#include <iostream>
#include <vector>
#include <semaphore.h>
using namespace std;
const int defaultsize = 5;template <class T>
class RingQueue
{
private:void P(sem_t &sem){sem_wait(&sem);}void V(sem_t &sem){sem_post(&sem);}public:RingQueue(int size = defaultsize): _ringqueue(size), _size(size), _p_step(0), _c_step(0){sem_init(&_space_sem, 0, size);sem_init(&_data_sem, 0, 0);pthread_mutex_init(&_p_lock,nullptr);pthread_mutex_init(&_c_lock,nullptr);}void Push(const T &in){// 生产// P操作// 申请空间资源P(_space_sem);//先申请信号量，再申请锁pthread_mutex_lock(&_p_lock);{_ringqueue[_p_step] = in;_p_step++;_p_step %= _size; // 防止越界}pthread_mutex_unlock(&_p_lock);V(_data_sem); // 多生产一个数据}void Pop(T *out){// 消费// P操作// 申请数据资源P(_data_sem);pthread_mutex_lock(&_c_lock);{*out = _ringqueue[_c_step];_c_step++;_c_step %= _size; // 防止越界}pthread_mutex_unlock(&_c_lock);V(_space_sem); // 多释放了一个空间}~RingQueue(){sem_destroy(&_space_sem);sem_destroy(&_data_sem);pthread_mutex_destroy(&_p_lock);pthread_mutex_destroy(&_c_lock);}private:std::vector<T> _ringqueue;int _size;int _p_step; // 生产者的位置int _c_step; // 消费者的位置sem_t _space_sem; // 空间信号量sem_t _data_sem;  // 数据信号量pthread_mutex_t _p_lock;pthread_mutex_t _c_lock;
};

 使用环形队列实现单生产单消费模型

#include <iostream>
#include <unistd.h>
#include <pthread.h>
#include <semaphore.h>
#include "RingQueue.hpp"
using namespace std;
void *Producter(void *args)
{RingQueue<int> *rq = static_cast<RingQueue<int> *>(args);int cnt = 100;while (true){rq->Push(cnt);cout << "product done, data is :" << cnt << endl;cnt--;}
}
void *Consumer(void *args)
{RingQueue<int> *rq = static_cast<RingQueue<int> *>(args);while (true){sleep(1);int data = 0;rq->Pop(&data);cout << "consumer done , data is :" << data << endl;}
}
int main()
{pthread_t c, p;RingQueue<int> *rq = new RingQueue<int>();pthread_create(&p, nullptr, Producter, rq);pthread_create(&c, nullptr, Consumer, rq);pthread_join(p,nullptr);pthread_join(c,nullptr);return 0;
}

今天对生产者消费者模型的分享到这就结束了，希望大家读完后有很大的收获，也可以在评论区点评文章中的内容和分享自己的看法；个人主页还有很多精彩的内容。您三连的支持就是我前进的动力，感谢大家的支持！！!

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/4113.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

26版SPSS操作教程（高级教程第十六章）

26版SPSS操作教程（高级教程第十六章）

目录 前言 粉丝及官方意见说明 第十六章一些学习笔记 第十六章一些操作方法 多维尺度分析 不考虑个体差异的多维尺度分析模型 假设数据 具体操作 结果解释 选择不同距离的排列方式 考虑个体差异的多维尺度分析模型&#xff08;INDSCAL&#xff0c;individual differ…
阅读更多...
[C++ QT项目实战]----系统实现双击表格某一行，表格数据不再更新，可以查看该行所有信息，选中表更新之后，数据可以继续更新

[C++ QT项目实战]----系统实现双击表格某一行，表格数据不再更新，可以查看该行所有信息，选中表更新之后，数据可以继续更新

前言 在需要庞大的数据量的系统中&#xff0c;基于合适的功能对数据进行观察和使用至关重要&#xff0c;本篇在自己项目实战的基础上&#xff0c;基于C QT编程语言&#xff0c;对其中一个数据功能进行分析和代码实现&#xff0c;希望可以有所帮助。一些特殊原因&#xff0c;图片…
阅读更多...
车道分割YOLOV8-SEG

车道分割YOLOV8-SEG

车道分割YOLOV8-SEG&#xff0c;训练得到PT模型&#xff0c;然后转换成ONNX&#xff0c;OPENCV的DNN调用&#xff0c;支持C,PYTHON,ANDROID开发 车道分割YOLOV8-SEG
阅读更多...
数据污染对大型语言模型的潜在影响

数据污染对大型语言模型的潜在影响

大型语言模型&#xff08;LLMs&#xff09;中存在的数据污染是一个重要问题&#xff0c;可能会影响它们在各种任务中的表现。这指的是LLMs的训练数据中包含了来自下游任务的测试数据。解决数据污染问题至关重要&#xff0c;因为它可能导致结果偏倚&#xff0c;并影响LLMs在其他…
阅读更多...
python三维交互可视化工具plotly使用

python三维交互可视化工具plotly使用

三维数据可视化工具使用 import plotly.graph_objects as go import numpy as np# 生成随机点 data np.random.uniform(-3,3,(100000, 2)) Z np.exp(-((data[:, 0] - 0)**2 / (2*1**2) (data[:, 1] - 0)**2 / (2*1**2)))scatter1 go.Scatter3d(xdata[:, 0], ydata[:, 1], …
阅读更多...
【项目】仿muduo库One Thread One Loop式主从Reactor模型实现高并发服务器（Http板块）

【项目】仿muduo库One Thread One Loop式主从Reactor模型实现高并发服务器（Http板块）

【项目】仿muduo库One Thread One Loop式主从Reactor模型实现高并发服务器&#xff08;Http板块&#xff09; 一、思路图二、Util板块1、Splite板块&#xff08;分词&#xff09;&#xff08;1&#xff09;代码&#xff08;2&#xff09;测试及测试结果i、第一种测试ii、第二种…
阅读更多...
关于discuz论坛网址优化的一些记录(伪静态)

关于discuz论坛网址优化的一些记录(伪静态)

最近网站刚上线&#xff0c;针对SEO做了些操作&#xff0c;为了方便网站网页被收录&#xff0c;特此记录下 1.开启伪静态 按照操作勾选所有项&#xff0c;然后点击查看伪静态规则 2.打开宝塔&#xff0c;找到左侧列表的网站&#xff0c;然后找到相应站点的设置。把discuz自动…
阅读更多...
STM32的端口引脚的复用功能及重映射功能解析

STM32的端口引脚的复用功能及重映射功能解析

目录 STM32的端口引脚的复用功能及重映射功能解析 复用功能 复用功能的初始化 重映射功能 重映射功能的初始化 复用功能和重映射的区别 部分重映射与完全重映射 补充 STM32的端口引脚的复用功能及重映射功能解析 复用功能 首先、我们可以这样去理解stm32引脚的复用功能…
阅读更多...
SD-WAN怎样助力企业网络升级

SD-WAN怎样助力企业网络升级

随着企业规模的持续扩张&#xff0c;其网络建设的重要性日益凸显&#xff0c;成为业务成功的基石。尤其对于中小企业而言&#xff0c;信息化和电脑化已成为推动生产力和竞争力提升的关键所在。办公室自动化、数据库、ERP、CRM、物流供应链等关键业务应用的不断增加&#xff0c;…
阅读更多...
css 文字左右抖动效果

css 文字左右抖动效果

<template><div class"box"><div class"shake shape">抖动特效交字11</div></div> </template><script setup></script><style scope> .shape {margin: 50px;width: 200px;height: 50px;line-heigh…
阅读更多...
计算机存储原理.2

计算机存储原理.2

1.主存储器与CPU之间的连接 2.存储器芯片的输入输出信号 3.增加主存的存储字长 3.1位扩展 数据总线的利用成分是不充分的(单块只能读写一位)&#xff0c;为了解决这个问题所以引出了位扩展。 使用多块存储芯片解决这个问题。 3.2字扩展 因为存储器买的是8k*8位的&am…
阅读更多...
Linear Secret-Sharing Scheme（LSSS） Monotone Span Program（MSP）

Linear Secret-Sharing Scheme（LSSS） Monotone Span Program（MSP）

参考文献&#xff1a; [KW93] Karchmer M, Wigderson A. On span programs[C]//[1993] Proceedings of the Eigth Annual Structure in Complexity Theory Conference. IEEE, 1993: 102-111.[CDM00] Cramer R, Damgrd I, Maurer U. General secure multi-party computation fr…
阅读更多...
【探索Java编程：从入门到入狱】Day2

【探索Java编程：从入门到入狱】Day2

&#x1f36c; 博主介绍&#x1f468;‍&#x1f393; 博主介绍&#xff1a;大家好&#xff0c;我是 hacker-routing &#xff0c;很高兴认识大家~ ✨主攻领域&#xff1a;【渗透领域】【应急响应】 【Java、PHP】 【VulnHub靶场复现】【面试分析】 &#x1f389;点赞➕评论➕收…
阅读更多...
js[黑马笔记]

js[黑马笔记]

js基础 基础语法 输入输出 变量 数组 常量 数据类型 类型转换 运算符 语句 数组 函数 调用方式 函数名() 匿名函数 使用: 1.函数表达式 2.立即执行函数 对象 内置对象 web API DOM document object Model元素操作 获取元素 设置元素 定时器 DOM事件基础 事件监听 事件类…
阅读更多...
流量网关与服务网关的区别：（面试题，掌握）

流量网关与服务网关的区别：（面试题，掌握）

流量网关&#xff1a;&#xff08;如Nignx&#xff0c;OpenResty&#xff0c;Kong&#xff09;是指提供全局性的、与后端业务应用无关的策略&#xff0c;例如 HTTPS证书认证、Web防火墙、全局流量监控&#xff0c;黑白名单等。 服务网关&#xff1a;&#xff08;如Spring Clou…
阅读更多...
含匹配扰动的多智能体领航跟随一致性Matlab仿真

含匹配扰动的多智能体领航跟随一致性Matlab仿真

文章目录 [TOC](文章目录) 前言一、问题描述二、基于LQR的观测器和控制器设计1.观测器设计2.控制器设计 三、数值仿真四、参考文献总结 前言 ​本文探讨了带有匹配扰动的多智能体领航跟随一致性控制方法&#xff0c;并提供了相应的Matlab仿真代码。 具体的设计步骤如下&#…
阅读更多...
大数据—数据采集DataX

大数据—数据采集DataX

一、DataX介绍 官网&#xff1a; DataX/introduction.md at master alibaba/DataX GitHub DataX 是阿里云 DataWorks数据集成 的开源版本&#xff0c;在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。 DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、…
阅读更多...
【算法刷题 | 贪心算法02】4.24（摆动序列）

【算法刷题 | 贪心算法02】4.24（摆动序列）

文章目录 3.摆动序列3.1题目3.2解法&#xff1a;贪心3.2.1贪心思路3.2.2代码实现 3.摆动序列 3.1题目 如果连续数字之间的差严格地在正数和负数之间交替&#xff0c;则数字序列称为 摆动序列 。 第一个差&#xff08;如果存在的话&#xff09;可能是正数或负数。仅有一个元素…
阅读更多...
WPF 资源基础

WPF 资源基础

动态资源/静态资源 UI代码 <Window x:Class"WpfApp1.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xaml"xmlns:d"http://schemas.microsoft.com/ex…
阅读更多...
太速科技-基于6 U VPX M.2 高带宽加固存储板

太速科技-基于6 U VPX M.2 高带宽加固存储板

基于6 U VPX M.2 高带宽加固存储板 一、板卡概述 基于6 U VPX M.2 高带宽加固存储板&#xff0c;可以实现VPX接口的数据读写到PCI-E总线的NVME存储媒介上。采用PLX8732&#xff0c;上行链路提供带宽x16的PCI-E数据到VPX接口上&#xff1b;下行链路提供3路带宽x4的PCI-E接口…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023