LINUX 入门 4

LINUX 入门 4

day6 7 20240429 20240504 耗时：240min

课程链接地址

第4章 LINUX环境编程——实现线程池

C基础

  1. 第3节

    1. #define里面的行不能乱空行，要换行就打\

    2. typedef 是 C 和 C++ 中的一个关键字，用于为已有的数据类型定义一个新的名字。通过 typedef 可以为数据类型起一个更直观或者更易于理解的名字，也可以用来简化复杂的数据类型声明。例如：

      unsigned long long int ULLONG; // 为 unsigned long long int 定义了一个新名字 ULLONG

    3. static void *nThreadPoolCallback(void *arg){ }

      将 nThreadPoolCallback 函数声明为 static 可能是为了将其作用域限制在当前文件内部，避免其它文件中的函数同名冲突,而不是全局作用域的函数。这样做有助于提高代码的可维护性和可读性，因为这个函数只能在当前文件内部被访问和调用，不会被其它文件意外地使用或修改。

  2. 第5节

     struct nWorker *worker = (struct nWorker*) arg;

    这行代码创建了一个指向 struct nWorker 结构的指针 worker，并将其初始化为 (struct nWorker*) arg。通常这样的语句在多线程编程中会被用到，其中 arg 是传递给线程的参数，这里将其转换为 struct nWorker* 类型的指针以便在线程中使用。

  3. 第6节

    pthread_cond_signal 和 pthread_cond_broadcast 是 POSIX 线程库中用于线程同步的函数，通常与条件变量（condition variable）一起使用。

    1. pthread_cond_signal 函数用于唤醒一个正在等待条件变量的线程。如果有多个线程正在等待条件变量，那么只会唤醒其中的一个。通常情况下，这是因为某个线程执行了某些操作，使得条件变量的条件满足，因此需要通知等待该条件变量的线程继续执行。
    2. pthread_cond_broadcast 函数用于唤醒所有正在等待条件变量的线程。这个函数会同时唤醒所有等待该条件变量的线程，而不是像 pthread_cond_signal 那样只唤醒其中的一个。通常情况下，这是在某个线程执行了某些操作，使得多个线程都能继续执行时使用。

    这两个函数通常与互斥锁（mutex）一起使用，以实现线程之间的同步。当某个线程需要等待某个条件满足时，它会先释放互斥锁并等待条件变量，而其他线程则可能在条件不满足时进入等待状态。当条件满足时，某个线程会调用 pthread_cond_signal 或 pthread_cond_broadcast 来唤醒等待的线程，让它们继续执行。

1 线程池的使用场景与原理分析

  1. 使用场景：

    1. 百万级的client，server多线程 开线程来同时处理不同client发来的message

      在这里插入图片描述

      but开不了那么多thread，linux下一个posix线程占8M

      1G=1024M开128个最多

      16G内存最多开128*16=2048个thread

    2. 日志文件

      1. disk磁盘操作比memory操作慢不是一个数量级，日志存储到磁盘的文件里，刷新到disk

        处理IO读写，准备好写log里的文字是memory操作，

        log存到文件是disk操作，会引起thread挂起，等IO就绪。 写log任务放到线程池里

  2. 线程池好处

    1. 避免线程太多，内存memory耗尽

    2. 避免反复重复创建和销毁thread， 创建完就放池子，用完还回去

    3. 任务与执行分离（日志写和存储，写内容生成和存到文件）

      例子：银行营业厅，办业务的是任务， 柜员是执行

      在这里插入图片描述

  3. def：

    线程池=

    1. 任务队列
    2. 执行队列
    3. 管理组件 mutex或spinlock加锁 调节任务和执行

2 线程池的结构体定义 threadpool

线程池sdk组件封装software Development Kit

  1. 任务队列：

    任务组成，先定义任务task struct

    再任务队列：链表串起tasks 双向链表

    //1.定义task
struct nTask{void(*task_func)(struct nTask *task);//一个函数指针，指向一个接受 struct nTask* 参数并且没有返回值的函数。这个指针用于表示任务的执行函数。void *user data;//一个指向 void 类型的指针，用于存储任务函数可能需要的额外数据或参数。struct nTask *prev;struct nTask *next;
}; // 双向链表

3 线程池的架构分析与实现

1 最底层：系统层，支持层——实现数据结构+宏定义的基本操作

任务队列，执行队列，管理组件

链表（struct）操作：直接用通讯录那一张的宏定义

#define LIST_INSERT(item, list)do{\item->prev = NULL;\item->next = list;\if((list)!= NULL) (list)->prev = item;\(list) = item;    \
} while(0)
//二级指针，list要括号(*ppeople)#define LIST_REMOVE(item, list) do {	\if (item->prev != NULL) item->prev->next = item->next; \if (item->next != NULL) item->next->prev = item->prev; \if (list == item) list = item->next;                    \item->prev = item->next = NULL;                         \
} while(0)//1.定义task
struct nTask{void(*task_func)(struct nTask *task);void *user data;struct nTask *prev;struct nTask *next;
};//2.执行
struct nWorker{pthread_t threadid;struct nWorker *prev;struct nWorker *next;
};//3管理组件 连接worker和task
struct nManager{struct nTask *tasks;  //任务队列struct nWorker *workers; //执行队列pthread_mutex_t mutex; //加互斥锁pthread_cond_t cond; //加条件变量，等待满足条件不锁了
};

2 接口层 ，在支持层上包一层

这里管理组件nManager就是threadpool，这里对类型起别名用typedef

4个：创建、销毁、加任务、线程涉及的回调函数

typedef struct nManager{struct nTask *tasks;  //任务队列struct nWorker *workers; //执行队列pthread_mutex_t mutex; //加互斥锁pthread_cond_t cond; //加条件变量，等待满足条件不锁了
}ThreadPool;static void *nThreadPoolCallback(void *arg){}int nThreadPoolCreate(ThreadPool*pool, int nworker){}int nThreadPoolDestroy(ThreadPool*pool, int nworker){}int nThreadPoolPushTask(ThreadPool*pool, struct nTask *task){}

4 线程池初始化实现

多用才能对接口熟悉

函数—— 参数，函数体，返回值

  1. 最终function做成sdk，所以做成API接口给其他人调就行
  2. 初始化struct内四个，除了task
  3. 堆上malloc出来的动态数据，要memset置零，防止内容不确定野指针了
  4. 业务功能（callback）一样，但是实际task任务不同，相当于task是callback的具体实现
// API
int nThreadPoolCreate(ThreadPool*pool, int numWorker){if(pool == NULL) return -1;if(numWorker < 1) numWorker = 1; //运行线程没有，那就默认1个// 2 对struct里4个初始化，task外界扔进来不用pthread_cond_t blank_cond = PHTREAD_COND_INITIALIZER; //定义空白锁的条件变量memcpy(&pool->cond, &blank_cond,sizeof(pthread_cond_t));//blank_cond 中的 pthread_cond_t 结构体的内容复制到 pool->cond 中。pthread_mutex_init(&pool->mutex,NULL);int i = 0;for(int i =0; i < numWorker; i++){struct nWorker *worker = malloc(sizeof(struct nWorker));//创建失败if(worker ==NULL){perror("malloc");return -2;}memset(worker, 0,sizeof(struct worker));worker->manager = pool;//创建线程int ret = pthread_create(worker->threadid, NULL, nThreadPoolCallback, worker); //创建成功返回0，失败1if(ret){perror("pthread_create");free(worker);return -3;}LIST_INSERT(worker, pool->worker);}return 0; //创建成功， callback是业务功能，一样，但是不等同于task任务，但是执行的任务不同}

5 线程池的线程回调函数实现

核心：三件事

判任务队列里有任务

没就等

有就拿出执行，取用户数据

// API
// callback!=task
static void *nThreadPoolCallback(void *arg){struct nWorker *worker = (struct nWorker*) arg;while(1){pthread_mutex_lock(worker->manager->mutex); //对任务加一把锁while(worker->manager->tasks == NULL){//判有任务，没就等，有就拿出执行，取用户数据pthread_cond_wait(&worker->manager->cond, &worker->manager->mutex);}struct nTask *task = worker->manager->tasks;LIST_REMOVE(task, worker->manager->tasks); //把任务队列tasks的首节点task执行完了，移出来pthread_mutex_unlock(worker->manager->mutex);task->task_func(task->user_data);}free(worker);// but没有退出的break的地方，struct nWorker里引入终止标识    
}

问题：but没有退出的break的地方，struct nWorker里引入终止标识

//2.执行
struct nWorker{pthread_t threadid;int terminate;struct nManager *manager; //worker需要有manager联系方式struct nWorker *prev;struct nWorker *next;
};

同时

static void *nThreadPoolCallback(void *arg){struct nWorker *worker = (struct nWorker*) arg;while(1){pthread_mutex_lock(worker->manager->mutex); //对任务加一把锁while(worker->manager->tasks == NULL){//判有任务，没就等，有就拿出执行，取用户数据if(worker->terminate) break; //是1就是终止pthread_cond_wait(&worker->manager->cond, &worker->manager->mutex);}if(worker->terminate){// 退出最外层while，先解锁，不然可能死锁了pthread_mutex_unlock(worker->manager->mutex); break; }struct nTask *task = worker->manager->tasks;LIST_REMOVE(task, worker->manager->tasks); //把任务队列tasks的首节点task执行完了，移出来pthread_mutex_unlock(worker->manager->mutex);task->task_func(task->user_data);}free(worker);// but没有退出的break的地方，struct nWorker里引入终止标识    
}

6 线程池的任务添加与线程池销毁

terminate置1就退出来了

int nThreadPoolDestroy(ThreadPool*pool, int nworker){struct nWorker *worker = NULL;for(worker = pool->workers; worker != NULL; worker = worker->next){worker->terminate;//都置1}//信号什么时候往下走，广播使所有条件满足让信号往下走pthread_mutex_lock(&pool->mutex);pthread_cond_broadcast(&pool->cond);// 唤醒所有广播和等待用的同一把锁，不会有死锁，什么东西没听懂pthread_mutex_unlock(&pool->mutex);pool->workers= NULL;pool->tasks = NULL;return 0;
}

任务添加

int nThreadPoolPushTask(ThreadPool*pool, struct nTask *task){//通知thread有task来了pthread_mutex_lock(&pool->mutex);LIST_INSERT(task, pool->tasks);//通知条件变量可满足，唤醒一个threadpthread_cond_signal(&pool->cond);pthread_mutex_unlock(&pool->mutex);}

7 线程池代码gdb调试与bug修改

gcc -o threadpool threadpool.c -lpthread

一堆错 有问题， 视频里面没有写main后面的函数！！ 根本看不懂了，这里后面没法调

//
// sdk --> debug thread pool#if 1#define THREADPOOL_INIT_COUNT	20
#define TASK_INIT_SIZE			1000void task_entry(struct nTask *task) { //type //struct nTask *task = (struct nTask*)task;int idx = *(int *)task->user_data;printf("idx: %d\n", idx);free(task->user_data);free(task);
}int main(void) {ThreadPool pool = {0};nThreadPoolCreate(&pool, THREADPOOL_INIT_COUNT);// pool --> memset();int i = 0;for (i = 0;i < TASK_INIT_SIZE;i ++) {struct nTask *task = (struct nTask *)malloc(sizeof(struct nTask));if (task == NULL) {perror("malloc");exit(1);}memset(task, 0, sizeof(struct nTask));task->task_func = task_entry;task->user_data = malloc(sizeof(int));*(int*)task->user_data  = i;nThreadPoolPushTask(&pool, task);}getchar();}#endif

gdb调试，适合小工程

gcc -o threadpool threadpool.c -lpthread -g
gdb ./threadpool

打断点：

  1. 在判断的地方加breakpoint，比如while if

    有可能出现空指针

    b 行数
b 64 (while判断)
b 76 (list remove)
b 115 (list insert)
r（就是run）
c(continue) 没有出现视频里的问题

    nThreadPoolCreate里少 memset(pool, 0, sizeof(ThreadPool));

     b 80 (task->task_func)b 201(pushtask)rcc

    报错了 并没有解决了，还是segmentation fault

    Thread 3 "threadpool" received signal SIGSEGV, Segmentation fault.
[Switching to Thread 0x7ffff6fee700 (LWP 12096)]
0x0000000000400f08 in task_entry (task=0x604a80) at threadpool.c:170
170		int idx = *(int *)task->user_data;

    太丑了，放弃了，sourceinsight长得太丑了，还卡的一批，用vscode连虚拟机ok了

    这节课基本没听懂！！！云里雾里乱起八糟的

    最后调出来了是这个问题

    nThreadPoolCallback(void *arg)里面的task->task_func(task->user_data);改成 task->task_func(task);

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/8235.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Flink面试整理-状态管理和容错机制

Flink面试整理-状态管理和容错机制

在 Apache Flink 中，状态管理和容错机制是实现可靠数据处理的关键特性。它们确保即使在发生故障的情况下，数据处理也能保持一致性和正确性。以下是这些机制的主要方面： 状态管理 状态类型：Flink 支持多种状态类型，如值状态（ValueState）、列表状态（ListState）、映射状态…
阅读更多...
SpringBoot 自定义 HandlerMethodArgumentResolver 搞定xml泛型参数解析

SpringBoot 自定义 HandlerMethodArgumentResolver 搞定xml泛型参数解析

文章目录 介绍一、解析简单 xml 数据案例引入 Jackson 的 xml 支持定义 Message 对象&MessageHeader 对象定义 Controller 方法调用结果 二、解析带泛型的 XML 数据案例2.1 直接给 Message 加上泛型 T2.2 无法直接解析泛型参数了 三、自定义 MVC 的参数解析器实现泛型参数解…
阅读更多...
OCR文本识别模型CRNN

OCR文本识别模型CRNN

CRNN网络结构 论文地址&#xff1a;https://arxiv.org/pdf/1507.05717 参考&#xff1a;https://blog.csdn.net/xiaosongshine/article/details/112198145 git:https://github.com/shuyeah2356/crnn.pytorch CRNN文本识别实现端到端的不定长文本识别。 CRNN网络把包含三部分&…
阅读更多...
两个手机在一起ip地址一样吗？两个手机是不是两个ip地址

两个手机在一起ip地址一样吗？两个手机是不是两个ip地址

在数字时代的浩瀚海洋中&#xff0c;手机已经成为我们生活中不可或缺的一部分。随着移动互联网的飞速发展&#xff0c;IP地址成为了连接手机与互联网的桥梁。那么&#xff0c;两个手机在一起IP地址一样吗&#xff1f;两个手机是不是两个IP地址&#xff1f;本文将带您一探究竟&a…
阅读更多...
微火全域外卖系统是什么？为什么市场占有率这么高？

微火全域外卖系统是什么？为什么市场占有率这么高？

近日&#xff0c;全域外卖领域又出现了新变动&#xff0c;一个名为微火的品牌凭借着其全域外卖系统&#xff0c;在短短几个月的时间里&#xff0c;就占领了大部分市场。截止发稿日期前&#xff0c;微火全域外卖系统的市场占有率已经超过48%。 据了解&#xff0c;所谓的全域外卖…
阅读更多...
微信小程序之搜索框样式（带源码）

微信小程序之搜索框样式（带源码）

一、效果图&#xff1a; 点击搜索框&#xff0c;“请输入搜索内容消失”&#xff0c;可输入关键字 二、代码&#xff1a; 2.1、WXML代码&#xff1a; <!--搜索框部分--><view class"search"><view class"search-btn">&#x1f50d;&l…
阅读更多...
Fatal error: invalid -march= option: `armv7-a‘

Fatal error: invalid -march= option: `armv7-a‘

我也是不知所措。 解决办法 参考&#xff1a; 嵌入式交叉编译&#xff1a;libvpx&#xff08;全网首发&#xff09;-CSDN博客
阅读更多...
数据库复习2

数据库复习2

试述SQL的特点 有两个关系 S(A,B,C, D)和 T(C,D,E,F)&#xff0c;写出与下列查询等价的 SQL 表达式: 用SQL语句建立第2章习题6中的4个表&#xff1b;针对建立的4个表用SQL完成第2章习题6中的查询 针对习题4中的4个表试用SQL完成以下各项操作 (1)找出所有供应商的姓名和所在城市…
阅读更多...
[图解]SysML和EA建模住宅安全系统-02

[图解]SysML和EA建模住宅安全系统-02

1 00:00:00,900 --> 00:00:02,690 这个就是一个块定义图了 2 00:00:03,790 --> 00:00:04,780 简称BDD 3 00:00:05,610 --> 00:00:08,070 实际上就是UML里面的类图 4 00:00:08,080 --> 00:00:09,950 和组件图的一个结合体 5 00:00:13,150 --> 00:00:14,690 我…
阅读更多...
WDW-10B微机控制电子万能试验机技术方案

WDW-10B微机控制电子万能试验机技术方案

一&#xff0e;设备外观照片&#xff1a; 项目简介&#xff1a; 微机控制电子式万能试验机是专门针对高等院校、各种金属、非金属科研厂家及国家级质检单位而设计的高端微机控制电子式万能试验机、计算机系统通过全数字控制器&#xff0c;经调速系统控制伺服电机转动&#xff…
阅读更多...
【FFmpeg】调用ffmpeg进行H264软解

【FFmpeg】调用ffmpeg进行H264软解

调用FFmpeg库实现264软件解码 1. FFmpeg的编译2. 调用FFmpeg实现H264软解2.1 基本框架2.2 代码实现2.3 测试结果 3. 分析工具3.1 码流分析3.2 YUV分析 调用FFmpeg库实现264软件编码可参考http://t.csdnimg.cn/FfBOY 1. FFmpeg的编译 FFmpeg在Windows下的编译参考&#xff1a;h…
阅读更多...
MT3033 新的表达式

MT3033 新的表达式

代码&#xff1a; #include <bits/stdc.h> using namespace std; bool is_op(char c) {return c & || c |; } int priority(char op) { // 运算优先级。如果有-*/等别的运算符&#xff0c;则这个函数很有必要if (op & || op |){return 1;}return -1; } voi…
阅读更多...
.gitignore 文件的说明文档

.gitignore 文件的说明文档

今天有同事问我这个问题&#xff0c;我寻思着网上有很多资料可以查看了&#xff0c;写的也都非常好。 她说就得看我写的&#xff0c;做一个简单记录&#xff1a; .gitignore 文件用于在 Git 版本控制系统中指定不需要跟踪的文件和目录 1、确定要忽略的文件和目录&#xff1a;…
阅读更多...
数据链路层（详细版）【01】

数据链路层（详细版）【01】

数据链路层是在物理层和网络层之间的协议&#xff0c;提供相邻节点的可靠数据传输 一、从体系结构来看数据链路层 数据链路层是为上下两层提供服务或者上下两层向他传送数据&#xff08;服务【垂直】&#xff09;&#xff1b;与其对等层之间用帧进行通信&#xff08;协议【水平…
阅读更多...
2024年51cto下载的视频怎么导出

2024年51cto下载的视频怎么导出

如果你喜欢在51cto上观看各种专业技术视频&#xff0c;那么你可能想将喜欢的视频保存到本地设备中&#xff0c;以便随时随地观看。今天&#xff0c;我们就来探讨一下如何在2024年将51cto下载的视频导出到你的设备中 下载51cto的工具我已经打包好了&#xff0c;有需要的自己下载…
阅读更多...
重学java 31.API 2.StringBuilder

重学java 31.API 2.StringBuilder

总有一天&#xff0c;我不再畏惧任何人的离开 —— 24.5.8 StringBuilder的介绍 1.概述 一个可变的字符序列,此类提供了一个与StringBuffer兼容的一套API&#xff0c;但是不保证同步&#xff08;线程不安全&#xff0c;效率高&#xff…
阅读更多...
Qt 6.7 正式发布！

Qt 6.7 正式发布！

本文翻译自&#xff1a;Qt 6.7 Released! 原文作者&#xff1a;Qt Group研发总监Volker Hilsheimer 在最新发布的Qt 6.7版本中&#xff0c;我们大大小小作出了许多改善&#xff0c;以便您在构建现代应用程序和用户体验时能够享受更多乐趣。 部分新增功能已推出了技术预览版&a…
阅读更多...
scikit-learn多因子线性回归预测房价

scikit-learn多因子线性回归预测房价

1.首先是单因子线性回归预测房价 import numpy as np import pandas as pd from matplotlib import pyplot as plt from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score# 1.读取csa房屋数据 path D:/pythonDATA/us…
阅读更多...
地道俄语口语，柯桥俄语培训哪家好

地道俄语口语，柯桥俄语培训哪家好

1、по-моему 依我看&#xff1b;在我看来 例&#xff1a; По-моему, сегодня будет дождь. 依我看, 今天要下雨。 Сделай по-моему. 按我的办法干吧 2、кажется 似乎是&#xff1b;看起来 例&#xff1a; Парень, …
阅读更多...
mvc区域、Html.RenderAction、Html.RenderPartial、 模板、section

mvc区域、Html.RenderAction、Html.RenderPartial、 模板、section

根据上图 Html.RenderPartial 与 Html.RenderAction 区别 RenderAction 会把对应的视图结果渲染 RenderPartial 会把html视图直接渲染 模板
阅读更多...
最新文章

Copyright @ 2022~2023