一个简单实用的线程池及线程池组的实现!

1.线程池简介

线程池,顾名思义,就是一个“池子”里面放有多个线程。为什么要使用线程池呢?当我们编写的代码需要并发异步处理很多任务时候,一般的处理办法是一个任务开启一个线程去处理,处理结束后释放线程。可是这样频繁的申请释放线程,系统的开销很大,为了解决这个问题,线程池就产生了。线程池实现原理是事先申请一定数量的线程存放在程序中,当外部有任务需要线程处理时,把这个任务放到这个“池子”里面,“池子”里面空闲的线程就去取这个任务进行处理,这样既能实现多线程并发处理任务,又能减少系统频繁创建删除线程的开销,这种技术叫做池化技术,相应的池化技术还有内存池、连接池等。

为了更形象理解线程池,举一个例子:线程池就像鸡圈里面鸡,每一个鸡比作一个线程,你手里有一把玉米,每一个颗玉米比作一个任务,鸡吃玉米比作处理任务。当你把一把玉米撒入鸡圈,一群鸡就围过来抢玉米,但是一次一只鸡只能吃一颗玉米,吃完一颗继续吃下一颗,直到鸡圈里面的玉米吃完才停止。线程池处理任务也是一样的,当任务链表上有任务时,通过条件变量通知线程池里面的线程,一群线程就围过来了,但是一个线程一次只能取一个任务进行处理,处理完又去取下一个任务,池子里面每一个线程都是这样处理,直到链表上面的任务全部处理完了,池子中的线程又空闲起来了。

2.线程池-设计实现

实现思路:通过向系统申请多个线程,创建一个任务链表,链表上面存放待处理的任务,当有新的任务加入时候,通过条件变量通知池子里面的线程从链表上面取任务,然后处理任务,一直这样循环下去。

​首先定义结构体,定义如下:

/*** 定义的回调函数
*/
typedef void (*task_func_t)(void *args);/*** 定义的任务节点结构体
*/
typedef struct task_t
{void             *args; //任务参数task_func_t      func;  //任务函数指针struct list_head node;  //链表节点
}task_t;/*** 线程池信息
*/
typedef struct threadpool_t
{struct list_head hlist;       //任务链表int              thread_num;  //线程池数量int              max_ts_num;  //最大任务数量volatile int     curr_ts_num; //当前线程池存在的任务数volatile int     is_exit;     //是否退出线程池标志pthread_mutex_t  mutex;       //互斥锁pthread_cond_t   cond;        //条件变量pthread_t        *ths;        //线程id数组
}threadpool_t;

这是线程池实现的程序:

/*** @brief:线程处理任务函数* @args: 传入的参数* @return: NULL
*/
static void* _process_task_thread(void *args)
{threadpool_t* tp = (threadpool_t*)args;struct list_head *pos = NULL;task_t *task=NULL;if(!args) return NULL;while(1){pthread_mutex_lock(&tp->mutex);while(list_empty(&tp->hlist) && !tp->is_exit){pthread_cond_wait(&tp->cond, &tp->mutex);}if(tp->is_exit){        //判断释放退出线程池pthread_mutex_unlock(&tp->mutex);break;}pos = tp->hlist.next;   //从任务链表取出头节点list_del(pos);          //从链表中删除节点--tp->curr_ts_num;      //更新任务数pthread_mutex_unlock(&tp->mutex);task = list_entry(pos, task_t, node); //从链表节点推出任务节点task->func(task->args); //执行任务free(task);             //释放任务内存}return NULL;
}/*** @brief:创建一个线程池* @thread_nums: 线程数量* @max_ts_num:线程池中最大的任务数量* @return: 线程池句柄
*/
threadpool_t* create_threadpool(int thread_nums, int max_ts_num)
{if(thread_nums <= 0) return NULL;threadpool_t* tp = (threadpool_t*)malloc(sizeof(threadpool_t));memset(tp, 0, sizeof(threadpool_t));INIT_LIST_HEAD(&tp->hlist);tp->is_exit = 0;tp->curr_ts_num = 0;tp->thread_num = thread_nums;tp->max_ts_num = max_ts_num;tp->ths = (pthread_t*)malloc(sizeof(pthread_t)*thread_nums);pthread_mutex_init(&tp->mutex, NULL);pthread_cond_init(&tp->cond, NULL);for(int i=0; i<tp->thread_num; ++i){pthread_create(&(tp->ths[i]), NULL, _process_task_thread, tp);}return tp;
}   /*** @brief:往线程池中添加任务* @tp: 线程池句柄* @func:任务处理函数指针* @args:传入任务参数* @priority: 优先级 1:优先处理 其他:添加到尾部* @return: 返回状态 0:ok
*/
int add_task_threadpool(threadpool_t* tp, task_func_t func, void *args, int priority)
{if(!tp) return -1;if(!func) return -2;if(tp->curr_ts_num > tp->max_ts_num) return -3;task_t *task = (task_t*)malloc(sizeof(task_t)); //申请任务节点内存task->func = func; //给函数指针赋值task->args = args; //保持参数指针pthread_mutex_lock(&tp->mutex);if(priority==1)    //高优先级,添加到头部list_add(&task->node, &tp->hlist);else               //添加到尾部list_add_tail(&task->node, &tp->hlist);++tp->curr_ts_num; //更新任务数pthread_mutex_unlock(&tp->mutex);pthread_cond_signal(&tp->cond); //通知线程取任务return 0;
}/*** @brief:获取线程池中当前存在的任务数量* @tp: 线程池句柄* @return: 当前任务数量
*/
int get_ts_num_threadpool(threadpool_t* tp)
{return tp ? tp->curr_ts_num : -1;
}/*** @brief:释放线程池资源* @tp:线程池句柄* @return: 0:ok
*/
int destory_threadpool(threadpool_t* tp)
{if(!tp) return -1;while(!list_empty(&tp->hlist)){  //等待线程池执行完链表中的任务continue;   }tp->is_exit = 1;                  //更新标志,退出线程池pthread_cond_broadcast(&tp->cond);//通知所有线程函数for(int i=0; i<tp->thread_num; ++i){//等待所有线程函数结束pthread_join(tp->ths[i], NULL);}pthread_mutex_destroy(&tp->mutex); //释放资源pthread_cond_destroy(&tp->cond);free(tp->ths);free(tp);tp = NULL;return 0;
}

相关视频推荐

手把手实现线程池(120行),实现异步操作,解决项目性能问题 

手撕高性能线程池,准备好linux开发环境

线程池在3个开源框架的应用(redis、skynet、workflow)

免费学习地址:c/c++ linux服务器开发/后台架构师

需要C/C++ Linux服务器架构师学习资料加qun812855908获取(资料包括C/C++,Linux,golang技术,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK,ffmpeg等),免费分享

3.线程池组-设计实现

有了线程池处理并发任务,为什么还要线程池组呢?原因在于线程池中,所有的线程都使用一个互斥锁阻塞,当你创建的线程池中线程的个数比较多的情况下,存在很多线程对同一个线程抢占,这样会影响线程池取任务处理的效率。因此由"小颗粒"(即每一个线程池中线程个数少)的线程池组成一个"线程池组"这样就能减轻多个线程对同一个锁抢占造成效率低的问题。

设计实现:将多个线程池封装组合到一起,当外部有任务需要处理时,找到线程池组中线程池任务最少的池子,把任务给放进去。

​定义一个线程池组管理结构体:

typedef struct manange_thpool_t
{int thpool_nums;                            //线程池个数threadpool_t *thpools[MAX_THREADPOOL_NUMS]; //线程池结构体
}manange_thpool_t;

代码实现:

/*** @brief:创建线程池组管理句柄* @tp_nums:线程池组中线程池个数* @thread_num:单个线程池中线程个数* @max_ts_n:单个线程池中最大的任务数量
*/
manange_thpool_t* create_group_threadpool(int tp_nums, int thread_num, int max_ts_n)
{manange_thpool_t* mtp = (manange_thpool_t*)malloc(sizeof(manange_thpool_t));if(!mtp) return NULL;memset(mtp, 0, sizeof(manange_thpool_t));mtp->thpool_nums = tp_nums;for(int i=0; i<tp_nums; ++i){mtp->thpools[i] = create_threadpool(thread_num, max_ts_n);}return mtp;
}/*** @brief:往线程池组中添加任务* @mtp:线程池组句柄* @func:任务函数* @args:任务函数的参数* @priority: 优先级 1:优先处理 其他:依次处理* @return: 0:ok 其他:err
*/
int add_task_group_threadpool(manange_thpool_t* mtp, task_func_t func, void *args, int priority)\
{int ts_num= INT_MAX;threadpool_t *tp=NULL;int index=0;for(register int i=0; i<mtp->thpool_nums; ++i){if(mtp->thpools[i]->curr_ts_num < ts_num){ts_num = mtp->thpools[i]->curr_ts_num;tp = mtp->thpools[i];index=i;}}if(!tp){tp = mtp->thpools[0];}return add_task_threadpool(tp, func, args, priority);
}/*** @brief:释放线程池组函数* @tp: 线程池组句柄* @return:none
*/
void destory_group_threadpool(manange_thpool_t* tp)
{if(!tp) return;for(int i=0; i<tp->thpool_nums; ++i){if(tp->thpools[i]) destory_threadpool(tp->thpools[i]);}
}

4.测试

测试程序如下:

#include <stdio.h>
#include <unistd.h>
#include "list.h"
#include "threadpool.h"
#include "manange_threadpool.h"//任务传递的参数
typedef struct info_t
{int times;char buffer[32];
}info_t;void task1(void *args)
{info_t *info = (info_t*)args;printf("handle task1 pid=%lld times=%d buffer=%s\n", pthread_self(), info->times, info->buffer);free(args);
}void task2(void *args)
{info_t *info = (info_t*)args;printf("handle task2 pid=%lld times=%d buffer=%s\n", pthread_self(), info->times, info->buffer);free(args);
}void task3(void *args)
{info_t *info = (info_t*)args;printf("handle task3 pid=%lld times=%d buffer=%s\n", pthread_self(), info->times, info->buffer);free(args);
}//------------split-----------------void test_threadpool(void)
{threadpool_t* tp = create_threadpool(4, 128);info_t *info;for(int t=0; t<10; ++t){for(int i=0; i<32; ++i){info = (info_t *)malloc(sizeof(info_t));info->times=i;sprintf(info->buffer, "Test ThreadPool task1 info...");add_task_threadpool(tp, task1, info, 1); //往线程池组添加任务info = (info_t *)malloc(sizeof(info_t));info->times=i;sprintf(info->buffer, "Test ThreadPool task2 info...");add_task_threadpool(tp, task2, info, 0);info = (info_t *)malloc(sizeof(info_t));info->times=i;sprintf(info->buffer, "Test ThreadPool task3 info...");add_task_threadpool(tp, task3, info, 0);}sleep(1);}destory_threadpool(tp);printf("Test ThreadPool Finish...\n");
}void test_manange_threadpool(void)
{//创建线程池组句柄,有4个线程池,每个线程池使用4线程,每个线程池最大的任务数是32manange_thpool_t* mtp = create_group_threadpool(4, 4, 128);info_t *info;for(int t=0; t<10; ++t){for(int i=0; i<32; ++i){info = (info_t *)malloc(sizeof(info_t));info->times=i;sprintf(info->buffer, "Test task1 info...");add_task_group_threadpool(mtp, task1, info, 1); //往线程池组添加任务info = (info_t *)malloc(sizeof(info_t));info->times=i;sprintf(info->buffer, "Test task2 info...");add_task_group_threadpool(mtp, task2, info, 0);info = (info_t *)malloc(sizeof(info_t));info->times=i;sprintf(info->buffer, "Test task3 info...");add_task_group_threadpool(mtp, task3, info, 0);}sleep(1);}//释放线程池组资源destory_group_threadpool(mtp);printf("Test Manage ThreadPool Finish...\n");
}int main(void)
{#if 1 //测试单个的线程池功能test_threadpool();
#else //测试线程池组功能test_manange_threadpool();
#endifreturn 0;
}

通过修改宏定义,决定使用线程池还是线程池组

  1. 测试线程池结果

​2.测试线程池组结果

5.总结

使用线程池情况:一般程序中有并发处理任务,但是处理的任务并发量不高时候采用线程池。

使用线程池组情况:程序中任务并发量很大情况下使用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/36794.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

支付总架构解析

一、支付全局分层 一笔支付以用户为起点&#xff0c;经过众多支付参与者之后&#xff0c;到达央行的清算账户&#xff0c;完成最终的资金清算。那么我们研究支付宏观&#xff0c;可以站在央行清算账户位置&#xff0c;俯视整个支付金字塔&#xff0c;如图1所示&#xff1a; 图…

[保研/考研机试] KY135 又一版 A+B 浙江大学复试上机题 C++实现

题目链接&#xff1a; KY135 又一版 AB https://www.nowcoder.com/share/jump/437195121691736185698 描述 输入两个不超过整型定义的非负10进制整数A和B(<231-1)&#xff0c;输出AB的m (1 < m <10)进制数。 输入描述&#xff1a; 输入格式&#xff1a;测试输入包…

mysql使用redis+canal实现缓存一致性

一、开启binlog日志 1.首先查看是否开启了binlog show variables like %log_bin%; 如果是OFF说明位开启 2、开启binlog日志&#xff0c;并重启mysql服务 右键我的电脑——管理——服务——MYSQL——属性 这里是my.ini地址 在[mysqld]底下添加 log-bin mysqlbinlog binlog-f…

c#设计模式-创建型模式 之 工厂模式

前言&#xff1a; 工厂模式&#xff08;Factory Pattern&#xff09;是一种常用的对象创建型设计模式。该模式的主要思想是提供一个创建对象的接口&#xff08;也可以是抽象类、静态方法等&#xff09;&#xff0c;将实际创建对象的工作推迟到子类中进行。这样一来&#xff0c…

【计算机视觉|生成对抗】带条件的对抗网络进行图像到图像的转换

本系列博文为深度学习/计算机视觉论文笔记&#xff0c;转载请注明出处 标题&#xff1a;Image-to-Image Translation with Conditional Adversarial Networks 链接&#xff1a;Image-to-Image Translation with Conditional Adversarial Networks | IEEE Conference Publicati…

Spring-2-深入理解Spring 注解依赖注入(DI):简化Java应用程序开发

今日目标 掌握纯注解开发依赖注入(DI)模式 学习使用纯注解进行第三方Bean注入 1 注解开发依赖注入(DI)【重点】 问题导入 思考:如何使用注解方式将Bean对象注入到类中 1.1 使用Autowired注解开启自动装配模式&#xff08;按类型&#xff09; Service public class StudentS…

HTTP 协议的基本格式和 fiddler 的用法

目录 一. HTTP 协议 1. HTTP协议是什么 2. HTTP协议的基本格式 HTTP请求 首行 GET和POST方法&#xff1a; 其他方法 经典面试题&#xff1a; URL Header(请求报头)部分 空行 ​HTTP响应 状态码总结: 二、Fiddler的用法 1.Fidder的安装 2.Fidder的使用 一. HTTP 协议 1. H…

解决macOS执行fastboot找不到设备的问题

背景 最近准备给我的备用机Redmi Note 11 5G刷个类原生的三方ROM&#xff0c;MIUI实在是用腻了。搜罗了一番&#xff0c;在XDA上找到了一个基于Pixel Experience开发的ROM&#xff1a;PixelExperience Plus for Redmi Note 11T/11S 5G/11 5G/POCO M4 Pro 5G (everpal)&#xf…

TMC Self-Managed 提升跨多云环境安全性

作为云原生技术栈的关键技术之一&#xff0c;Kubernetes 被企业用户广泛试用并开始支撑实际业务应用运行&#xff0c;实现技术先进性带来的生产力提升。但与此同时&#xff0c;随着 Kubernetes 技术的不断广泛与深化使用&#xff0c;企业用户也开始面临诸多技术上的挑战&#x…

嵌入式:ARM Day1

1. 思维导图 2.作业一 3.作业2

Android T 窗口层级其二 —— 层级结构树的构建(更新中)

如何通过dump中的内容找到对应的代码&#xff1f; 我们dump窗口层级发现会有很多信息&#xff0c;adb shell dumpsys activity containers 这里我们以其中的DefaultTaskDisplayArea为例 在源码的framework目录下查找该字符串&#xff0c;找到对应的代码就可以通过打印堆栈或者…

日常BUG —— Java判空注解

&#x1f61c;作 者&#xff1a;是江迪呀✒️本文关键词&#xff1a;日常BUG、BUG、问题分析☀️每日 一言 &#xff1a;存在错误说明你在进步&#xff01; 一. 问题描述 问题一&#xff1a; 在使用Java自带的注解NotNull、NotEmpty、NotBlank时报错&#xff0c;…

CentOS8安装Git

错误1. 执行yum命令报错 【错误&#xff1a;Invalid configuration value: failovermethodpriority in /etc/yum.repos.d/CentOS-epel.repo; 配置&#xff1a;ID 为 "failovermethod" 的 OptionBinding 不存在】 1.cd /etc/yum.repos.d 2.vim CentOS-epel.repo //…

warning: remember to run ‘libtool --finish /usr/local/1/php-7.4.29/libs

ubuntu上php7.4.33编译安装完成后警告报错&#xff0c;如下所示 # /usr/local/apache2/apr/build-1/libtool --finish /usr/local/soft/php-7.4.33/libs # vim /etc/ld.so.conf.d/local.conf /usr/local/lib /usr/lib64 # ldconfig 或者安装依赖服务&#xff0c;重新编译 #…

Linu学习笔记——常用命令

Linux 常用命令全拼&#xff1a; Linux 常用命令全拼 | 菜鸟教程 一、切换root用户 1.给root用户设置密码 sudo passwd root 2.输入密码&#xff0c;并确认密码 3.切换到root用户 su&#xff1a;Swith user(切换用户) su root 二、切换目录 目录结构&#xff1a;Linux 系…

软件测试基础篇——Linux

1、Linux系统的特征 开源免费&#xff1a; 开源&#xff1a;开放源代码&#xff0c;指的是底层的源代码是可以开放出来&#xff0c;给相关的开发者&#xff0c;根据实际的需求做出修改的。 免费&#xff1a;不花钱&#xff0c;自由传播。 ​ Linux是一种免费使用和自由传播的…

【ARM 调试】如何从 crash 信息找出问题原因

一、问题背景 粉丝在进行 ARM-A 系列软件编程时遇到以下问题&#xff0c;串口打印这段日志后就重启了&#xff0c;粉丝求助问是什么原因&#xff1f; Unhandled Exception in EL3. x30 0x0000000000b99b84 x0 0x00000000179a25b0 x1 …

NGINX组件(rewrite)

一、location匹配的规则和优先级&#xff08;*&#xff09; URI&#xff1a;统一资源标识符&#xff0c;是一种字符串标识&#xff0c;用于标识抽象的或者是物理资源&#xff1b;如&#xff1a;文件、图片、视频等 nginx中的URI匹配的是&#xff1a;网址”/“后的路径 如&…

解决Idea 多模块,maven项目是多层级文件夹的子项时无法加入git管理的问题

问题 多模块项目&#xff0c;引入模块无法做git管理&#xff0c;第一个项目没有git分支标志&#xff0c;也不能像其他项目一样右键出git选项。 解决方法 发现该模块是多层级的文件夹结构&#xff0c;也就是项目本身在一个文件夹下。应该是要管理该文件夹。 Settings-Versi…

el-select控制单选还是多选

multiple表示多选&#xff0c;:multiple-limit“1” 限制多选的条数为1&#xff0c;2就是选两个&#xff0c;依此类推。为0 就是不限制选几个 使用 allow-create 属性即可通过在输入框中输入文字来创建新的条目。注意此时 filterable 必须为真。 <el-form :inline"true…