线程池的工作原理

文章目录

  • 一、应用场景
  • 二、工作原理
  • 三、主要函数

一、应用场景

传统并发变成的缺陷：

1.创建和销毁线程上花费的时间和消耗的系统资源，甚至可能要比花在处理实际的用户请求的时间和资源要多得多
2. 活动的线程需要消耗系统资源，如果启动太多，会导致系统由于过度消耗内存或“切换过度”而导致系统资源不足

  1. 遇到特别耗时的任务 ，需要把它当成一个任务放在线程池里处理， 比较复杂的流程可拆分成单个简单的任务再放在线程池中
  2. 用于异步解耦，如日志的罗盘、 数据库的访问
  3. 线程资源的开销与cpu核心之间的平衡选择

I/O密集型任务：
当应用程序执行大量I/O操作（例如，网络通信或磁盘读写）时，线程池可以通过创建足够数量的线程来处理等待I/O操作的线程，从而最大化CPU的利用率。线程数 = 2* cpu核数 + 2
CPU密集型任务：
对于计算密集型任务，线程数应接近或等于CPU核心数，以避免过多的上下文切换和资源竞争，从而保持CPU的高效运行。线程数 = cpu核数
混合型任务：
在既有CPU密集型又有I/O密集型任务的情况下，线程池可以根据任务的特性动态调整线程数量，以实现资源的最优分配。 线程数 = (io等待时间 + cpu运算时间)* 核心数 / cpu 运算时间

二、工作原理

线程池由一个任务队列和一组处理队列的线程组成。一旦工作进程需要处理某个可能“阻塞”的操作，不用自己操作，工作进程将其作为一个任务放到线程池的队列，接着会被某个空闲线程提取处理。
在这里插入图片描述

工作进程把阻塞操作转给线程池

线程池是一个生产消费模型，由生产者线程发布任务。一般组成：
1.任务队列： 存放所有的任务。每个任务包含任务回调函数 、任务的上下文参数等
2.执行队列：存放所有的线程，管理线程的空闲和工作状态。
线程池中的线程队列不是绝对必须的组件，但它提供了多种便利和优势，使得线程池的管理和任务调度更加高效。
线程队列的特性：

简化管理：线程队列可以帮助简化线程的管理，使得线程池可以轻松跟踪哪些线程是空闲的，哪些是忙碌的。
支持实现负载均衡算法，确保任务在工作线程之间均匀分配，避免某些线程过载而其他线程空闲。
提高效率：通过线程队列，线程池可以快速地为新任务分配可用线程，从而减少任务等待时间和提高整体处理效率。
动态调整：如果线程池实现了动态调整线程数量的功能，线程队列可以作为一个缓冲，帮助平滑地进行线程的添加或移除。
工作窃取：在工作窃取模型中，线程队列是核心组件，允许忙碌的线程从其他线程的队列中窃取任务，以此平衡负载。
避免资源浪费：没有线程队列的情况下，线程池可能需要不断地创建和销毁线程，这会浪费资源并增加系统负担。
实现复杂的调度策略：线程队列使得实现复杂的调度策略（如优先级调度、轮询调度等）变得更加容易。
同步和协调：线程队列可以与同步机制（如条件变量）结合使用，以协调线程间的工作，避免忙等。
错误恢复：如果任务执行失败，线程队列可以帮助线程池恢复执行，例如通过重新调度失败的任务。
资源限制：线程队列有助于限制活跃线程的数量，防止系统资源的过度消耗。
然而，如果你的应用场景非常简单，或者有特殊的性能要求，你可能会设计一个不包含线程队列的线程池。例如，你可能有一个固定数量的线程，它们不断地轮询任务队列来寻找任务，而不是等待任务分配。这种方法可能会减少一些管理开销，但在大多数情况下，线程队列提供的好处会超过其带来的复杂性。

3.管理组件：条件变量和互斥锁，条件变量通常前后加上互斥锁 、减去互斥锁配合操作

三、主要函数

创建线程池后，可使用事件驱动型框架epoll投递任务到线程池，最后销毁线程池。主要函数：

1.创建线程池

thread_pool_t* thread_pool_init()
{int             err;pthread_t       tid;uint_t          n;pthread_attr_t  attr;thread_pool_t   *tp=NULL;tp = (thread_pool_t * )calloc(1,sizeof(thread_pool_t));if(tp == NULL){fprintf(stderr, "thread_pool_init: calloc failed!\n");}//初始化线程池的基本参数，如最大线程数、最小线程数、任务队列容量等thread_pool_init_default(tp, NULL);//初始化线程属性对象，并根据需要设置属性，如栈大小、调度策略等thread_pool_queue_init(&tp->queue);//创建互斥锁if (thread_mutex_create(&tp->mtx) != T_OK) {    free(tp);return NULL;}//创建条件变量if (thread_cond_create(&tp->cond) != T_OK) {    (void) thread_mutex_destroy(&tp->mtx);free(tp);return NULL;}err = pthread_attr_init(&attr);if (err) {fprintf(stderr, "pthread_attr_init() failed, reason: %s\n",strerror(errno));free(tp);return NULL;}//设置将要创建线程的默认状（detached thread），在这种状态下，线程结束后，系统会自动回收其资源，无需调用 pthread_join()err = pthread_attr_setdetachstate(&attr, PTHREAD_CREATE_DETACHED);if (err) {fprintf(stderr, "pthread_attr_setdetachstate() failed, reason: %s\n",strerror(errno));free(tp);return NULL;}//创建线程，设置线程回调函数for (n = 0; n < tp->threads; n++) {err = pthread_create(&tid, &attr, thread_pool_cycle, tp);if (err) {fprintf(stderr, "pthread_create() failed, reason: %s\n",strerror(errno));free(tp);return NULL;}}(void) pthread_attr_destroy(&attr);return tp;
}

2.投递任务线程池
在线程池中，任务队列可能被多个线程访问，包括投递任务的生产者线程和从队列中取出任务的工作线程。锁可以防止这些线程同时修改队列，从而避免冲突

int_t thread_task_post(thread_pool_t *tp, thread_task_t *task)
{if (thread_mutex_lock(&tp->mtx) != T_OK) {return T_ERROR;}if (tp->waiting >= tp->max_queue) {(void) thread_mutex_unlock(&tp->mtx);fprintf(stderr,"thread pool \"%s\" queue overflow: %ld tasks waiting\n",tp->name, tp->waiting);return T_ERROR;}task->id = thread_pool_task_id++;task->next = NULL;//通知线程池有任务投递进来if (thread_cond_signal(&tp->cond) != T_OK) {(void) thread_mutex_unlock(&tp->mtx);return T_ERROR;}*tp->queue.last = task;tp->queue.last = &task->next;tp->waiting++;(void) thread_mutex_unlock(&tp->mtx);if(debug)fprintf(stderr,"task #%lu added to thread pool \"%s\"\n",task->id, tp->name);return T_OK;
}

3.线程入口函数
线程创建时已指定。如果任务队列为空 ，线程阻塞 pthead_cond_wait 。任务投递后线程收到条件变量信号，抢占互斥锁，然后到任务队列取出任务执行。这里使用轮询调度方式：按照任务到达的顺序，将任务分配给工作线程。

还有其他任务调度方式：
优先级对应列：为每个任务分配一个优先级，优先级高的任务先执行。可以用堆等数据结构来快速访问最高优先级的任务。
工作窃取（Work Stealing）
策略：每个工作线程维护自己的任务队列。当一个线程完成自己的任务后，它可以从其他线程的队列中“窃取”任务。
最少工作优先（Least Work First Scheduling）
策略：优先分配任务给完成任务数量最少的线程。

static void *thread_pool_cycle(void *data)
{thread_pool_t *tp =(thread_pool_t * )data;int                 err;thread_task_t       *task;if(debug)fprintf(stderr,"thread in pool \"%s\" started\n", tp->name);for ( ;; ) {if (thread_mutex_lock(&tp->mtx) != T_OK) {return NULL;}tp->waiting--;while (tp->queue.first == NULL) {if (thread_cond_wait(&tp->cond, &tp->mtx)!= T_OK){(void) thread_mutex_unlock(&tp->mtx);return NULL;}}task = tp->queue.first;tp->queue.first = task->next;if (tp->queue.first == NULL) {tp->queue.last = &tp->queue.first;}if (thread_mutex_unlock(&tp->mtx) != T_OK) {return NULL;}if(debug) fprintf(stderr,"run task #%lu in thread pool \"%s\"\n",task->id, tp->name);task->handler(task->ctx);if(debug) fprintf(stderr,"complete task #%lu in thread pool \"%s\"\n",task->id, tp->name);task->next = NULL;thread_task_free(task);//notify }
}

4.销毁线程池

void thread_pool_destroy(thread_pool_t *tp)
{uint_t           n;thread_task_t    task;volatile uint_t  lock;memset(&task,'\0', sizeof(thread_task_t));//执行thread_exit(0)线程退出任务task.handler = thread_pool_exit_handler;task.ctx = (void *) &lock;for (n = 0; n < tp->threads; n++) {lock = 1;if (thread_task_post(tp, &task) != T_OK) {return;}//循环使用 sched_yield() 让出 CPU 等待 lock 变为非阻塞状态（即线程安全退出）while (lock) {sched_yield();}}//销毁同步机制：条件变量互斥锁(void) thread_cond_destroy(&tp->cond);(void) thread_mutex_destroy(&tp->mtx);//释放内存池free(tp);
}

好处总结：

1.复用线程资源
2.充分利用系统资源
3.异步执行耗时任务

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/22773.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

26、matlab多项式曲线拟合：polyfit ()函数

26、matlab多项式曲线拟合：polyfit ()函数

1、polyfit 多项式曲线拟合 语法 语法&#xff1a;p polyfit(x,y,n) 返回次数为 n 的多项式 p(x) 的系数&#xff0c;该阶数是 y 中数据的最佳拟合&#xff08;基于最小二乘指标&#xff09;。 语法&#xff1a;[p,S] polyfit(x,y,n) 还返回一个结构体 S 语法&#xff1a;[…
阅读更多...
优化 mac 储存空间的方法 只需一招为你的苹果电脑提速

优化 mac 储存空间的方法 只需一招为你的苹果电脑提速

在职场中&#xff0c;许多人都对苹果电脑情有独钟。苹果电脑以其简洁美观的设计、流畅稳定的性能以及出色的用户体验&#xff0c;成为了众多职场人士的得力助手。无论是处理文档、制作演示文稿&#xff0c;还是进行创意设计等工作&#xff0c;苹果电脑都能展现出其独特的优势&a…
阅读更多...
微信小程序公众号二合一分销商城源码系统 基于PHP+MySQL组合开发的 可多商户商家入驻 带完整的安装代码包以及搭建教程

微信小程序公众号二合一分销商城源码系统 基于PHP+MySQL组合开发的 可多商户商家入驻 带完整的安装代码包以及搭建教程

系统概述 微信小程序公众号二合一分销商城源码系统&#xff0c;是基于PHPMySQL组合开发的一款高效、稳定的电子商务平台解决方案。该系统创新性地将微信公众号与小程序的功能进行了深度整合&#xff0c;为商家提供了一个功能齐全、易于管理的分销商城系统。通过此系统&#xf…
阅读更多...
Vue3+vant 带你实现常见的历史记录的业务功能

Vue3+vant 带你实现常见的历史记录的业务功能

前言 大部分小伙伴不管是开发PC端还是H5移动端&#xff0c;都会遇到历史搜索的功能。对用户的历史记录进行增删查可以是接口&#xff0c;也可以是前端用缓存实现&#xff0c;一般用浏览器缓存实现的比较多&#xff0c;这篇文章就来教你如何用LocalStorage对历史记录数据的存储、…
阅读更多...
视创云展元宇宙虚拟展厅，带来沉浸式的逛展体验！

视创云展元宇宙虚拟展厅，带来沉浸式的逛展体验！

近年来&#xff0c;随着科技的飞速发展和市场需求的不断演变&#xff0c;众多企业纷纷将目光转向线上虚拟展厅的建设。视创云展元宇宙虚拟展厅凭借其创新性和实用性&#xff0c;为众多企业带来了前所未有的宣传体验&#xff0c;成为了商企展示自我、推广产品的全新舞台。 与传统…
阅读更多...
Java 生成SSL证书

Java 生成SSL证书

第一步&#xff1a; cmd打开指令窗口 第二步&#xff1a; 运行指令&#xff1a; keytool -keystore hk.jks -storepass 123456 -deststoretype jks -genkeypair -keyalg RSA -validity 365 -alias contrastserver -dname "CN111.230.63.59, OUHK, OHK, LZH, STGD, CCN&…
阅读更多...
XSKY对象存储深度结合Alluxio分布式缓存系统，GPU利用率提高至90%以上

XSKY对象存储深度结合Alluxio分布式缓存系统，GPU利用率提高至90%以上

近日&#xff0c;Alluxio分布式缓存系统完成了与XSKY星辰天合的 XEOS V6.4 对象存储的兼容性测试&#xff0c;旨在解决数据管理和加速方面的挑战。双方进行了深度的产品对接和联合开发&#xff0c;将 Alluxio 分布式缓存系统与 XEOS 对象存储的众多应用特性进行结合&#xff0c…
阅读更多...
38. 【Java教程】日期和时间处理

38. 【Java教程】日期和时间处理

本小节我们将学习 Java 中的日期和时间&#xff0c;日期和时间在我们的实际开发中非常常用&#xff0c;例如用户的注册、数据的增删改、对敏感信息的操作等等都需要记录下日期和时间。通过本小节的学习&#xff0c;你将了解到什么是日期、什么是时间、什么是时区&#xff0c;Ja…
阅读更多...
3072. 将元素分配到两个数组中 II

3072. 将元素分配到两个数组中 II

题目 给你一个下标从 1 开始、长度为 n 的整数数组 nums 。 现定义函数 greaterCount &#xff0c;使得 greaterCount(arr, val) 返回数组 arr 中 严格大于 val 的元素数量。 你需要使用 n 次操作&#xff0c;将 nums 的所有元素分配到两个数组 arr1 和 arr2 中。在第一次操…
阅读更多...
WebGL画粗线

WebGL画粗线

目录 前言 基本思路 求左右端点 实现 组织数据 顶点着色器计算端点坐标 效果 前言 WebGL绘制模式有点、线、面三种&#xff1b;通过点的绘制可以实现粒子系统等&#xff0c;通过线可以绘制一些连线关系&#xff1b;面就强大了&#xff0c;通过面&#xff0c;我们可以…
阅读更多...
视频监控汇聚平台LntonCVS国标GB28181协议实现语音对讲功能

视频监控汇聚平台LntonCVS国标GB28181协议实现语音对讲功能

在当今这个智能技术飞速发展的时代&#xff0c;人工智能已经成为了电子产品领域的一股不可忽视的热门趋势。随着科技的不断进步&#xff0c;越来越多的电子产品开始融入人工智能技术&#xff0c;从而为其开拓了全新的发展路径。在这个大背景下&#xff0c;安防摄像头无插件直播…
阅读更多...
基于springboot实现智慧校园之家长子系统项目【项目源码】计算机毕业设计

基于springboot实现智慧校园之家长子系统项目【项目源码】计算机毕业设计

基于springboot实现智慧校园之家长子系统演示 SpringBoot框架介绍 本课题程序开发使用到的框架技术&#xff0c;英文名称缩写是SpringBoot&#xff0c;在JavaWeb开发中使用的流行框架有SSH、SpringBoot、SpringMVC等&#xff0c;作为一个课题程序采用SSH框架也可以&#xff0c…
阅读更多...
【学习】测试用例设计与执行的黄金法则

【学习】测试用例设计与执行的黄金法则

在软件测试领域&#xff0c;测试用例的设计与执行是确保产品质量的关键环节。一个优秀的测试用例能够揭示软件中的缺陷&#xff0c;而高效的执行则能保障测试覆盖的全面性。如同璀璨的星辰指引航船前行&#xff0c;以下黄金法则将引领测试用例设计与执行的过程&#xff0c;确保…
阅读更多...
Go 群发邮件Redis 实现邮件群发

Go 群发邮件Redis 实现邮件群发

一、安装 go get github.com/go-redis/redis/v8 go get gopkg.in/gomail.v2 二、使用"gopkg.in/gomail.v2"群发 package mainimport (gomail "gopkg.in/gomail.v2" )func main() {// 邮件内容m : gomail.NewMessage()m.SetHeader("From", &qu…
阅读更多...
【杂谈】AIGC之Stable Diffusion：AI绘画的魔法

【杂谈】AIGC之Stable Diffusion：AI绘画的魔法

Stable Diffusion&#xff1a;AI绘画的魔法 引言 在AI的世界里&#xff0c;Stable Diffusion就像一位魔法师&#xff0c;它能够将我们脑海中的幻想&#xff0c;用画笔一一描绘出来。今天&#xff0c;就让我们一探这位魔法师的奥秘&#xff0c;看看它是如何从无到有&#xff0…
阅读更多...
安装MongoDB单副本说明

安装MongoDB单副本说明

参考&#xff1a;https://blog.csdn.net/weixin_43464076/article/details/126509254 https://driverzhang.github.io/post/mongo%E5%BC%80%E5%90%AF%E4%BA%8B%E5%8A%A1%E4%B9%8B%E5%89%AF%E6%9C%AC%E9%9B%86%E9%87%87%E5%9D%91/ https://dev.to/alexalvess/getting-started-wi…
阅读更多...
实习面试题（答案自敲）、

实习面试题（答案自敲）、

1、为什么要重写equals方法&#xff0c;为什么重写了equals方法后&#xff0c;就必须重写hashcode方法&#xff0c;为什么要有hashcode方法&#xff0c;你能介绍一下hashcode方法吗&#xff1f; equals方法默认是比较内存地址&#xff1b;为了实现内容比较&#xff0c;我们需要…
阅读更多...
mysql表级锁（表锁/元数据锁/意向锁）

mysql表级锁（表锁/元数据锁/意向锁）

文章目录 表级锁的分类1、表锁(分类)1.表共享读锁&#xff08;read lock&#xff09;2.表独占写锁&#xff08;write lock&#xff09;3.语法&#xff1a; 2、元数据锁&#xff08;meta data lock &#xff09;3、意向锁1.意向共享锁&#xff08;IS&#xff09;&#xff1a;由语…
阅读更多...
【wiki知识库】05.分类管理实现--前端Vue模块

【wiki知识库】05.分类管理实现--前端Vue模块

&#x1f4dd;个人主页&#xff1a;哈__ 期待您的关注 目录 一、&#x1f525;今日目标 二、&#x1f30f;前端部分的改造 2.1 新增一个tool.ts 2.2 新增admin-categoty.vue 2.3 添加新的路由规则 2.4 添加the-welcome.vue 2.5 修改HomeView.vue 三、❗注意 一、&…
阅读更多...
车来了冲刺上市：业绩波动明显，依赖广告业务，滴滴、阿里入股

车来了冲刺上市：业绩波动明显，依赖广告业务，滴滴、阿里入股

近日&#xff0c;MetaLight Inc.&#xff08;下称“元光科技”或“车来了”&#xff09;向港交所递交招股说明书&#xff0c;中金公司为其独家保荐人。 据招股书介绍&#xff0c;元光科技专注于利用时序数据&#xff08;按时间顺序排列的数据点&#xff09;来发现及预测分析对…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023