C 11 实现的 100行 线程池

C 线程池一直都是各位程序员们造轮子的首选项目之一。今天,小编带大家一起来看看这个轻量的线程池,本线程池是header-only的,并且整个文件只有100行,其中C 的高级用法有很多,很值得我们学习,一起来看看吧。

以下是正文


线程池

C 带有线程操作,异步操作,就是没有线程池,至于线程池的概念,我先搜一下别人的解释:


一般而言,线程池有以下几个部分:

1. 完成主要任务的一个或多个线程。


2. 用于调度管理的管理线程。

3. 要求执行的任务队列。

我来讲讲人话:你的函数需要在多线程中运行,但是你又不能每来一个函数就开启一个线程,所以你就需要固定的N个线程来跑执行,但是有的线程还没有执行完,有的又在空闲,如何分配任务呢,你就需要封装一个线程池来完成这些操作,有了线程池这层封装,你就只需要告诉它开启几个线程,然后直接塞任务就行了,然后通过一定的机制获取执行结果。


这里有一个100行实现线程池的操作:

https://github.com/progschj/ThreadPool/blob/master/ThreadPool.h

分析源代码 头文件

#include

#include

#include

#include

#include

#include

#include

#include

#include

vector,queue,momory 都没啥说的,thread线程相关,mutex 互斥量,解决资源抢占问题,condition_variable 条件量,用于唤醒线程和阻塞线程,future 从使用的角度出发,它是一个获取线程数据的函数。functional 函数子,可以理解为规范化的函数指针。stdexcept 就跟它的名字一样,标准异常。

class ThreadPool {

public:

    ThreadPool(size_t);

    template

    auto enqueue(F&& f, Args&&... args) 

        -> std::future::type>;

    ~ThreadPool();

private:

    // need to keep track of threads so we can join them

    std::vector< std::thread > workers;

    // the task queue

    std::queue< std::function> tasks;

    // synchronization

    std::mutex queue_mutex;

    std::condition_variable condition;

    bool stop;

};

线程池的声明,构造函数,一个enqueue模板函数 返回std::future, 然后这个type又利用了运行时检测(还是编译时检测?)推断出来的,非常的amazing啊。成功的使用一行代码反复套娃,这高阶的用法就是大佬的水平吗,i了i了。


workers 是vector<:thread>俗称工作线程。


std::queue<std::function> tasks 俗称任务队列。


那么问题来了,这个任务队列的任务只能是void() 类型的吗?感觉没那么简单,还得接着看呐。


mutex,condition_variable 没啥讲的,stop 控制线程池停止的。

// the constructor just launches some amount of workers

inline ThreadPool::ThreadPool(size_t threads)

    :   stop(false)

{

    for(size_t i = 0;i

        workers.emplace_back(

            [this]

            {

                for(;;)

                {

                    std::functiontask;

                    {

                        std::unique_lock<:mutex>lock(this->queue_mutex);

                        this->condition.wait(lock,

                            [this]{ return this->stop || !this->tasks.empty(); });

                        if(this->stop && this->tasks.empty())

                            return;

                        task = std::move(this->tasks.front());

                        this->tasks.pop();

                    }

                    task();

                }

            }

        );

}

大佬写的注释就是这么朴实无华,说这个构造函数仅仅是把一定数量的线程塞进去,我是看了又看才悟出来这玩意是什么意思……虽然本质上的确是它说的只是把线程塞进去,但是这个线程也太绕了。


workers.emplace_back 参数是一个lambda表达式,不会阻塞,也就是说最外层的是一个异步函数,每个线程里面的事情才是重点。


labmda表达式中最外层是一个死循环,至于为什么是for(;;)而不是while(1) 这虽然不是重点,不过大佬的用法还是值得揣摩的,我估计是效率会更高?


task 申明后,紧跟着一个大括号,这个{}里面的部分,是一个同步操作,至于为什么用this->lock 而不是直接使用[&]来捕获参数,想来也是处于内存考虑。精打细算的风格像极了抠门的地主,i了i了。


紧接着一个wait(lock,condtion)的操作,像极了千层饼的套路。


第一层:这TM不是要锁死自己啊?这样不是构造都得卡死?


第二层:我们看到它emplace_back了一个线程,不会阻塞,但是等开锁,锁不就在它自己的线程里面嘛?那不得锁死了啊?


第三层:我们看到这个lock其实只是个包装,真正的锁是外层的mutex,所以从这里是不存在死锁的。但是你的wait的condition怎么可能不懂呢,必须要 stop 或者 !empty 才wait吗?


第四层:我们查资料发现后面的condition是返回false才会wait,也就是说要!stop && empty才会wait,就是说这个线程池是 运行态,并且没有任务才才会执行等待操作!否则就不等了,直接冲!


第五层:既然你判断了上面判断了stop和非空,为啥下面还要判断stop和空才退出呢?不显得冗余?


第六层:要确定它的确是被置为stop了,且队列执行空了,它才能够光荣退休。有没有问题呢,有,最后所有线程都阻塞了,你stop置为true它们也不知道啊……


我估计它的stop会有唤醒所有线程的操作,不过如果有的在执行,有的在等待,应该没办法都通知到位,但是在执行的在下一次判断的时候也能正常退出。


因为有了疑惑,我们就想看stop相关的操作,结果发现放在了析构函数里面……

// the destructor joins all threads

inline ThreadPool::~ThreadPool()

{

    {

        std::unique_lock<:mutex>lock(queue_mutex);

        stop = true;

    }

    condition.notify_all();

    for(std::thread &worker: workers)

        worker.join();

}

{}里面上锁进行了stop为true的操作,至于为什么不用原子操作,我也不知道,但是仔细想了下大概是因为本来就有一把锁了,再用原子就不是内味儿了。然后它果然通知了所有,并且还把工作线程join了。也就是等它们结束。

结束了千层饼の解析之后,我们看看最重要的入队操作

// add new work item to the pool

template

auto ThreadPool::enqueue(F&& f, Args&&... args) 

    -> std::future::type>

{

    using return_type = typename std::result_of::type;

    auto task = std::make_shared< std::packaged_task>(

            std::bind(std::forward(f), std::forward(args)...)

        );

    std::futureres = task->get_future();

    {

        std::unique_lock<:mutex>lock(queue_mutex);

        // don't allow enqueueing after stopping the pool

        if(stop)

            throw std::runtime_error("enqueue on stopped ThreadPool");

        tasks.emplace([task](){ (*task)(); });

    }

    condition.notify_one();

    return res;

}

typename std::result_of::type中的typename 应该是为消除歧义的,或者因为嵌套依赖名字的关系,做为一个坚决不写模板的普通程序员,这段代码太难了……-> type 我倒是知道怎么回事,就是指明它的返回类型的一种方式result_of应该是指明了F是一个函数,签名为Args...这个变参,Args是啥它不关系,它关心的是返回值的参数类型 所以有个type。


至于为什么函数入口是一个右值引用那就超出我的理解范围了。难道说functional 必须要右值引用?那它的销毁谁来管呢?这个线程来管吗?这些坑我以后慢慢填。


前面我们说了tasks 只能接收void() 的函数类型,这里使用std::packaged_task完成对函数类型的推导,至于为什么不用 function,因为这还不是最终放入tasks的对象,它要承接一个返回future的工作,而package_task就是来打包返回future的……


然后就是加锁入队 通知工作线程 返回future的操作。本来是线程池最难理解的部分,反而显得平淡无奇了,因为前面那些花里胡哨的操作已经很好的打通了我们的理解能力。对于这个操作本来就有一点概念的,就显得有种“就这?”的感觉……

声明:

本文于网络整理,版权归原作者所有,如来源信息有误或侵犯权益,请联系我们删除或授权事宜。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/338212.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

openshift使用_OpenShift v3:使用WildFly和MySQL的Java EE 7入门

openshift使用OpenShift是Red Hat的开源PaaS平台。 OpenShift v3 &#xff08;将于今年发布&#xff09;将提供使用Docker和Kubernetes运行微服务的整体体验。 以经典的Red Hat方式&#xff0c;所有工作都在OpenShift Origin的开源中完成。 这也将推动OpenShift Online和OpenSh…

c程序的基本组成单位是什么?

C程序是由函数构成的。函数是C程序的基本组成单位。一个C源程序中仅有一个main()函数,除main函数之外可以有若干个其它的函数。每个函数实现某一特定的操作。因此&#xff0c;函数是C程序的基本单位。一个函数由两部分组成&#xff1a;函数的说明部分。包括函数名、函数类型、函…

C语言头文件 “ 细节 ”

很多事不深入以为自己懂了&#xff0c;但真正用到项目上&#xff0c;才发现了问题。曾以为自己写C语言已经轻车熟路了&#xff0c;特别是对软件文件的工程管理上&#xff0c;因为心里对自己的代码编写风格还是有自信的。(毕竟刚毕业时老大对我最初的训练就是编码格式的规范化处…

oracle中悲观锁定_如何使用悲观锁定修复乐观锁定竞争条件

oracle中悲观锁定回顾 在我以前的文章中 &#xff0c;我解释了使用显式乐观锁定的好处。 然后我们发现&#xff0c;在很短的时间范围内&#xff0c;并发交易仍可以在我们当前交易被提交之前立即提交产品价格更改。 此问题可以描述如下&#xff1a; 爱丽丝拿产品 然后&#…

初学者宝典:C语言入门基础知识大全(中)

04常量在程序运行中&#xff0c;其值不能被改变的量称为常量。常量有5种类型&#xff1a;整型常量、实型常量、字符常量、字符串常量和符号常量。4.1 数值转换—数值的四种表现形式&#xff1a;①&#xff1a;二进制&#xff1a;所有数字由0,1构成&#xff0c;逢二进一&#xf…

stateless_Spring Stateless State Security第3部分:JWT +社会认证

stateless我的Stateless Spring Security系列文章的第三部分也是最后一部分是关于将基于JWT令牌的身份验证与spring-social-security混合在一起的。 这篇文章直接建立在它的基础上&#xff0c;并且主要集中在已更改的部分上。 想法是使用基于OAuth 2的“使用Facebook登录”功能…

return在c语言中是什么意思

函数是C语言的基本构件&#xff0c;一个C程序可以由一个主函数和若干个子程序函数构成&#xff0c;由主函数调用其它子程序函数&#xff0c;其他子程序函数也可以互相调用。通常希望通过函数调用使主函数能得到一个确定的值&#xff0c;这就是函数的返回值。在C语言中通过函数实…

为什么非阻塞io性能更好_提高性能:流的非阻塞处理

为什么非阻塞io性能更好1.简介 想象一下&#xff0c;我们有一个需要访问外部Web服务的应用程序&#xff0c;以便收集有关客户端的信息&#xff0c;然后对其进行处理。 更具体地说&#xff0c;我们无法在一次调用中获得所有这些信息。 如果我们要查找不同的客户端&#xff0c;则…

c语言的输入函数有哪些

c语言的输入函数有&#xff1a;1、scanf的返回值scanf()函数返回成功赋值的数据项数&#xff0c;读到文件末尾出错时则返回EOF。如&#xff1a;scanf("%d%d", &a, &b);如果a和b都被成功读入&#xff0c;那么scanf的返回值就是2如果只有a被成功读入&#xff0…

php cdi_CDI和EJB:在事务成功时发送异步邮件

php cdi再次问好&#xff01; :) 这次&#xff0c;我选择了一项常见任务&#xff0c;我认为大多数情况下都以错误的方式完成&#xff1a;发送电子邮件。 并非所有人都不知道电子邮件API的工作方式&#xff0c;例如JavaMail或Apache的commons-email 。 我通常看到的一个问题是&…

linux中多进程调试,linux下用gdb调试多进程

今天来学习一下linux下gdb如何调试多进程&#xff0c;在学习之前我我们能先看一张表&#xff1a;这张表是gdb调试的命令表&#xff0c;这对那些对gdb不熟的同学来说是非常有必要的。一、多进程调试的命令1、set follow-fork-mode parent|child因为gdb在一般情况下&#xff0c;只…

初学者宝典:C语言入门基础知识大全(下)

06类型的自动转换和强制转换当同一表达式中各数据的类型不同时&#xff0c;编译程序会自动把它们转变成同一类型后再进行计算。转换优先级为&#xff1a;char < int < float < double 即左边级别“低“的类型向右边转换。具体地说&#xff0c;若在表达式中优先级最高的…

viewpager默认界面_使用默认方法的界面演变–第一部分:方法

viewpager默认界面几周前&#xff0c;我们详细研究了默认方法 -Java 8中引入的一项功能&#xff0c;该功能允许为接口方法提供实现&#xff0c;即方法主体&#xff0c;从而定义接口中的行为。 引入此功能是为了实现接口演进 。 在JDK的上下文中&#xff0c;这意味着在不破坏所…

C语言中scanf函数的3种常见问题与应对技巧

在写代码时难免对一些知识点不熟悉&#xff0c;导致犯错&#xff0c;今天分享几点小知识给大家。空白符问题#includeint main(void){int a;printf("input the data ");scanf("%d ",&a); //这里多了一个回车符printf("%d",a);return 0;}结果…

aws上部署hadoop_在AWS Elastic MapReduce上运行PageRank Hadoop作业

aws上部署hadoop在上一篇文章中&#xff0c;我描述了一个执行PageRank计算的示例&#xff0c;该示例是使用Apache Hadoop进行Mining Massive Dataset课程的一部分。 在那篇文章中&#xff0c;我接受了Java中现有的Hadoop作业&#xff0c;并做了一些修改&#xff08;添加了单元测…

在嵌套使用if语句时,C语言规定else总是什么?

C语言的语法规定&#xff1a;else子句总是与前面最近的不带else的if相结合&#xff0c;与书写格式无关。在C语言中&#xff0c;使用if和else关键字对条件进行判断。请先看下面的代码&#xff1a;#include int main(){ int age; printf("请输入你的年龄&#xff1a;&…

continue语句的作用是结束整个循环的执行吗?

continue 语句的作用是结束本次循环&#xff0c;跳过循环体中剩余的语句而强制进入下一次循环&#xff08;回到循环体的开头准备再次执行循环体&#xff09;。continue语句只用在 while、for 循环中&#xff0c;常与 if 条件语句一起使用&#xff0c;判断条件是否成立。使用方式…

linux 远程权限不够,Eclipse连接远程Hadoop集群开发时权限不足问题解决方案

eclipse连接远程Hadoop集群开发时报错Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: userd, accessWRITE, inode"data":zxg:supergroup:rwxr-xr-xat org.apache.hadoop.hdfs.server.namenode.FSPerm…

一文掌握 C 智能指针的使用

RAII 与引用计数了解 objective-C/Swift 的程序员应该知道引用计数的概念。引用计数这种计数是为了防止内存泄露而产生的。基本想法是对于动态分配的对象&#xff0c;进行引用计数&#xff0c;每当增加一次对同一个对象的引用&#xff0c;那么引用对象的引用计数就会增加一次&a…

fwrite函数的一般调用形式是什么?

fwrite() 是C 语言标准库中的一个文件处理函数&#xff0c;功能是向指定的文件中写入若干数据块&#xff0c;如成功执行则返回实际写入的数据块数目。该函数以二进制形式对文件进行操作&#xff0c;不局限于文本文件。语法&#xff1a;fwrite(buffer,size,count,fp)参数&#x…