使用共享内存(内存映射)实现发布订阅模式

多进程实现PubSub发布订阅模式，从而实现进程间的通信。
通信方式可以是TCP/UDP，管道Pipe/消息队列，共享内存shared memory等等。其中TCP/UDP的方式是可以用作局域网以及跨平台的通信，Pipe/消息队列是进程间基于系统实现比较基础的通信，这两者有大量优秀的第三方库支持，如ZeroMQ，只要加入我们自定义数据的转换方式即可方便实现；而共享内存是实现进程间通信最快的方式，但因为共享内存的设计并不是用来做类似PubSub这种模式的实现的，并且共享内存实质上就是一段进程间共享的内存空间，使用自由度是极高的，所以也很少有第三方库来实现共享内存方式的进程间通信。
因此本文的重点是如何使用共享内存shared memory来实现高效的PubSub发布订阅模式。

需求

消息通过事先分配好的共享内存空间来传递
需要有一定的机制来管理消息的发送（写）和接收（读）
需要实现发布订阅模式，也就是一个发布者（一写）多个订阅者（多读）
考虑到平台的原因，最后采用了文件映射内存的这种方式，在各种系统中都有比较通用的实现

逻辑分析

显然，只要创建了一个文件并且设置好需要的大小，即可以使用mmap映射到进程的内存空间，并且在退出时可以用munmap将映射释放掉。但是空间真正的释放是要把文件删掉的，因此我们需要一个计数器来记录使用这块共享内存的进程数，类似共享指针shared_ptr的实现，在计数为零时把文件删掉。在修改这个计数的时候还需要一把进程间读写锁：
对于只有单个订阅者，数据之后包含一个标志位，发布者写完后置为true，订阅者读完之后置为false，可能再加上一个信号灯的控制，来避免频繁读写；
对于多个订阅者，数据中的这个标志位变成一个计数，发布者写完之后将计数器置为订阅者的数量，订阅者读完之后将计数器减1，再加上一个进程条件变量的控制，来避免频繁读写。
这两种方案都有一定的弊端，最大的问题在于，订阅者还需要修改共享内存的内容，这样就发挥不出读写锁支持多读的优势了。我们需要一个更好的机制。
一个简单的实现是数据中带有一个单调递增的标签，订阅者读到数据后本地保存一下这个标签的值，如果下次读到的这个值不比保存的值大，就认为读到了旧数据，忽略之。这个标签比较好的实现是用当前的系统时间而不是计数，因为发布者可能会重启清零，就算重启后可以从已经写入的数据中读取，但后面为了实现无锁队列会让这个事情变得麻烦。这样还有一个问题是，依然会频繁地去读取这个标签。因此需要加入进程条件变量的控制来减少这种频繁。接下来是2，实现消息发送（写）和接收（读）的管理。因为我们已经有了一把读写锁，很自然地想到可以用它来管理读写啊。事实上并不是这样，因为发布者写完数据之后可能会有一段时间不会占有写锁，这时候就要一种机制来限制订阅者不会重复来读这个数据。对于这个实现，已有的方案有：
对于每一个订阅者都开辟一块共享内存，可以按一对一的方式同时复制多份数据；
使用生产消费模式，使用循环队列来实现读写分离。
第1种方案是解决了读写锁争抢的问题，但是增加了内存复制的开销，反而没有第2种方案好。但是我们要稍微修改一下传统的生产消费模式的实现，只用一个指针来指向最新的数据。之所以这样做是因为内存是事先分配好的，我们把它改造成环形的内存缓冲区，很难保证数据读取的序列性；再者就是循环的尾指针应该由订阅者自己来维护，因为每个订阅者处理的速度是不一样的。
如此一来，所有数据的修改完全是由发布者来做的，也就是说对于订阅者来说，这是个无锁队列：

代码实现

#include <iostream>
#include <cstring>
#include <vector>
#include <functional>
#include <memory>
#include <sys/mman.h>
#include <atomic>
#include <thread>
#include <sys/stat.h>
#include <unistd.h>
#include <sys/types.h>
#include <fcntl.h>struct ShmData{bool written_;long timestamp_;size_t size_;char data_[1];ShmData():written_(false){}void Write(const char *data,const size_t len){written_ = false;memcpy(data_,data,len);size_ = len;timestamp_ = GetTimestamp();written_ = true;}bool Read(std::vector<char>* data,long* time = nullptr){if (!written_){return false;}if (time){*time = timestamp_;}data->resize(size_);memcpy(data->data(),data_,size_);return true;}static long GetTimestamp(){struct timespec ts;clock_gettime(CLOCK_REALTIME,&ts);return ts.tv_sec * 1000000 + ts.tv_nsec / 1000;}
};struct ShmQueue{size_t size_;int count_;int head_;char data_[1];ShmQueue(const size_t size,const int count):size_(sizeof(ShmData) + size),count_(count),head_(0){new(data_)ShmData;}void Write(const char* data,const size_t len){const int next = (head_ + 1) % count_;(reinterpret_cast<ShmData *>(data_ + next * size_))->Write(data,len);head_ = next;}bool Read(std::vector<char>*data,long* time){return (reinterpret_cast<ShmData *>(data_ + head_ * size_))->Read(data,time);}
};struct ShmSlice{int attached_;pthread_rwlock_t rwlock_;pthread_mutex_t mutex_;pthread_cond_t cond_;char data_[1];ShmSlice(const size_t size,const int count,const bool init = false){if (init){//init rwlockpthread_rwlockattr_t rwattr;pthread_rwlockattr_init(&rwattr);pthread_rwlockattr_setpshared(&rwattr,PTHREAD_PROCESS_SHARED);pthread_rwlock_init(&rwlock_,&rwattr);//init mutexpthread_mutexattr_t mattr;pthread_mutexattr_init(&mattr);pthread_mutexattr_setpshared(&mattr,PTHREAD_PROCESS_SHARED);pthread_mutex_init(&mutex_,&mattr);//init condition variablepthread_condattr_t cattr;pthread_condattr_init(&cattr);pthread_condattr_setpshared(&cattr,PTHREAD_PROCESS_SHARED);pthread_cond_init(&cond_,&cattr);//init shm queuenew(data_)ShmQueue(size,count);}LockWrite();if (init){attached_ = 1;} else{++attached_;}UnLockWrite();}~ShmSlice(){LockWrite();UnLockWrite();if (0 == attached_){pthread_cond_destroy(&cond_);pthread_mutex_destroy(&mutex_);pthread_rwlock_destroy(&rwlock_);}}int count(){LockRead();const int count = attached_;UnlockRead();return count;}void Write(const char* data,const size_t len){LockWrite();(reinterpret_cast<ShmQueue*>(data_))->Write(data,len);UnLockWrite();}bool Read(std::vector<char> *data,long* time){return (reinterpret_cast<ShmQueue *>(data_))->Read(data,time);}void LockWrite(){pthread_rwlock_wrlock(&rwlock_);}void UnLockWrite(){pthread_rwlock_unlock(&rwlock_);}void LockRead(){pthread_rwlock_rdlock(&rwlock_);}void UnlockRead(){pthread_rwlock_unlock(&rwlock_);}void LockMutex(){while (EOWNERDEAD == pthread_mutex_lock(&mutex_)){UnlockMutex();}}void UnlockMutex(){pthread_mutex_unlock(&mutex_);}void NotifyOne(){pthread_cond_signal(&cond_);}void NotifyAll(){pthread_cond_broadcast(&cond_);}void wait(){LockMutex();pthread_cond_wait(&cond_,&mutex_);UnlockMutex();}bool WaitFor(struct timespec *ts,const std::function<bool()>&cond){if (cond && cond()){return true;}LockMutex();pthread_cond_timedwait(&cond_,&mutex_,ts);UnlockMutex();bool ret;if (cond){ret = cond();} else{struct timespec now;clock_gettime(CLOCK_REALTIME,&now);ret = now.tv_sec < ts->tv_sec || (now.tv_sec == ts->tv_sec && now.tv_nsec <= ts->tv_nsec);}return ret;}
};class ShmManger{
public:ShmManger(std::string file_name,const int size): name_(std::move(file_name)),size_(sizeof(ShmSlice) + sizeof(ShmQueue) + 3 * (sizeof(ShmData) + size)){bool init = false;//open file descriptorint fd = open(name_.c_str(),O_RDWR | O_CREAT | O_EXCL,0600);if(fd < 0){fd = open(name_.c_str(),O_RDWR,0600);}else{//set file sizestruct stat fs;fstat(fd,&fs);if (fs.st_size < 1){ftruncate(fd,size_);}init = true;}//mmapvoid *shmaddr = mmap(NULL,size_,PROT_READ | PROT_WRITE,MAP_SHARED,fd,0);new (shmaddr) ShmSlice(size,3,init);auto deleter = [](ShmSlice *ptr){ptr->~ShmSlice();};slice_ = std::shared_ptr<ShmSlice>(reinterpret_cast<ShmSlice *>(shmaddr),deleter);close(fd);}~ShmManger(){running_ = false;slice_->NotifyAll();if (read_thread_.joinable()){read_thread_.join();}const int count = slice_->count();auto ptr = slice_.get();slice_.reset();if(count > 1){//unmapmunmap(ptr,size_);} else{//remove fileremove(name_.c_str());}}void Publish(const std::vector<char> &data){slice_->Write(data.data(),data.size());slice_->NotifyAll();}void Subscribe(std::function<void (const std::vector<char>&)>callback){callback = std::move(callback);running_ = true;read_thread_ = std::thread(&ShmManger::ReadThread,this);}private:void ReadThread(){long read_time = 0;while (running_){std::vector<char> data;long time;struct timespec ts;clock_gettime(CLOCK_REALTIME,&ts);ts.tv_sec += 5;if (!slice_->WaitFor(&ts,[&]{return slice_->Read(&data,&time) && time > read_time;})){continue;}read_time = time;//deal with datacallback_(data);}}std::string name_;int size_;std::shared_ptr<ShmSlice>slice_;std::function<void(const std::vector<char>&)>callback_;std::atomic_bool running_;std::thread read_thread_;
};
int main() {std::cout << "Hello, World!" << std::endl;return 0;
}