STL 提供的容器可以有多快?(下)「榨干最后一滴」

以下内容为本人的烂笔头,如需要转载,请声明原文链接 微信公众号「ENG八戒」https://mp.weixin.qq.com/s/QWgA97TDMGBnwR4hKA7BwA

查表的消耗

某些场景下需要用到大量的 (string, X) 键值对来存储数据,标准库提供了关联容器 std::map 来解决键值对的存储需求。

由于 std::map 负责管理插入元素(键值对)的存储顺序,访问元素时需要比较键,比如 (string, X) 中的 string。键的比较依赖操作符 <,操作符的执行过程直接影响查表的效率,也就影响访问效率。

std::map 内部数据结构采用红黑树,假设 std::map<std::string, int> 中包含 N 个元素,查找一个元素的最多比较次数等于树的高度。对于一个高度均衡的树,平均高度可以认为是 log2(N),其中 N 是树中的元素数量。

可见元素数量比较少,而且比较操作符 < 运算代价较小,同时无法构造出良好的哈希函数的情况下,std::map 是非常合适的容器。相反,元素数量比较多,同时如果能提供良好的哈希函数的情况下,std::unordered_map 更合适一些。

如果想要提升键的比较效率,可以尝试用 (const char *, X) 替换 (string, X)。针对 C 风格的字符串指针,调用比较操作符 < 运算不会执行字典序比较,所以执行速度更快,容器占用空间也相对小。麻烦的是,访问元素时,需要自行确保其以正确的字典序方式进行比较。当然,使用指针可能带来其他副作用,如访问内存地址越界、泄漏、未初始化等等。

除了键对访问效率的限制之外,键值对的值 X 如果比较占空间,在复制时同样会拖慢效率。处理方法可以参考之前提到的策略:指针、智能指针以及写时复制等等策略。

如果你对「写时复制」的概念不是很清楚,可以查阅一下笔者之前的文章《C++ 代码性能空间之极限拉扯:「COW」 真乃神助攻》,本文末尾有跳转阅读链接。

侵入式列表

在对系统效率极为苛刻的条件下,有的开发者需要实现更高效的自定义侵入式列表,榨干最后一滴性能。标准库提供的容器链表虽然在空间和效率上已大为改善,但是对性能的极致追求决定了特定场景的自定义链表还有发挥的空间。

比如:

  1. 标准库提供的链表容器,需要额外的内存开销来存储指向前后节点的信息。如果容器插入大量小对象,会产生内存碎片,对内存的利用率不足。

  2. 即使是最保守的内存分配和释放,比如基本的插入和删除节点的动作,仍然会占用 CPU 资源,何况是频繁为节点分配和释放内存,会大为拖慢链表容器的执行效率。

Intrusive lists(侵入式列表)是一种特殊的数据结构实现方式,不同于传统的链表。它不要求列表负责分配和释放节点的存储空间,而是要求用户自己管理被插入的节点存储空间,

另外,节点自身必须存储其在列表中的位置信息。比如,双向侵入式列表,节点结构中包含了指向前后节点的指针,而单向侵入式列表,节点结构中包含有一个指向下一个节点的指针。

这种列表被称为“侵入式”,是因为存储在列表中节点对象的内部结构包含了列表的相关信息(链接信息),而且节点内存必须由用户管理,不能像标准库提供的链表那样为每个节点单独分配内存。

下面来看看如何定义侵入式链表容器的节点

// 链表容器的链接信息结构
template <typename T>
struct IntrusiveListNodeBase
{T* prev;T* next;
};// 要插入链表的用户对象
struct UserObject
{IntrusiveListNodeBase<UserObject> list_node;// 其它成员,比如数据...
};

由于插入容器列表的用户对象类型是可变的,在设计链表容器的链接信息结构时需要传入可变的类型参数,所以使用模板类。在 C++ 里,结构体其实是特殊的类。

然后,实现一个简单的侵入式链表容器,同样使用模板类的形式。容器应该提供基本的接口供用户使用,比如插入、查询、删除等

template <typename T>
class IntrusiveList
{
public:// 在链表前插入节点void push_front(T* item){auto& node = item->list_node;node.prev = nullptr;node.next = head_;if (head_)head_->list_node.prev = item;head_ = item;}// 擦除节点void erase(T* item){auto& node = item->list_node;if (node.prev)node.prev->list_node.next = node.next;elsehead_ = node.next;if (node.next)node.next->list_node.prev = node.prev;// 清理节点指针,防止悬挂指针node.prev = nullptr;node.next = nullptr;}// 查询列表当前节点数量int num_of_list(){T* head = head_;int num = 0;if (head == nullptr) {return num;}num = 1;while (head->list_node.next != nullptr) {++ num;head = head->list_node.next;}return num;}// ...private:T* head_ = nullptr;
};

最后看看链表的使用情况,对列表插入多个节点和移除部分节点后,查询剩余的节点数量

int main()
{UserObject obj1, obj2;IntrusiveList<UserObject> list;// 将对象插入列表list.push_front(&obj1);list.push_front(&obj2);// 将对象移出列表list.erase(&obj1);// 查询列表当前节点数量std::cout << "there is "<< list.num_of_list()<< " elements"<< std::endl;// ...return 0;
}

用户负责分配和释放插入侵入式列表的对象资源,上面的演示代码里,插入列表的对象资源分配在栈内,所以用户无须特意手动释放。而且,插入节点的过程无需任何的复制拷贝,删除节点的过程也无需释放任何资源,所以再频繁的插入删除操作都是极快的!

但是,还是要提醒一下,这种侵入式的链表容器不应该是首选的工具,标准库提供的容器已经可以应付绝大部分的需求,理应作为开发首选。现在绝大部分的生产环境并不依赖如此苛刻的精打细算,过分开发反而是高昂的成本。


全文写到这里就结束了,如果各位同学朋友有什么疑问欢迎联系我交流。另外,八戒有自己的技术圈交流群,如果读者朋友有兴趣入群交流技术问题,欢迎联系我。下拉到文章底部有我的联系方式!

最后,非常感激各位朋友的点 「赞」 和点击 「在看」,谢谢!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/871558.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python酷库之旅-第三方库Pandas(021)

目录 一、用法精讲 52、pandas.from_dummies函数 52-1、语法 52-2、参数 52-3、功能 52-4、返回值 52-5、说明 52-6、用法 52-6-1、数据准备 52-6-2、代码示例 52-6-3、结果输出 53、pandas.factorize函数 53-1、语法 53-2、参数 53-3、功能 53-4、返回值 53-…

Python爬虫教程第一篇

一、爬虫基础概念 1. 什么是爬虫 爬虫&#xff08;Spider&#xff0c;又称网络爬虫&#xff09;&#xff0c;是指向网站/网络发起请求&#xff0c;获取资源后分析并提取有用数据的程序。从技术层面来说&#xff0c;爬虫通过程序模拟浏览器请求站点的行为&#xff0c;把站点返…

C++11 设计模式8 责任链/职责链模式 ,(ChainofResponsibility)

在学些ffmpeg 的时候&#xff0c;发现&#xff0c;在ffmpeg 做 过滤器的时候&#xff0c;用到了责任链模式&#xff0c;因此学习并记录一下。 我们知道ffmpeg 的 过滤器提供了很强大的功能。例如&#xff0c;视频缩放&#xff0c;声音混编&#xff0c;九宫格&#xff0c;添加文…

经典卷积网络

放假回家了&#xff0c;感觉快坚持不下去了&#xff0c;目前还没有找到关于无监督学习实现分类的课程&#xff0c;普通数据当然肯定不会给你实现分类的啊 给些建议吧。 LeNet 通过共享卷积核&#xff0c;减少网络参数。 一般只统计卷积计算层和全连接计算层&#xff0c;其余操…

【redis操作语句】

1.数据库操作 redis默认有16个数据库&#xff0c;编号为0~15&#xff0c;且默认访问0号数据库 获取当前键值对数量:先set创建一个键值对,再用dbsize获取&#xff0c;flushdb清空再获取。 127.0.0.1:6379> set k1 v1 OK 127.0.0.1:6379> dbsize (integer) 1 127.0.0.1:…

期货量化交易客户端开源教学第三节——键盘通信协议

一、协议约定: 使用串口通信,波特率57600,一个起始位,一个停止位,一个校验位,8位数据,奇校验;约定键盘到电脑的数据为上行数据,电脑到键盘的数据为下行数据;数据格式为十六进制,高字节在前;协议格式2.1 键值帧(上行)无需应答 名称 长度 说明 帧头 1 键按下 # (0x…

安卓onNewIntent 什么时候执行

一.详细介绍 onNewIntent 方法 onNewIntent 是 Android 中 Activity 生命周期的一部分。它在特定情况下被调用&#xff0c;主要用于处理新的 Intent&#xff0c;而不是创建新的 Activity 实例。详细介绍如下&#xff1a; 使用场景 singleTop 启动模式&#xff1a; 如果一个 Ac…

A66 STM32_HAL库函数 之 USART通用驱动 -- B -- 所有函数的介绍及使用

A66 STM32_HAL库函数 之 USART通用驱动 -- B -- 所有函数的介绍及使用 1 该驱动函数预览1.15 HAL_USART_DMAResume1.16 HAL_USART_DMAStop1.17 HAL_USART_Abort1.18 HAL_USART_Abort_IT1.19 HAL_USART_IRQHandler1.20 HAL_USART_TxCpltCallback1.21 HAL_USART_TxHalfCpltCallba…

pid内容索引

Arduino PID整定 Arduino PID库简介 巡线机器人 - PID控制 掌握 PID 调节&#xff1a; 综合指南 PID控制器解释及整定 PID算法解析及程序代码_pid程序 1. PID 控制 2. 通过经典方法进行 PID 调谐_齐格勒尼科尔斯方法 关于PID知识整理 PID循迹机器人及整定 关于pid收藏…

老板也有生命周期

老板也有生命周期 产品生命周期,企业生命周期,老板也有生命周期 市场淘汰的不是公司,而是对管理认知不足,不能与时俱进和经营不善的老板。 市场每个周期都会淘汰一定数量的老板,老板也很难意识到是自己的问题,既然意识不到自己的问题,也就难以作出反应和应对之策,不…

pytorch学习--使用m1 进行训练

import torch #判断是否存在 gpu torch.backends.mps.is_available()Trueif torch.backends.mps.is_available():mps_device torch.device("mps")x torch.ones(1, devicemps_device)print (x) else:print ("MPS device not found.")tensor([1.], devicem…

UML建模案例分析-需求对类图的影响很大

概要 类图描述系统中类的静态结构。 概念是概念&#xff0c;但类图受需求的影响是非常大的&#xff0c;可以说类图是建模的源头。尽管用例图是源头&#xff0c;但对类图的作用有限。 例子 进销存系统里&#xff0c;产品类中&#xff0c;至少要包括如下属性&#xff1a;名称…

现代动力系统理论导论 第一卷+第二卷 Anatole Katok 金成桴

第0章 引言 0&#xff0e;1&#xff0e; 动力学主要分支 0&#xff0e;2&#xff0e; 流&#xff0c;向量场&#xff0c;微分方程 0&#xff0e;3&#xff0e; 时间1映射&#xff0c;截面&#xff0c;扭扩 0&#xff0e;4&#xff0e; 线性化与局部化 第1部分 例子与基本概念 …

使用Python的qrcode库生成二维码 —— 从入门到实践

引言 在数字时代&#xff0c;二维码已成为我们日常生活中不可或缺的一部分&#xff0c;无论是在支付、广告、产品追踪还是信息共享中&#xff0c;二维码的应用无处不在。Python中的qrcode库提供了一个简单而强大的工具&#xff0c;帮助开发者轻松创建二维码。本文将详细介绍如…

html dialog不显示边框

html dialog不显示边框 在HTML中&#xff0c; 元素默认情况下会显示一个边框。如果你想要一个不显示边框的对话框&#xff0c;你可以通过CSS来隐藏边框。 以下是一个简单的例子&#xff0c;演示如何使用CSS来隐藏 元素的边框&#xff1a; HTML: 这是一个不显示边框的对话框。…

宕机/脱机

目录 概念 区别 概念 宕机和脱机是两个不同的概念 宕机:一般指计算机系统或网络突然停止正常运行&#xff0c;无法继续提供服务。宕机可能是由硬件故障、软件问题、电源中断等原因导致的系统失效。 脱机:通常指设备与网络断开连接或无法直接访问在线资源。例如&#xff0c;…

Ubuntu使用K3S一分钟快速搭建K8S集群

快速入门指南 | Rancher文档 准备3台服务器 Master节点安装脚本# K3s 提供了一个安装脚本,可以方便的在 systemd 或 openrc 的系统上将其作为服务安装。这个脚本可以在 https://get.k3s.io 获得。要使用这种方法安装 K3s,只需运行以下命令: curl -sfL https://rancher-mi…

Android Spinner

1. Spinner Spinner是下拉列表&#xff0c;如图3-14所示&#xff0c;通常用于为用户提供选择输入。Spinner有一个重要的属性&#xff1a;spinnerMode&#xff0c;它有2种情况&#xff1a; 属性值为dropdown时&#xff0c;表示Spinner的数据下拉展示&#xff0c;如图1&#xf…

反应式编程:原理功能介绍及实践

简介 反应式编程&#xff08;Reactive Programming&#xff09;是一种面向数据流和变化传播的编程范式。它强调异步数据流的处理&#xff0c;通过声明性地定义依赖关系&#xff0c;使得系统能够自动响应数据的变化。 功能 异步处理&#xff1a;反应式编程天然支持异步操作&am…

机器学习和人工智能对金融行业的影响——案例分析

作者主页: 知孤云出岫 目录 引言机器学习和人工智能在金融行业的应用1. 风险管理信用评分风险预测 2. 交易高频交易量化交易 3. 客户服务聊天机器人个性化推荐 4. 反欺诈检测 机器学习和人工智能带来的变革1. 提高效率2. 降低成本3. 提升客户体验 未来发展趋势1. 更智能的风控系…