[NewLife.XCode]数据层缓存(网站性能翻10倍)

NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。

整个系列教程会大量结合示例代码和运行日志来进行深入分析,蕴含多年开发经验于其中,代表作有百亿级大数据实时计算项目。

开源地址:https://github.com/NewLifeX/X (求star, 760+)

 

缓存是一把尖刀,合理使用可大大提升吞吐率!

 

回到目录

历史背景

2006年,某某省电网门户卒!

经查,首页某个sql先后执行了8次,正好对应页面上8大块新闻列表。

实在忍无可忍,于是在底层用Hashtable做了一层sql/DataSet缓存,当时.NET1.1好像还没有泛型字典。

于是世界清静了,效果还不错,特别对于访问量很大的门户网站。

 

XCode的数据层缓存设计于2003年,那时候只做网站和普通MIS系统,数据库性能还很差……

 

数据层缓存:以查询sql为key,把查询结果缓存起来,提升系统性能!

 

回到目录

数据层缓存

经过16年的发展,XCode里面数据层缓存曾经一度被干掉,若干年后又请回来,现在是这个样子:

640?wx_fmt=png

数据层DAL内,所有查询类方法 Query/Select/SelectCount 都先走一趟缓存(默认配置关闭);

所有添删改操作类方法 Execute 都清空本DAL连接的所有缓存;

 

** 多年前,查询方法指定要用到的表名,添删改方法指定会影响到的表名,做到部分表缓存过期。现在数据库性能大有提升,为了“简约”设计理念,简化了缓存设计。

 

回到目录

缓存设置

数据层缓存只有一个缓存时间的设置DataCacheExpire,位于配置文件 config/xcode.config 中,默认0秒表示不启用。

设置缓存时间的方式有多种:

  • 修改配置文件 config/xcode.config 中的DataCacheExpire

  • 魔方,魔方设置页面,修改数据中间件页的“数据层缓存”

  • 直接修改DAL类的Expire属性

  • 连接字符串中配置DataCache参数,如 DataCache=60

前面两者的本质相同,也是最常见用法。

连接字符串配置提供了个性化,针对部分连接需要打开数据层缓存,或者不同连接采用不能缓存时间的场景。

 

回到目录

总结

2016年起,XCode采取了“简约”且稍微“保守”的理念,于是数据层缓存默认配置0秒,大部分场景推荐使用10~60秒。

各种网站,推荐过期时间60秒起,经实际线上项目压测,吞吐率可轻易从300rps提升到10000rps以上,命中率99.99%。

每一个应用系统,总会有那么一些表或数据很少改变,非常适合使用数据层缓存,建议在实践中获得最优缓存时间!

 

 

回到目录

系列教程

NewLife.XCode教程系列[2019版]

  1. 增删改查入门。快速展现用法,代码配置连接字符串

  2. 数据模型文件。建立表格字段和索引,名字以及数据类型规范,推荐字段(时间,用户,IP)

  3. 实体类详解。数据类业务类,泛型基类,接口

  4. 功能设置。连接字符串,调试开关,SQL日志,慢日志,参数化,执行超时。代码与配置文件设置,连接字符串局部设置

  5. 反向工程。自动建立数据库数据表

  6. 数据初始化。InitData写入初始化数据

  7. 高级增删改。重载拦截,自增字段,Valid验证,实体模型(时间,用户,IP)

  8. 脏数据。如何产生,怎么利用

  9. 增量累加。高并发统计

  10. 事务处理。单表和多表,不同连接,多种写法

  11. 扩展属性。多表关联,Map映射

  12. 高级查询。复杂条件,分页,自定义扩展FieldItem,查总记录数,查汇总统计

  13. 数据层缓存。Sql缓存,更新机制

  14. 实体缓存。全表整理缓存,更新机制

  15. 对象缓存。字典缓存,适用用户等数据较多场景。

  16. 百亿级性能。字段精炼,索引完备,合理查询,充分利用缓存

  17. 实体工厂。元数据,通用处理程序

  18. 角色权限。Membership

  19. 导入导出。Xml,Json,二进制,网络或文件

  20. 分表分库。常见拆分逻辑

  21. 高级统计。聚合统计,分组统计

  22. 批量写入。批量插入,批量Upsert,异步保存

  23. 实体队列。写入级缓存,提升性能。

  24. 备份同步。备份数据,恢复数据,同步数据

  25. 数据服务。提供RPC接口服务,远程执行查询,例如SQLite网络版

  26. 大数据分析。ETL抽取,调度计算处理,结果持久化

 


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/316206.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

cf1556A. A Variety of Operations

cf1556A. A Variety of Operations 题意: 有两个数a,b一开始都是0,现在有三种操作: 给a和b都加ka加k,b减ka减k,b加k 问从a0,b0到ac,bd最少需要几步? 题解&#xff1a…

[NewLife.XCode]高级查询(化繁为简、分页提升性能)

NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。整个系列教程会大量结合示例代码和运行日志来进行深入分析,蕴含多年开发经验于其中,代…

cf1556B B. Take Your Places!

cf1556B B. Take Your Places! 题意: 有n个数,你可以将相邻两个数交换,使得奇偶性一样的数不相邻。问最少操作步数 题解: 最终排列无非是:奇,偶,奇…或者偶,奇,偶… …

微软云Azure训练营 | 八城联动,全球盛会

Global Azure Bootcamp是由微软发起、MVP参与组织的全球化学习交流活动。每年会挑选一个特定的时间,在同一天内,全球不同地区将同时开展。2019年全球Azure训练营(Global Azure Bootcamp)将于2019年4月27日在全球270多个城市同时举…

2021-09-211547G - How Many Paths?

#include <iostream> #include <cstdio> #include <cstring> #include <algorithm> #include <set> using namespace std; typedef long long ll;const int N4e510,M1e610,mod998244353;int h[N],hs[N],e[M],ne[M],idx0; // h 原图 hs新图 v…

cf1556Compressed Bracket Sequence

cf1556Compressed Bracket Sequencex 题意&#xff1a; 给你n个数&#xff0c;奇数位置上的数表示左括号的数量&#xff0c;偶数位置上的数表示右括号的数量。问有多少个[l,r]是满足括号匹配的 题解&#xff1a; 括号匹配也算是经典问题了 直接统计不好计算&#xff0c;我们…

长沙4月21日开发者大会暨.NET社区成立大会活动纪实

活动总结2019年4月21日是一个斜风细雨、微风和煦的美好日子&#xff0c;由长沙.NET技术社区、腾讯云云加社区、微软Azure云技术社区、中国.NET技术社区、长沙柳枝行动、长沙互联网活动基地&#xff08;唐胡子俱乐部&#xff09;等多家单位共同主办的长沙开发者技术大会暨长沙.N…

树上启发式合并 简单例题

U41492 树上数颜色 #include <iostream> #include <cstdio> #include <cstring> #include <algorithm> #include <set> #include <vector> #include <queue> using namespace std; typedef long long LL; typedef pair<int,int…

cf1556D. Take a Guess

cf1556D. Take a Guess 题意&#xff1a; 交互题 有n个数和k个询问&#xff0c;你最多只能询问2n次&#xff0c;可以询问任意两个位置数的or或者是and&#xff0c;然后输出这n个数的第k大数 题解&#xff1a; 先说个结论&#xff1a; x y (x or y) (x and y) (嘶&#x…

SQL Server AlwaysOn 集群 关于主Server IP与Listener IP调换的详细测试

1. 背景SQL Server 搭建AlwaysOn后&#xff0c;我们就希望程序连接时使用虚拟的侦听IP&#xff08;Listener IP&#xff09;&#xff0c;而不再是主Server 的IP。如果我们有采用中间件&#xff0c;则可以在配置中&#xff0c;直接用Listener IP 替换掉 Server IP&#xff0c;可…

1592E - Скучающий Бакри

首先把那式子转换成长度为偶数并且二进制有一段连续的一&#xff0c;大于这位的数量都是偶数 如果长度为奇数那么如果 and 是1&#xff0c;xor 一定是1&#xff1b;and 是0&#xff0c;xor可能是1&#xff1b;所以长度为奇数一定不可以。 那么长度为偶数的话&#xff0c;对二…

cf1556E. Equilibrium

cf1556E. Equilibrium 题意&#xff1a; 有a&#xff0c;b两组长度为n的数&#xff0c;现在你要通过操作将范围[l,r]中的a&#xff0c;b两组一样。每次操作你在[l,r]中选偶数个下标pos&#xff0c;{pos1,pos2,pos3…}&#xff0c;在奇数位上的下标给序列a对应的下标pos1加上1…

线段树动态开点 - - - > 线段树合并

逆序对 代码 P3224 [HNOI2012]永无乡 并查集线段树合并 ​​​​ 代码 P5494 【模板】线段树分裂 #include<iostream> #include<cstdio> #include<algorithm> #include<cstring> #include<vector> #include<queue> #include<…

在 DotNetCore 3.0 程序中使用通用协议方式启动文件关联应用

问题描述在传统的基于 .NET Framework 的 WPF 程序中&#xff0c;我们可以使用如下代码段启动相关的默认应用&#xff1a;Copy# 启动默认文本编辑器打开 helloworld.txtProcess.Start("helloworld.txt");# 启动默认浏览器打开 https:Process.Start("https://hip…

cf451E. Devu and Flowers(产生不同多重集数量)

cf451E. Devu and Flowers 题意&#xff1a; 有n个箱子&#xff0c;第i个箱子里有ai朵花&#xff0c;同一个箱子里花的颜色一样&#xff0c;不同箱子里的花颜色不一样。现在在这些箱子里选出m朵花组成一束&#xff0c;求一共有多少种方案。要求任意两束花都不一样 题解&…

.NetCoreLinuxDockerPortainer踩坑历险记

最近有一个云服务器和数据库的迁移任务&#xff0c;踩坑爬坑无数次&#xff0c;觉得必须要记录一下。大家瓜子花生准备好&#xff0c;听我慢慢讲故事#手动笑哭#。故事背景公司是做电商业务的&#xff0c;在天猫有几家旗舰店数据量也很大。阿里有一个称为聚石塔的平台&#xff0…

F - Parenthesis Checking

​​​​​​​1 . ( - > 1 , ) - > -1; 先想前缀和&#xff0c;求出l&#xff0c;r中的最小值&#xff0c;如果最小值小于l-1的前缀和&#xff0c;那么说明有某个点的 ) 大于 ( 数量 不满足条件&#xff1b; 用线段树优化区间修改和区间查询&#xff1b; 2 . …

cf208E. Blood Cousins

cf208E. Blood Cousins 题意&#xff1a; 给你一个森林&#xff0c;m次询问&#xff0c;每次询问(v,p),问v的p-cousin有多少&#xff1f;p-cousin指的是与v在同一层且他们到lca的距离都是p 题解&#xff1a; 对于每次询问(v,p),我们都可以通过其找到v的p距离的父亲节点fa&a…

深入源码理解.NET Core中Startup的注册及运行

开发.NET Core应用&#xff0c;直接映入眼帘的就是Startup类和Program类&#xff0c;它们是.NET Core应用程序的起点。通过使用Startup&#xff0c;可以配置化处理所有向应用程序所做的请求的管道&#xff0c;同时也可以减少.NET应用程序对单一服务器的依赖性&#xff0c;使我们…

并查集虚拟节点

​ HDU 3234 Exclusive-OR AC代码简洁版 AC代码不好看的 Almost Union-Find UVA - 11987 AC代码 #include <iostream> #include <cstdio> #include <algorithm> #include <cstring> #include <sstream> using namespace std; typedef long …