sql 写query_为什么需要动态SQL

为什么需要动态SQL

在使用 EF或者写 SQL语句时,查询条件往往是这样一种非常常见的逻辑:如果客户填了查询信息,则查询该条件;如果客户没填,则返回所有数据。

我常常看到很多人解决这类问题时使用了错误的静态 SQL的解决办法,使得数据库无法利用索引,导致性能急剧下降。

介绍数据

这次我将使用我的某客户的真实数据来演示(已确认不涉及信息安全?),有一个订单表 FoodOrder,结构如下: 

d1919bb92151d3ecb3db25566ebc86c4.png

我在 Id、 FoodMenuId、 OrderUserId上创建了非聚集索引,在 OrderTime上创建了聚集索引。该表有 51652条数据。

静态SQL

在这种逻辑中如果想用一条 SQL语句搞定所有查询,那么代码可能长这个样子:

set statistics io on

declare @userId int = 506

declare @menuId int = 3176

select * from FoodOrder where

(@userId is null or OrderUserId = @userId) AND

(@menuId is null or FoodMenuId = @menuId)

这种写法虽然方便,但基于其 SQL过于“复杂”,甚至还使用了 IS NULL和 OR,导致语句完全无法使用索引,运行 SET STATISTICS IO ON后,显示信息如下:

(3 行受影响)

Table 'FoodOrder'. Scan count 1, logical reads 337, physical reads 0, page server reads 0, read-ahead reads 0, page server read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob page server reads 0, lob read-ahead reads 0, lob page server read-ahead reads 0.

显示其进行了一次表扫描,并进行了 337次逻辑读,输出数据只有 3行。

然后看看实际的执行计划: 

593e37c7d27760dce395aac1de9c1f6c.png

如图,显示了一个极其简单的执行计划,确实进行了一次表扫描,读取了 51652行数据,并且完全没有走索引。

动态SQL

而动态 SQL,就是将查询条件中的判断语句,提前在代码中判断完成,而放到数据库(如 SQLServer)中执行时就是简单的、可利用索引的 SQL语句了,在这个例子中,判断 @userId和 @menuId是否为 null的代码,可能会长这个样子(如果是 Dapper):

var sql = new StringBuilder();

sql.Append("SELECT * FROM FoodOrder WHERE 1=1 ");

if (userId != null)

{

sql.AppendLine("AND OrderUserId = @userId");

}

if (menuId != null)

{

sql.AppendLine("AND FoodMenuId = @menuId");

}

// ...

如果是 EF,代码可能是这个样子:

IQueryable<FoodOrder> query = db.FoodOrders;

if (userId != null)

{

query = query.Where(x => x.OrderUserId == userId);

}

if (menuId != null)

{

query = query.Where(x => x.FoodMenuId = menuId);

}

// ...

这样一来,最终在数据中执行的 SQL语句就比较简单了,如果客户确实传了 userId和 menuId两个参数, SQL就应该长这个样子:

select * from FoodOrder where

OrderUserId = @userId AND

FoodMenuId = @menuId

运行的 setstatistics io on结果如下:

(3 行受影响)

Table 'FoodOrder'. Scan count 2, logical reads 11, physical reads 0, page server reads 0, read-ahead reads 0, page server read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob page server reads 0, lob read-ahead reads 0, lob page server read-ahead reads 0.

显然仅进行了 11次逻辑读(相比静态 SQL的 337次),然后执行计划如下: 

f5447ed1e7215405c8c0b15484b72267.png

显示进行了两次 IndexSeek,显然是走了索引,显示查询开销只占 5%,而之前的开销占 95%,性能区别高达 20倍以上。

总结

据说上次博客园出现性能问题,就是因为 EFCore3.0有这个 bug,会生成多余的 IS NOT NULL(链接:EF Core 3.0 Preview 9 的2个小坑),这个 bug已经确认最新的 EFCore3.1中解决。

就像文中所说的动态 SQL,我认为理解数据库、对写出高性能的应用程序至关重要——这显而易见,但其实又很容易忽略。忽略的原因不仅是因为新手,很多老手有时因为“互联网”思维和“设计模式”等原因,也会有意忽略数据库的理解。

现在很多“互联网”应用思维认为,数据库就是一个仓库,它应该只负责其最“擅长”的增删改查功能即可,其它的应该都交由缓存来解决。有句话说得好,就是命名和缓存失效,是编程界最困难的两个问题。缓存有缓存的问题,不好好理解数据库,就必须花大量时间好好理解缓存。设计一个正确的缓存往往又比花大量时间设计数据库要复杂得多。

另外现在流行的“领域驱动设计”( DDD)也主张应用应该先从业务逻辑开始抽象,数据库和性能往往成为他们首先忽略的对象,最后可能也得加个“缓存”来解决,导致原来简单的系统急剧膨胀,复杂不堪。这种过度设计、人云亦云的做法值得深思。

喜欢的朋友 请关注我的微信公众号:【DotNet骚操作】

7f465ee96e5b59ea1047a62948108bbf.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/266055.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

湖南大学计算机学院张柏杨,缪力-湖大信息科学与工程学院

[1]Li-Hui XIANG, Li Miao&#xff0c;Da-Fang ZHANG, Feng-Ping CHEN. Benefit of Compression in Hadoop: A CaseStudy of Improving IO Performance on Hadoop. 2014 IEEE International Conferenceon Industrial Engineering and Information Technology (EI/ISTP)[2]向丽辉…

AMBA总线协议AHB、APB

一、什么是AMBA总线 AMBA总线规范是ARM公司提出的总线规范&#xff0c;被大多数SoC设计采用&#xff0c;它规定了AHB (Advanced High-performance Bus)、ASB (Advanced System Bus)、APB (Advanced Peripheral Bus)。AHB用于高性能、高时钟频率的系统结构&#xff0c;典型的应用…

CentOS安装SVN服务器并配置HTTPS连接

在CentOS6.3 64位机器上配置SVN服务器&#xff0c;并设置只允许HTTPS连接&#xff0c;可以配置多个repos源&#xff0c;每个源都拥有自己的组和成员&#xff0c;用于权限控制。安装相关软件Apacheyum install httpd httpd-devel Subversionyum install mod_dav_svn subversionS…

安卓APP_ 控件(6)—— Notification通知

摘自&#xff1a;安卓APP_ 控件&#xff08;6&#xff09;—— Notification通知 作者&#xff1a;丶PURSUING 发布时间&#xff1a; 2021-04-02 00:30:14 网址&#xff1a;https://blog.csdn.net/weixin_44742824/article/details/115382674 Notification通知的使用 一、创建一…

安卓APP_ 控件(7)——Toolbar栏目样式

摘自&#xff1a;安卓APP_ 控件&#xff08;7&#xff09;——Toolbar栏目样式 作者&#xff1a;丶PURSUING 发布时间&#xff1a; 2021-04-02 15:42:07 网址&#xff1a;https://blog.csdn.net/weixin_44742824/article/details/115395997 Toolbar栏目样式 什么是Toolbar?设置…

电大计算机本科离散数学考试题,国开(中央电大)本科《离散数学(本)》网上形考(任务一至三)试题及答案...

《国开(中央电大)本科《离散数学(本)》网上形考(任务一至三)试题及答案》由会员分享&#xff0c;可在线阅读&#xff0c;更多相关《国开(中央电大)本科《离散数学(本)》网上形考(任务一至三)试题及答案(10页珍藏版)》请在装配图网上搜索。1、国开(中央电大)本科离散数学(本)网上…

luogu4267 TamingtheHerd (dp)

设f[i][j]为让前i天发生j次暴动需要改变的最少的值 则f[i][j]min{f[k][j-1](x[k1]!0)(x[k2]!1)...(x[i]!(i-k-1))} $O(n^3)$直接做就好了 1 #include<bits/stdc.h>2 #define pa pair<int,int>3 #define ll long long4 using namespace std;5 const int maxn105;6 7…

Gartner:2013年SIEM市场分析(MQ)

2013年5月7日&#xff0c;Gartner一年一度的SIEM magic quadrant报告出炉了。如下图&#xff1a;对比一下去年的MQ矩阵&#xff1a;简言之&#xff0c;上榜厂商减少到16个&#xff0c;Q1Labs在三强竞争中稍占上风&#xff0c;Arcsight有所退步&#xff0c;Splunk终于跻身第一阵…

python sqlite数据库_用Python进行SQLite数据库操作

简单的介绍SQLite数据库是一款非常小巧的嵌入式开源数据库软件&#xff0c;也就是说没有独立的维护进程&#xff0c;所有的维护都来自于程序本身。它是遵守ACID的关联式数据库管理系统&#xff0c;它的设计目标是嵌入式的&#xff0c;而且目前已经在很多嵌入式产品中使用了它&a…

dijstra算法

无向图、赋权有向图 的最短路径转载于:https://www.cnblogs.com/xiaoxuesheng993/p/9632555.html

北林计算机考研真题答案,真题解析|『北林』2020年考研初试真题

原标题&#xff1a;真题解析&#xff5c;『北林』2020年考研初试真题真题解析&#xff5c;『北林』2020年考研初试真题前言从今年的考试题型来看未做改变&#xff0c;(选择、名词解释、简答、论述)但分数分布略有更改。从考试内容来看&#xff0c;基本持平于去年的难易程度&…

安卓APP_ 控件(8)—— AlertDialog

摘自&#xff1a;安卓APP_ 控件&#xff08;8&#xff09;—— AlertDialog 作者&#xff1a;丶PURSUING 发布时间&#xff1a; 2021-04-02 18:13:20 网址&#xff1a;https://blog.csdn.net/weixin_44742824/article/details/115400659 显示对话框&#xff0c;效果如下图&…

iBatis 到 MyBatis区别

简介&#xff1a; 本文主要讲述了 iBatis 2.x 和 MyBatis 3.0.x 的区别&#xff0c;以及从 iBatis 向 MyBatis 移植时需要注意的地方。通过对本文的学习&#xff0c;读者基本能够了解 MyBatis 有哪些方面的改进&#xff0c;并能够顺利使用 MyBatis 进行开发。本文更适合有 iBat…

python开源库生成式对抗网络_Python:使用Tensorflow开发一维生成对抗网络

生成式对抗网络是一种用于训练生成器模型的深度学习体系结构。GAN由两个模型组成&#xff0c;一个称为生成器(Generator)&#xff0c;另一个称为判别器(Discriminator)。顾名思义&#xff0c;生成器生成新样本&#xff0c;判别器负责对生成的样本进行真伪分类。GAN实际如何运作…

Java执行存储过程

1、JDBC调用存储过程: CallableStatement /** *p是要调用的存储过程的名字&#xff0c;存储过程的4个参数&#xff0c;用4个&#xff1f;号占位符代替 *其余地方写法固定 */ CallableStatement cstmt conn.prepareCall("{call p(?,?,?,?)}"); /** *告诉JDBC&…

2014 计算机网络 考研真题,2014计算机网络考研试题过关必练

2009全国硕士研究生入学考试过关必练_网络试题一&#xff0e; 通过选择题过关必练1. 常用的数据传输速率单位有Kbps、Mbps、Gbps与Tbps&#xff0c;1Mbps等于A. 1103bps B. 1106bps C. 1109bps D. 11012bps2. 常用的数据传输速率单位有Kbps、Mbps、Gbps&#xff0c;如果局域网的…

安卓APP_ 控件(9)—— PopupWindow弹窗

摘自&#xff1a;安卓APP_ 控件&#xff08;9&#xff09;—— PopupWindow弹窗 作者&#xff1a;丶PURSUING 发布时间&#xff1a; 2021-04-05 14:41:35 网址&#xff1a;https://blog.csdn.net/weixin_44742824/article/details/115405555 实现效果如下&#xff1a; 点击触发…

mysql5.6主从参数详解

mysql5.6的主从相当的不错&#xff0c;增加了不少参数&#xff0c;提升了主从同步的安全和效率&#xff0c;以下是mysql5.6主从参数详解。######################################### server_id 2 #binlog log-bin /data1/mysql/binlog/binlog binlog_format ROW binlog-row…

3D 立体 backface-visibility

<!DOCTYPE html> <html><head><!--backface-visibility属性用来设置&#xff0c;是否显示元素的背面&#xff0c;默认是显示的backface-visibility:keyword;keyword有两个值&#xff0c;hidden和visible&#xff0c;默认是是visible所以是在每个元素里面设…

计算机网址登录教程,melogincn电脑登录教程

请问melogincn使用电脑登录设置的教程&#xff1f;在电脑上怎么登陆水星(美科星)无线路由器的后台&#xff0c;通过melogincn&#xff0c;试了下发现不知道如何打开&#xff0c;求分享用melogincn用电脑登录设置的教程。使用环境描述&#xff1a;melogincn实际上应该是melogin.…