ADO.NET大数据查询内存分页处理

ADO.NET大数据查询内存分页处理

 ADO.NET中处理大数据查询时,如果直接在客户端应用程序中进行内存分页,可能会导致内存使用量激增,特别是在处理数十万甚至数百万条记录时。为了避免这种情况,应该优先使用数据库层面的分页(如使用SQL ServerOFFSETFETCH,或者ROW_NUMBER()函数等)。

然而,如果你确实需要将所有数据加载到客户端应用程序中进行处理,并且数据量太大,不适合一次性加载到内存中,你可以考虑以下几种策略来实现内存分页:

  1. 分批加载数据
    使用SqlDataReader或DataSet的分批加载功能,每次只从数据库中检索一小部分数据到内存中,处理完这部分数据后再加载下一批。
  2. 使用yield return实现延迟执行
    你可以编写一个返回IEnumerable<T>的方法,使用yield return关键字来延迟执行查询并一次只返回一个结果。这种方法允许你编写一个像迭代器一样的查询,它一次只从数据库中检索一条记录。
  3. 使用缓冲区和分页集合
    创建一个自定义的集合类,该类内部实现了一个缓冲区来存储当前页的数据,并提供方法来加载下一页或上一页的数据。

以下是一个使用yield return实现延迟执行查询的示例:

csharp代码

using System;

using System.Collections.Generic;

using System.Data;

using System.Data.SqlClient;

public class PagedData<T> : IEnumerable<T>

{

private readonly SqlConnection _connection;

private readonly SqlCommand _command;

private int _currentPage;

private int _pageSize;

public PagedData(SqlConnection connection, SqlCommand command, int pageSize)

{

_connection = connection;

_command = command;

_pageSize = pageSize;

}

public IEnumerator<T> GetEnumerator()

{

_currentPage = 1;

LoadPage();

yield break;

}

System.Collections.IEnumerator System.Collections.IEnumerable.GetEnumerator()

{

return GetEnumerator();

}

private void LoadPage()

{

_command.CommandText += $" OFFSET {(_currentPage - 1) * _pageSize} ROWS FETCH NEXT {_pageSize} ROWS ONLY";

_connection.Open();

using (SqlDataReader reader = _command.ExecuteReader())

{

while (reader.Read())

{

T item = MapRowToItem(reader);

yield return item;

}

}

_connection.Close();

}

protected virtual T MapRowToItem(SqlDataReader reader)

{

// 实现将数据库行映射到具体类型的逻辑

throw new NotImplementedException();

}

public void NextPage()

{

_currentPage++;

LoadPage();

}

}

// 使用示例

public class Program

{

static void Main()

{

string connectionString = "你的连接字符串";

using (SqlConnection connection = new SqlConnection(connectionString))

{

connection.Open();

SqlCommand command = new SqlCommand("SELECT * FROM YourTable ORDER BY SomeColumn", connection);

PagedData<YourDataType> pagedData = new PagedData<YourDataType>(connection, command, 10);

foreach (var item in pagedData)

{

// 处理每个项目

Console.WriteLine(item.SomeProperty);

}

// 加载下一页

pagedData.NextPage();

// 再次遍历处理下一页数据

foreach (var item in pagedData)

{

Console.WriteLine(item.SomeProperty);

}

}

}

}

在这个示例中,PagedData<T>类实现了IEnumerable<T>接口,并使用yield return来延迟执行查询。它内部维护了一个当前页码和每页的大小,并在每次调用NextPage方法时加载下一页的数据。MapRowToItem方法需要根据你的具体数据类型来实现将数据库行映射到对象的逻辑。

请注意,这种方法的效率取决于数据库查询的性能以及网络延迟。对于非常大的数据集,即使使用延迟执行,也可能会有性能问题。因此,通常推荐在数据库层面进行分页,而不是在客户端应用程序中进行内存分页。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/690763.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java 的 8 种异步实现方式

异步执行对于开发者来说并不陌生&#xff0c;在实际的开发过程中&#xff0c;很多场景多会使用到异步&#xff0c;相比同步执行&#xff0c;异步可以大大缩短请求链路耗时时间&#xff0c;比如&#xff1a;发送短信、邮件、异步更新等&#xff0c;这些都是典型的可以通过异步实…

NBlog个人博客部署维护过程记录 -- 后端springboot + 前端vue

项目是fork的Naccl大佬NBlog项目&#xff0c;页面做的相当漂亮&#xff0c;所以选择了这个。可以参考2.3的效果图 惭愧&#xff0c;工作两年了也没个自己的博客系统&#xff0c;趁着过年时间&#xff0c;开始搭建一下. NBlog原项目的github链接&#xff1a;Naccl/NBlog: &#…

数据库||数据库的完整性

1.实验题目&#xff1a;数据库的完整性 2.实验目的和要求&#xff1a; 掌握数据库的实体完整性约束定义&#xff0c;完整性检查及违约处理方式。 掌握数据库的参照完整性约束定义&#xff0c;完整性检查及违约处理方式。 掌握数据库的用户定义完整性约束定义&#xff0c;完…

如何构建企业专属GPT

大语言模型&#xff08;LLM&#xff09;具有令人印象深刻的自然语言理解和生成能力&#xff0c; 2022年11月底OpenAI发布了ChatGPT&#xff0c;一跃成为人工智能AI领域的现象级应用。但由于LLM的训练数据集主要来源于互联网数据&#xff0c;企业私域信息并未被LLM所训练&#x…

LeetCode 3028.边界上的蚂蚁

边界上有一只蚂蚁&#xff0c;它有时向 左 走&#xff0c;有时向 右 走。 给你一个 非零 整数数组 nums 。蚂蚁会按顺序读取 nums 中的元素&#xff0c;从第一个元素开始直到结束。每一步&#xff0c;蚂蚁会根据当前元素的值移动&#xff1a; 如果 nums[i] < 0 &#xff0…

如何从 git 分支中合并特定文件,而不是整个分支的内容

问题 在git 中&#xff0c;我们可以使用 git merge 命令&#xff0c;合并整个分支&#xff0c;覆盖当前分支的内容&#xff0c;但是有时候我们并不想这么做&#xff0c;而是想 merge 某个文件。那么下面提供两种办法。 方法一 使用 git checkout&#xff0c;从别的分支&…

MySQL进阶 - 备份与恢复

我是南城余&#xff01;阿里云开发者平台专家博士证书获得者&#xff01; 欢迎关注我的博客&#xff01;一同成长&#xff01; 一名从事运维开发的worker&#xff0c;记录分享学习。 专注于AI&#xff0c;运维开发&#xff0c;windows Linux 系统领域的分享&#xff01; 知…

gowin GW1N4 OSC IP 使用

创建工程 1. File 选项下&#xff0c;选择新建工程New.. 2.Name 是指工程名&#xff1b;Creat in 指工程路径&#xff1b; 3.选择对应的 器件&#xff0c;本测试示例使用的是 GW1N4BLV_LQFP144C6I5; 4.选择好器件型号&#xff0c;单击Finish; 5.给工程增加VerilogFile 即 .v …

IDEA2023版本创建Spring项目只能勾选17和21却无法使用Java8

问题&#xff1a;新建springboot项目时&#xff0c;发现java版本只有17和21 解决办法&#xff1a;将server URL中的https://start.spring.io/更换成http://start.springboot.io/或者https://start.aliyun.com/ 截图如下&#xff1a; 原因分析 Spring官方发布Spring Boot 3.0.0…

【JVM篇】什么是运行时数据区

文章目录 &#x1f354;什么是运行时数据区⭐程序计数器⭐栈&#x1f50e;Java虚拟机栈&#x1f388;栈帧的内容 &#x1f50e;本地方法栈 ⭐堆⭐方法区 &#x1f354;什么是运行时数据区 运行时数据区指的是jvm所管理的内存区域&#xff0c;其中分为两大类 线程共享&#xf…

Nginx介绍和使用

Nginx是一个高性能的HTTP和反向代理web服务器&#xff0c;其使用方法包括安装、配置以及与其他软件的配合使用。 Nginx被广泛认为是一个轻量级、占用资源少、并发处理能力强大的web服务器软件。它不仅可以作为HTTP服务器提供静态内容服务&#xff0c;还可以作为反向代理服务器…

【小呆的力学笔记】弹塑性力学的初步认知四:简单应力状态下的应力应变关系

文章目录 2. 简单应力状态下的应力应变关系2.1 简单拉伸的应力应变关系2.2 真实应力应变关系2.3 应力-应变关系简化模型 2. 简单应力状态下的应力应变关系 我们在高中就学过&#xff0c;弹簧拉伸力和变形量成比例&#xff0c;对于一般的金属材料&#xff0c;在一定载荷以内这种…

leetcode刷题记录:二叉树02(思路篇)

参考labuladong的算法小抄&#xff1a;https://labuladong.online/algo/data-structure/binary-tree-part1/ 复习二叉树纲领篇&#xff0c;二叉树解题的思维模式分两类&#xff1a; 1、是否可以通过遍历一遍二叉树得到答案&#xff1f;如果可以&#xff0c;用一个 traverse 函…

Elasticsearch如何设置密码

目录 一、配置1.修改配置文件2.设置密码3.修改密码 二、验证 一、配置 1.修改配置文件 修改配置文件 config/elasticsearch.yml&#xff0c;写入以下配置&#xff1a; xpack.security.enabled: true discovery.type: single-node xpack.security.transport.ssl.enabled: tru…

【数据结构】二叉树根节点到特定节点路径(C语言版)

二叉树——根节点到特定节点路径查找 一、思路二、代码实现 一、思路 使用二叉链表创建的二叉树&#xff0c;这里我的思路是用链栈来存放找寻二叉树特定节点中&#xff0c;用来存放节点元素 个人思路&#xff1a;创建链栈&#xff0c;遍历二叉树并把路径中节点元素存放到栈中&…

Xilinx(AMD) 7系列FPGA配置引脚说明

xilinx 7系列FPGA配置引脚 下表详细描述了xilinx7系列FPGA所有配置引脚及其功能。 Pin NameBanktypeDirectionDescriptionCFGBVS0dedicatedIBank0电压选择&#xff0c;当Bank0电压为2.5v/3.3v时该引脚上拉到VCCO_0&#xff0c;如果Bank0工作于1.8V该引脚下拉接地。对于只能工…

【iOS】系统框架

文章目录 前言四十七、熟悉系统框架四十八、多用块枚举&#xff0c;少用for循环四十九、对自定义其内存管理语义的collection使用无缝桥接五十、构建缓存时选用NSCache而非NSDictionary五十一、精简initialize与load的实现代码五十二、别忘了NSTimer会保留其目标对象 前言 本次…

E. Final Countdown

思路&#xff1a;对于每一位统计贡献&#xff0c;不难发现&#xff0c;假设数为12345&#xff0c;个位的贡献就是12345&#xff0c; 十位的贡献是1234&#xff08;仅当个位跳转时产生贡献&#xff09;&#xff0c;百位贡献是123,后面同理。 12345 1234 123 12 1 …

Stable Diffusion 模型下载:Dark Sushi Mix 大颗寿司Mix

本文收录于《AI绘画从入门到精通》专栏&#xff0c;专栏总目录&#xff1a;点这里。 文章目录 模型介绍生成案例案例一案例二案例三案例四案例五案例六案例七案例八案例九案例十 下载地址 模型介绍 Dark Sushi Mix 大颗寿司Mix 是一个动漫大模型&#xff0c;绘制的图片色彩丰富…