如何将 CSV 导入到 SqlServer 中 ?

咨询区

  • user3083221

请问在 C# 中是否有好的方式实现将一个大的 csv 导入到 SQL Server 中,这个 csv 文件包含大概 30000 行,25 列。

回答区

  • Kirk

其实你不需要通过编程的方式,完全可以用 SQL Server 管理器界面 直接将 CSV 导入到 SQL Server 中,如果你真的想要编程实现的话,也不是没有办法,大概步骤如下:

  1. 将 CSV 读取到一个 DataTable 中,参考如下代码:

private static DataTable GetDataTabletFromCSVFile(string csv_file_path)
{DataTable csvData = new DataTable();try{using(TextFieldParser csvReader = new TextFieldParser(csv_file_path)){csvReader.SetDelimiters(new string[] { "," });csvReader.HasFieldsEnclosedInQuotes = true;string[] colFields = csvReader.ReadFields();foreach (string column in colFields){DataColumn datecolumn = new DataColumn(column);datecolumn.AllowDBNull = true;csvData.Columns.Add(datecolumn);}while (!csvReader.EndOfData){string[] fieldData = csvReader.ReadFields();//Making empty value as nullfor (int i = 0; i < fieldData.Length; i++){if (fieldData[i] == ""){fieldData[i] = null;}}csvData.Rows.Add(fieldData);}}}catch (Exception ex){return null;}return csvData;}
}
  1. 通过 SQLBulkCopy 将 DataTable 插入到 Table 中

对于 Sql Server 的批量插入,绝对首选 SqlBulkCopy ,参考如下代码:

static void InsertDataIntoSQLServerUsingSQLBulkCopy(DataTable csvFileData)
{using(SqlConnection dbConnection = new SqlConnection("Data Source=ProductHost;Initial Catalog=yourDB;Integrated Security=SSPI;")){dbConnection.Open();using (SqlBulkCopy s = new SqlBulkCopy(dbConnection)){s.DestinationTableName = "Your table name";foreach (var column in csvFileData.Columns)s.ColumnMappings.Add(column.ToString(), column.ToString());s.WriteToServer(csvFileData);}
}
  • Cinchoo

有一个开源工具包:ChoETL (https://www.nuget.org/packages/ChoETL/) 也可以实现通过编程的方式实现批量导入,它是一种流式操作,只需要很少甚至不需要内存,参考如下代码:

string connectionstring = @"#YOUR DB ConnectionString#";
using (SqlBulkCopy bcp = new SqlBulkCopy(connectionstring))
{using (var p = new ChoCSVReader("#YOUR CSV FILE#").WithFirstLineHeader()){bcp.DestinationTableName = "#TABLENAME#";bcp.EnableStreaming = true;bcp.BatchSize = 10000;bcp.BulkCopyTimeout = 0;bcp.NotifyAfter = 100;bcp.SqlRowsCopied += delegate (object sender, SqlRowsCopiedEventArgs e){Console.WriteLine(e.RowsCopied.ToString("#,##0") + " rows copied.");};bcp.WriteToServer(p.AsDataReader());}
}

点评区

在现实开发中,这种需求还是蛮常见的,学习了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/290048.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java设计模式----策略模式(Strategy)

1. 策略模式&#xff1a; 策略模式&#xff0c;也称为政策模式,定义如下&#xff1a; 定义一组算法&#xff0c;将每个算法都封装起来&#xff0c;使他们可以相互转化 2. 策略模式的原理是面向对象的继承和多态。策略模式的3个角色 a. Strategy 抽象策略角色 定义每个策略或算…

ENVI修复图像坏点扩展补丁

1.功能介绍 在一些影像中,由于各种原因导致了坏点的存在,主要为0值、

Devuan Jessie beta 释出

2014年&#xff0c;因为选择初始化系统systemd引发的争议&#xff0c;一群不满的开发者创建了不使用systemd的Debian分支Devuan。现在&#xff0c;Devuan开发者宣布释出Jessie beta。Debian 8 Jessie是在去年发布的&#xff0c;默认init系统systemd&#xff0c;可选使用sysvini…

遥控器原理的分页

索引&#xff1a;前几天看电视&#xff0c;使用遥控器的时候突然想到&#xff0c;我们的数据分页也可以用这种模式。于是敲出来一个类似于遥控器控制电视原理的分页。 现在详细介绍下上图中按钮的作用&#xff1a; 清除按钮&#xff1a;当按下0-9这个几个按钮时&#xff0c;如果…

.NET Core剪裁器升级瘦身引擎,并支持剪裁计划的录制和回放

上周&#xff0c;我发布了对.NET Core程序进行瘦身的开源软件Zack.DotNetTrimmer&#xff0c;与.NET Core内置的剪裁器相比&#xff0c;Zack.DotNetTrimmer不仅对程序的剪裁效果更好&#xff0c;而且还支持WPF、WinForm程序。下面是Zack.DotNetTrimmer与.NET内置的剪裁器的对比…

贪心算法之阿里巴巴与四十大盗(背包问题)

1、问题 有一天,阿里巴巴赶着一头毛驴上山砍柴。砍好柴准备下山时,远处突然出现一股烟尘,弥漫着直向上空飞扬,朝他这儿卷过来,而且越来越近。靠近以后,他才看清原来是一支马队,他们共有四十人,一个个年轻力壮、行动敏捷。一个首领模样的人背负沉重的鞍袋,从丛林中一直来到那个…

python 查看当前目录_Python的武器库11:os模块

说到编程语言python&#xff0c;有一个著名的格言"余生太短&#xff0c;只用python"。如果要分析为什么会存在这么一句格言&#xff1f;python的语法并不简单&#xff0c;有复杂难懂的部分&#xff0c;之所以又这样一句格言&#xff0c;是因为python中有很多强大的模…

开源防火墙解决方案

Alison Xue 写道 "防火墙是保护计算机系统的一个重要工具。防火墙本质上是一个网络安全系统&#xff0c;其作用相当于内部和外部网络之间的安全警卫。防火墙使用安全规则控制传入和传出的网络流量。这些规则指定了哪些链接允许进入&#xff0c;以及哪些端口和区域可以被用…

数字量化值Digital Number, 辐射亮度Radiance, 反射率Reflectance,发射率Emissive

我们经常听到有人困惑于图像的像素值储存的是什么信息,以及如何获取所需的值。这里我们总结以下几个概念。 数字量化值(

贪心算法之高级钟点秘书会议安排问题

1、问题 所谓“钟点秘书”,是指年轻白领女性利用工余时间为客户提供秘书服务,并按钟点收取酬金。“钟点秘书”为客户提供有偿服务的方式一般是:采用电话、电传、上网等“遥控”式服务,或亲自到客户公司处理部分业务。其服务对象主要有三类:一是外地前来考察商务经营、项目投资…

toolStripButton调整大小并只显示text

1.将AutoSize属性设置为False&#xff0c;这样就可以自定义Size属性了。 2.将Display属性设置为Text。

ASP.NET Core 实现自定义认证

前言在 ASP.NET Core 中&#xff0c;我们常使用基于 JWT 的认证&#xff1a;services.AddAuthentication(option > {option.DefaultAuthenticateScheme JwtBearerDefaults.AuthenticationScheme;option.DefaultChallengeScheme JwtBearerDefaults.AuthenticationScheme;})…

图像处理工具类

为什么80%的码农都做不了架构师&#xff1f;>>> package net.kitbox.util;import java.awt.AlphaComposite; import java.awt.Color; import java.awt.Font; import java.awt.Graphics; import java.awt.Graphics2D; import java.awt.Image; import java.awt.Rende…

点击按钮,图片和按钮的文字发生改变

点击“隐藏”按钮&#xff0c;下方的图片隐藏&#xff0c;并且按钮上的文字由“隐藏”变为“显示”。再次点击&#xff0c;图片显示并且位子再次由“显示”变为“隐藏” 直接上代码&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta c…

mysql安装10045_mysql数据库5.6.45安装后的配置(离线安装包版)

二、windows10下的配置(1) 环境变量配置打开控制面板>系统和安全>系统>高级系统设置,选择环境变量,在系统变量中找到path,编辑该选项。第一行是oracle数据库的环境变量path配置&#xff0c;上图中最后一行是jdk的安装路径path配置。我们要添加mysql安装路径path配置。…

Android之部分手机(oppo r9s)安装app出现崩溃问题解决办法

1、问题现象 部分手机(oppo r9s)安装release版本的apk出现了崩溃,但是部分手机安装正常 2、崩溃日志 01-15 09:42:37.239 5889 5889 E AndroidRuntime: java.lang.OutOfMemoryError: Failed to allocate a 66064396 byte allocation with 16777216 free bytes and 50MB unt…

深入理解BS结构应用程序

随着学习的深入&#xff0c;和编程经验的丰富&#xff0c;对BS应用程序有一些认识。 在一些讨论软件技术的QQ群里&#xff0c;或一些社区、BBS中&#xff0c;经常会有一些初学者会犯一些认知性的错误。比如经常会有一些朋友提这样的一些问题&#xff1a;“我怎么在ASP中调用我写…

ArcGIS中的Datepart函数使用方法

ArcGIS中系统提供的Datepart()函数 功能:返回一个包含已知日期的指定时间部分 用法:DatePart(interval, date)

mysql 未找到命令_MySQL主从复制配置说明,一文教你搞懂数据库主从复制

一&#xff0c;MySQL主从配置原理1. mysql支持的复制格式基于语句复制(STATEMENT)&#xff08;优点&#xff09;基于statement复制的优点很明显&#xff0c;简单的记录执行语句同步到从库执行同样的语句&#xff0c;占用磁盘空间小&#xff0c;网络传输快&#xff0c;并且通过m…

.NET 5.0即将不再提供服务更新,请升级到.NET 6.0

5 月 8 日更新之后&#xff0c;微软将不再为 .NET 5.0 提供服务更新&#xff0c;包括安全修复或技术支持&#xff0c;用户需要将 .NET 版本更新到受支持的版本 (.NET 6.0 ) 才能继续接收更新。.NET 5.0 不是 LTS 版本&#xff0c;因此将在发布 18 个月或下一个版本发布后的 6 个…