SQL Server 批量插入数据的两种方法

在SQL Server 中插入一条数据使用Insert语句，但是如果想要批量插入一堆数据的话，循环使用Insert不仅效率低，而且会导致SQL一系统性能问题。下面介绍SQL Server支持的两种批量数据插入方法：Bulk和表值参数(Table-Valued Parameters)。

运行下面的脚本，建立测试数据库和表值参数。

[c-sharp] view plaincopyprint?
  1. --Create DataBase  
  2. create database BulkTestDB;  
  3. go  
  4. use BulkTestDB;  
  5. go  
  6. --Create Table  
  7. Create table BulkTestTable(  
  8. Id int primary key,  
  9. UserName nvarchar(32),  
  10. Pwd varchar(16))  
  11. go  
  12. --Create Table Valued  
  13. CREATE TYPE BulkUdt AS TABLE  
  14.   (Id int,  
  15.    UserName nvarchar(32),  
  16.    Pwd varchar(16))  

--Create DataBase create database BulkTestDB; go use BulkTestDB; go --Create Table Create table BulkTestTable( Id int primary key, UserName nvarchar(32), Pwd varchar(16)) go --Create Table Valued CREATE TYPE BulkUdt AS TABLE (Id int, UserName nvarchar(32), Pwd varchar(16))

 

 

下面我们使用最简单的Insert语句来插入100万条数据，代码如下：

[c-sharp] view plaincopyprint?
  1. Stopwatch sw = new Stopwatch();  
  2.   
  3. SqlConnection sqlConn = new SqlConnection(  
  4.     ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);//连接数据库   
  5.   
  6. SqlCommand sqlComm = new SqlCommand();  
  7. sqlComm.CommandText = string.Format("insert into BulkTestTable(Id,UserName,Pwd)values(@p0,@p1,@p2)");//参数化SQL   
  8. sqlComm.Parameters.Add("@p0", SqlDbType.Int);  
  9. sqlComm.Parameters.Add("@p1", SqlDbType.NVarChar);  
  10. sqlComm.Parameters.Add("@p2", SqlDbType.VarChar);  
  11. sqlComm.CommandType = CommandType.Text;  
  12. sqlComm.Connection = sqlConn;  
  13. sqlConn.Open();  
  14. try  
  15. {  
  16.     //循环插入100万条数据，每次插入10万条，插入10次。   
  17.     for (int multiply = 0; multiply < 10; multiply++)  
  18.     {  
  19.         for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)  
  20.         {  
  21.   
  22.             sqlComm.Parameters["@p0"].Value = count;  
  23.             sqlComm.Parameters["@p1"].Value = string.Format("User-{0}", count * multiply);  
  24.             sqlComm.Parameters["@p2"].Value = string.Format("Pwd-{0}", count * multiply);  
  25.             sw.Start();  
  26.             sqlComm.ExecuteNonQuery();  
  27.             sw.Stop();  
  28.         }  
  29.         //每插入10万条数据后，显示此次插入所用时间   
  30.         Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));  
  31.     }  
  32. }  
  33. catch (Exception ex)  
  34. {  
  35.     throw ex;  
  36. }  
  37. finally  
  38. {  
  39.     sqlConn.Close();  
  40. }  
  41.   
  42. Console.ReadLine();  

Stopwatch sw = new Stopwatch(); SqlConnection sqlConn = new SqlConnection( ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);//连接数据库 SqlCommand sqlComm = new SqlCommand(); sqlComm.CommandText = string.Format("insert into BulkTestTable(Id,UserName,Pwd)values(@p0,@p1,@p2)");//参数化SQL sqlComm.Parameters.Add("@p0", SqlDbType.Int); sqlComm.Parameters.Add("@p1", SqlDbType.NVarChar); sqlComm.Parameters.Add("@p2", SqlDbType.VarChar); sqlComm.CommandType = CommandType.Text; sqlComm.Connection = sqlConn; sqlConn.Open(); try { //循环插入100万条数据，每次插入10万条，插入10次。 for (int multiply = 0; multiply < 10; multiply++) { for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++) { sqlComm.Parameters["@p0"].Value = count; sqlComm.Parameters["@p1"].Value = string.Format("User-{0}", count * multiply); sqlComm.Parameters["@p2"].Value = string.Format("Pwd-{0}", count * multiply); sw.Start(); sqlComm.ExecuteNonQuery(); sw.Stop(); } //每插入10万条数据后，显示此次插入所用时间 Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds)); } } catch (Exception ex) { throw ex; } finally { sqlConn.Close(); } Console.ReadLine();

 

耗时图如下：

使用Insert语句插入10万数据的耗时图

由于运行过慢，才插入10万条就耗时72390 milliseconds，所以我就手动强行停止了。

 

下面看一下使用Bulk插入的情况：

bulk方法主要思想是通过在客户端把数据都缓存在Table中，然后利用SqlBulkCopy一次性把Table中的数据插入到数据库

代码如下：

[c-sharp] view plaincopyprint?
  1. public static void BulkToDB(DataTable dt)  
  2. {  
  3.     SqlConnection sqlConn = new SqlConnection(  
  4.         ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);  
  5.     SqlBulkCopy bulkCopy = new SqlBulkCopy(sqlConn);  
  6.     bulkCopy.DestinationTableName = "BulkTestTable";  
  7.     bulkCopy.BatchSize = dt.Rows.Count;  
  8.   
  9.     try  
  10.     {  
  11.         sqlConn.Open();  
  12.     if (dt != null && dt.Rows.Count != 0)  
  13.         bulkCopy.WriteToServer(dt);  
  14.     }  
  15.     catch (Exception ex)  
  16.     {  
  17.         throw ex;  
  18.     }  
  19.     finally  
  20.     {  
  21.         sqlConn.Close();  
  22.         if (bulkCopy != null)  
  23.             bulkCopy.Close();  
  24.     }  
  25. }  
  26.   
  27. public static DataTable GetTableSchema()  
  28. {  
  29.     DataTable dt = new DataTable();  
  30.     dt.Columns.AddRange(new DataColumn[]{  
  31.         new DataColumn("Id",typeof(int)),  
  32.         new DataColumn("UserName",typeof(string)),  
  33.     new DataColumn("Pwd",typeof(string))});  
  34.   
  35.     return dt;  
  36. }  
  37.   
  38. static void Main(string[] args)  
  39. {  
  40.     Stopwatch sw = new Stopwatch();  
  41.     for (int multiply = 0; multiply < 10; multiply++)  
  42.     {  
  43.         DataTable dt = Bulk.GetTableSchema();  
  44.         for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)  
  45.         {  
  46.             DataRow r = dt.NewRow();  
  47.             r[0] = count;  
  48.             r[1] = string.Format("User-{0}", count * multiply);  
  49.             r[2] = string.Format("Pwd-{0}", count * multiply);  
  50.             dt.Rows.Add(r);  
  51.         }  
  52.         sw.Start();  
  53.         Bulk.BulkToDB(dt);  
  54.         sw.Stop();  
  55.         Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));  
  56.     }  
  57.   
  58.     Console.ReadLine();  
  59. }  

public static void BulkToDB(DataTable dt) { SqlConnection sqlConn = new SqlConnection( ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString); SqlBulkCopy bulkCopy = new SqlBulkCopy(sqlConn); bulkCopy.DestinationTableName = "BulkTestTable"; bulkCopy.BatchSize = dt.Rows.Count; try { sqlConn.Open(); if (dt != null && dt.Rows.Count != 0) bulkCopy.WriteToServer(dt); } catch (Exception ex) { throw ex; } finally { sqlConn.Close(); if (bulkCopy != null) bulkCopy.Close(); } } public static DataTable GetTableSchema() { DataTable dt = new DataTable(); dt.Columns.AddRange(new DataColumn[]{ new DataColumn("Id",typeof(int)), new DataColumn("UserName",typeof(string)), new DataColumn("Pwd",typeof(string))}); return dt; } static void Main(string[] args) { Stopwatch sw = new Stopwatch(); for (int multiply = 0; multiply < 10; multiply++) { DataTable dt = Bulk.GetTableSchema(); for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++) { DataRow r = dt.NewRow(); r[0] = count; r[1] = string.Format("User-{0}", count * multiply); r[2] = string.Format("Pwd-{0}", count * multiply); dt.Rows.Add(r); } sw.Start(); Bulk.BulkToDB(dt); sw.Stop(); Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds)); } Console.ReadLine(); }

 

耗时图如下：

使用Bulk插入100万数据的耗时图

可见，使用Bulk后，效率和性能明显上升。使用Insert插入10万数据耗时72390，而现在使用Bulk插入100万数据才耗时17583。

 

最后再看看使用表值参数的效率，会另你大为惊讶的。

 

表值参数是SQL Server 2008新特性，简称TVPs。对于表值参数不熟悉的朋友，可以参考最新的book online，我也会另外写一篇关于表值参数的博客，不过此次不对表值参数的概念做过多的介绍。言归正传，看代码：

[c-sharp] view plaincopyprint?
  1. public static void TableValuedToDB(DataTable dt)  
  2. {  
  3.     SqlConnection sqlConn = new SqlConnection(  
  4.       ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);  
  5.     const string TSqlStatement =  
  6.      "insert into BulkTestTable (Id,UserName,Pwd)" +  
  7.      " SELECT nc.Id, nc.UserName,nc.Pwd" +  
  8.      " FROM @NewBulkTestTvp AS nc";  
  9.     SqlCommand cmd = new SqlCommand(TSqlStatement, sqlConn);  
  10.     SqlParameter catParam = cmd.Parameters.AddWithValue("@NewBulkTestTvp", dt);  
  11.     catParam.SqlDbType = SqlDbType.Structured;  
  12.     //表值参数的名字叫BulkUdt，在上面的建立测试环境的SQL中有。   
  13.     catParam.TypeName = "dbo.BulkUdt";  
  14.     try  
  15.     {  
  16.       sqlConn.Open();  
  17.       if (dt != null && dt.Rows.Count != 0)  
  18.       {  
  19.           cmd.ExecuteNonQuery();  
  20.       }  
  21.     }  
  22.     catch (Exception ex)  
  23.     {  
  24.       throw ex;  
  25.     }  
  26.     finally  
  27.     {  
  28.       sqlConn.Close();  
  29.     }  
  30. }  
  31.   
  32. public static DataTable GetTableSchema()  
  33. {  
  34.     DataTable dt = new DataTable();  
  35.     dt.Columns.AddRange(new DataColumn[]{  
  36.       new DataColumn("Id",typeof(int)),  
  37.       new DataColumn("UserName",typeof(string)),  
  38.       new DataColumn("Pwd",typeof(string))});  
  39.   
  40.     return dt;  
  41. }  
  42.   
  43. static void Main(string[] args)  
  44. {  
  45.     Stopwatch sw = new Stopwatch();  
  46.     for (int multiply = 0; multiply < 10; multiply++)  
  47.     {  
  48.         DataTable dt = TableValued.GetTableSchema();  
  49.         for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)  
  50.         {          
  51.             DataRow r = dt.NewRow();  
  52.             r[0] = count;  
  53.             r[1] = string.Format("User-{0}", count * multiply);  
  54.             r[2] = string.Format("Pwd-{0}", count * multiply);  
  55.             dt.Rows.Add(r);  
  56.         }  
  57.         sw.Start();  
  58.         TableValued.TableValuedToDB(dt);  
  59.         sw.Stop();  
  60.         Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));  
  61.     }  
  62.   
  63.     Console.ReadLine();  
  64. }  

public static void TableValuedToDB(DataTable dt) { SqlConnection sqlConn = new SqlConnection( ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString); const string TSqlStatement = "insert into BulkTestTable (Id,UserName,Pwd)" + " SELECT nc.Id, nc.UserName,nc.Pwd" + " FROM @NewBulkTestTvp AS nc"; SqlCommand cmd = new SqlCommand(TSqlStatement, sqlConn); SqlParameter catParam = cmd.Parameters.AddWithValue("@NewBulkTestTvp", dt); catParam.SqlDbType = SqlDbType.Structured; //表值参数的名字叫BulkUdt，在上面的建立测试环境的SQL中有。 catParam.TypeName = "dbo.BulkUdt"; try { sqlConn.Open(); if (dt != null && dt.Rows.Count != 0) { cmd.ExecuteNonQuery(); } } catch (Exception ex) { throw ex; } finally { sqlConn.Close(); } } public static DataTable GetTableSchema() { DataTable dt = new DataTable(); dt.Columns.AddRange(new DataColumn[]{ new DataColumn("Id",typeof(int)), new DataColumn("UserName",typeof(string)), new DataColumn("Pwd",typeof(string))}); return dt; } static void Main(string[] args) { Stopwatch sw = new Stopwatch(); for (int multiply = 0; multiply < 10; multiply++) { DataTable dt = TableValued.GetTableSchema(); for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++) { DataRow r = dt.NewRow(); r[0] = count; r[1] = string.Format("User-{0}", count * multiply); r[2] = string.Format("Pwd-{0}", count * multiply); dt.Rows.Add(r); } sw.Start(); TableValued.TableValuedToDB(dt); sw.Stop(); Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds)); } Console.ReadLine(); }

 

耗时图如下：

使用表值参数插入100万数据的耗时图

比Bulk还快5秒。

转载于:https://www.cnblogs.com/Nina-piaoye/archive/2013/03/13/2956949.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/474625.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

LeetCode MySQL 1532. The Most Recent Three Orders（dense_rank + over窗口函数）

LeetCode MySQL 1532. The Most Recent Three Orders（dense_rank + over窗口函数）

文章目录1. 题目2. 解题1. 题目 Table: Customers ------------------------ | Column Name | Type | ------------------------ | customer_id | int | | name | varchar | ------------------------ customer_id is the primary key for this table. T…
阅读更多...
php 负载监控_php记录服务器负载、内存、cpu状态的代码

php 负载监控_php记录服务器负载、内存、cpu状态的代码

通过调用系统命令top&#xff0c;然后借助函数explode&#xff0c;实现记录服务器负载、内存使用情况、cpu当前状态等信息。代码如下&#xff1a;/*** 记录服务器负载、内存使用、cpu状态* 每10秒检测一次* edit by www.jbxue.com*/while(1){exec(top -b -n 1 -d 3,$out);$Cpu …
阅读更多...
Dota改键

Dota改键

利用全局钩子 制作一个个性化的dota游戏改键&#xff01; dll部分&#xff1a; // FileName: add.cpp#include <Windows.h>/* 定义全局变量 */ HWND g_hwnd NULL; HHOOK g_hKeyboard NULL;// 设置数据段 #pragma data_seg("MySec") static WORD g_keyNum[6]{…
阅读更多...
LeetCode MySQL 1501. 可以放心投资的国家

LeetCode MySQL 1501. 可以放心投资的国家

文章目录1. 题目2. 解题1. 题目 表 Person: ------------------------- | Column Name | Type | ------------------------- | id | int | | name | varchar | | phone_number | varchar | ------------------------- id 是该表主键. 该表…
阅读更多...
php 小数末尾进1,PHP小数点最后一位加1、减1

php 小数末尾进1,PHP小数点最后一位加1、减1

比如我有几个数字(小数点后面的位数不固定)&#xff1a;1、155.0552、122.1963、0.9631我怎么做才能让这些数字的小数点最后一位1&#xff0c;或者-1&#xff1f;比如1的话希望得到&#xff1a;1、155.0562、122.1973、0.9632回复内容&#xff1a;比如我有几个数字(小数点后面的…
阅读更多...
ARM汇编Hello,World

ARM汇编Hello,World

1. 编译运行环境见http://www.cnblogs.com/linucos/archive/2013/03/01/2938517.htm2. 汇编例子.data msg: .asciz "hello, world\n" .text .global main …
阅读更多...
LeetCode MySQL 1270. 向公司CEO汇报工作的所有人

LeetCode MySQL 1270. 向公司CEO汇报工作的所有人

文章目录1. 题目2. 解题1. 题目 员工表&#xff1a;Employees ------------------------ | Column Name | Type | ------------------------ | employee_id | int | | employee_name | varchar | | manager_id | int | ------------------------ employee_…
阅读更多...
php 正则 尖括号,php使用正则表达式提取字符串中尖括号、小括号、中括号、大括号中的字符串...

php 正则 尖括号,php使用正则表达式提取字符串中尖括号、小括号、中括号、大括号中的字符串...

$str"你好(爱)[北京]{天安门}";echo f1($str); //返回你好echo f2($str); //返回我echo f3($str); //返回爱echo f4($str); //返回北京echo f5($str); //返回天安门function f1($str){$result array();preg_match_all("/^(.*)(?:return $result[1][0];}functi…
阅读更多...
经济学经典书籍

经济学经典书籍

I&#xff1a;入门阶段&#xff1a; 中文版名称&#xff1a;《经济学原理》 曼昆 英文版名称&#xff1a;principle of economics by Mankiw,N.G.II&#xff1a;基础阶段&#xff1a; 《微观经济学》 周惠中 《微观经济学&#xff1a;现代观点》 哈尔.R.范里安&#xff08;Hal …
阅读更多...
LeetCode MySQL 570. 至少有5名直接下属的经理

LeetCode MySQL 570. 至少有5名直接下属的经理

文章目录1. 题目2. 解题1. 题目 Employee 表包含所有员工和他们的经理。 每个员工都有一个 Id&#xff0c;并且还有一列是经理的 Id。 ------------------------------------- |Id |Name |Department |ManagerId | ------------------------------------- |101 |John…
阅读更多...
php 数据接口,初识 php 接口

php 数据接口,初识 php 接口

这次的这篇文章介绍的是PHP接口的内容&#xff0c;现在分享给大家&#xff0c;也给有需要帮助的朋友一个参考&#xff0c;大家一起过来看一看吧一. 接口按请求人可以分为两种&#xff1a;一种是被其他内部项目调用的接口(包括js异步请求的接口和定时程序)。另一种是对外的接口&…
阅读更多...
SYSU每周一赛（13.03.16)1003

SYSU每周一赛（13.03.16)1003

给定起点终点的无向图&#xff0c;出发时速度为1&#xff0c;到达时速度也为1&#xff0c;在每个点可以进行速度1&#xff0c;不变&#xff0c;-1的操作&#xff0c;在每条边都有限速&#xff0c;到达一城市后不能直接走反向边&#xff0c;求最短时间。 SPFA作松弛操作的典型例…
阅读更多...
LeetCode MySQL 1132. 报告的记录 II

LeetCode MySQL 1132. 报告的记录 II

文章目录1. 题目2. 解题1. 题目 动作表&#xff1a; Actions ------------------------ | Column Name | Type | ------------------------ | user_id | int | | post_id | int | | action_date | date | | action | enum | | extra…
阅读更多...
java封装省市区三级json格式,微信开发 使用picker封装省市区三级联动模板

java封装省市区三级json格式,微信开发 使用picker封装省市区三级联动模板

目前学习小程序更多的是看看能否二次封装其它组件&#xff0c;利于以后能快速开发各种小程序应用。目前发现picker的selector模式只有一级下拉&#xff0c;那么我们是否可以通过3个picker来实现三级联动模板的形式来引入其它页面中呢&#xff1f;答案是肯定可以的。那么我的思路…
阅读更多...
LeetCode MySQL 1126. 查询活跃业务

LeetCode MySQL 1126. 查询活跃业务

文章目录1. 题目2. 解题1. 题目 事件表&#xff1a;Events ------------------------ | Column Name | Type | ------------------------ | business_id | int | | event_type | varchar | | occurences | int | ------------------------ 此表的主键是…
阅读更多...
php linux 删除文件夹,linux下如何删除文件夹

php linux 删除文件夹,linux下如何删除文件夹

linux下删除文件夹的方法&#xff1a;可以使用【rm -rf 目录名】命令进行删除&#xff0c;如【rm -rf /var/log/httpd/access】&#xff0c;表示删除/var/log/httpd/access目录及其下的所有文件、文件夹。直接rm就可以了&#xff0c;不过要加两个参数-rf 即&#xff1a;rm -rf …
阅读更多...
Too many fragmentation in LMT?

Too many fragmentation in LMT?

这周和同事讨论技术问题时&#xff0c;他告诉我客户的一套11.1.0.6的数据库中某个本地管理表空间上存在大量的Extents Fragment区间碎片&#xff0c;这些连续的Extents没有正常合并为一个大的Extent&#xff0c;他怀疑这是由于11.1.0.6上的bug造成了LMT上存在大量碎片。 同事判…
阅读更多...
LeetCode 1533. Find the Index of the Large Integer（二分查找）

LeetCode 1533. Find the Index of the Large Integer（二分查找）

文章目录1. 题目2. 解题1. 题目 We have an integer array arr, where all the integers in arr are equal except for one integer which is larger than the rest of the integers. You will not be given direct access to the array, instead, you will have an API Array…
阅读更多...
java先抽到红球获胜,【图片】红蓝球概率问题，通过程序模拟抽取，计算结果已出，有兴趣来看【非现役文职吧】_百度贴吧...

java先抽到红球获胜,【图片】红蓝球概率问题，通过程序模拟抽取，计算结果已出，有兴趣来看【非现役文职吧】_百度贴吧...

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼我用的c语言&#xff0c;大一学的还没忘完。。。。程序非常简单&#xff0c;就是生成随机数&#xff0c;然后根据随机数的结果进行计数就好了。代码贴下面&#xff0c;有兴趣的可以看看。懂行的请不要喷我写的烂。。。。。毕竟不是…
阅读更多...
MySQL Server Architecture

MySQL Server Architecture

MySQL 服务器架构&#xff1a; 转载于:https://www.cnblogs.com/macleanoracle/archive/2013/03/19/2968212.html
阅读更多...
最新文章

Copyright @ 2022~2023