知识大全使用SqlBulkCopy进行大批量数据迁移

Posted 2022-07-17 知

篇首语：莫问天涯路几重，轻衫侧帽且从容。本文由小常识网(cha138.com)小编为大家整理，主要介绍了知识大全使用SqlBulkCopy进行大批量数据迁移相关的知识，希望对你有一定的参考价值。

使用SqlBulkCopy进行大批量数据迁移 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！

下面我们先通过一个简单的例子说明这个类的使用 DateTime startTime; protected void Button _Click(object sender EventArgs e) startTime = DateTime Now; string SrcConString; string DesConString; SqlConnection SrcCon = new SqlConnection(); SqlConnection DesCon = new SqlConnection(); SqlCommand SrcCom = new SqlCommand(); SqlDataAdapter SrcAdapter = new SqlDataAdapter(); DataTable dt = new DataTable(); SrcConString = ConfigurationManager ConnectionStrings[ SrcDBConnectionString ] ConnectionString; DesConString = ConfigurationManager ConnectionStrings[ DesDBConnectionString ] ConnectionString; SrcCon ConnectionString = SrcConString; SrcCom Connection = SrcCon; SrcCom CommandText = SELECT * From [SrcTable] ; SrcCom CommandType = CommandType Text; SrcCom Connection Open(); SrcAdapter SelectCommand = SrcCom; SrcAdapter Fill(dt); SqlBulkCopy DesBulkOp; DesBulkOp = new SqlBulkCopy(DesConString SqlBulkCopyOptions UseInternalTransaction); DesBulkOp BulkCopyTimeout = ; DesBulkOp SqlRowsCopied += new SqlRowsCopiedEventHandler(OnRowsCopied); DesBulkOp NotifyAfter = dt Rows Count; try DesBulkOp DestinationTableName = SrcTable ; DesBulkOp WriteToServer(dt); catch (Exception ex) finally SrcCon Close(); DesCon Close(); private void OnRowsCopied(object sender SqlRowsCopiedEventArgs args) lblCounter Text += args RowsCopied ToString() + rows are copied ; TimeSpan copyTime = DateTime Now startTime; lblCounter Text += Copy Time: + copyTime Seconds ToString() + + copyTime Milliseconds ToString() + seconds ; 接着具体分析这几行代码 SqlBulkCopy DesBulkOp; DesBulkOp = new SqlBulkCopy(DesConString SqlBulkCopyOptions UseInternalTransaction);先生成SqlBulkCopy 实例构造函数指定了目标数据库使用SqlBulkCopyOptions UseInternalTransaction是指迁移动作指定在一个Transaction当中如果数据迁移中产生错误或异常将发生回滚其他选项请参考MSDN DesBulkOp BulkCopyTimeout = ; 指定操作完成的Timeout时间 DesBulkOp SqlRowsCopied += new SqlRowsCopiedEventHandler(OnRowsCopied); DesBulkOp NotifyAfter = dt Rows Count; try DesBulkOp DestinationTableName = SrcTable ; DesBulkOp WriteToServer(dt); NotifyAfter属性指定通知通知事件前处理的数据行数在这里指定为表的行数并添加SqlRowsCopied事件输出整个迁移过程的时间 WriteToServer方法就是将数据源拷备到目标数据库在使用WriteToServer方法之前必须先指定DestinationTableName属性也就是目标数据库的表名我们还可以自己定义一个Transaction 例如 SqlTransaction Transaction; Transaction = SrcCom Connection BeginTransaction(); SqlBulkCopy DesBulkOp; DesBulkOp = new SqlBulkCopy(new SqlConnection(DesConString) SqlBulkCopyOptions Default Transaction); try // catch finally Transaction Commit(); 另外还有一个SqlBulkCopyColumnMapping类可以让数据源字段映射到目标数据中命名不同的字段上也就是说如果目标数据和源数据的列名不同时可以用这个类进行映射 SqlBulkCopyColumnMapping ColMap = new SqlBulkCopyColumnMapping( SrcCol DesCol ); DesBulkOp ColumnMappings Add(ColMap); 或者可以直接添加映射 DesBulkOp ColumnMappings Add( SrcCol DesCol ); 性能问题我使用上面的例子测试迁移了万条左右的记录花的时间不到一秒应改说性能还是不错的另外使用SQL Profile监视迁移事件可以看见请求记录非常少只有几条而已据说使用SqlBulkCopy可以大大减少数据迁移的时间 cha138/Article/program/net/201311/11914

知识大全 使用SqlBulkCopy进行大批量数据迁移

知识大全使用SqlBulkCopy进行大批量数据迁移