知识大全 .net对海量数据的插入与更新

Posted 2022-07-18 操作

篇首语：三人行必有我师焉。本文由小常识网(cha138.com)小编为大家整理，主要介绍了知识大全 .net对海量数据的插入与更新相关的知识，希望对你有一定的参考价值。

对于海量数据的插入和更新 ADO NET确实不如JDBC做到好 JDBC有统一的模型来进行批操作使用起来非常方便 PreparedStatement ps = conn prepareStatement（ insert or update arg args … ）然后你就可以 for（int i= ;i< ;i++） ps setXXX（realArg） …… ps addBatch（） if（i% == ） //假设五百条提交一次 ps executeBatch（） //clear Parame Batch ps executeBatch（）这样的操作不仅带来极度大的性能而且非常方便按说 ADO NET中要实现这样的功能应该直接在Command接口中或DataAdapter接口中提供Addbat和CommitBat的API 但ADO NET的却并没有这样简单地实现而是要求开发者通过复杂的变通方法对于大量的插入操作可以利用一个空的DataTable加入要插入的行达到一定数量提交后清空该表就行了实现起来并不算复杂 DateTime begin = DateTime Now; string connectionString = …… using（SqlConnection conn = new SqlConnection（connectionString））… conn Open（） SqlDataAdapter sd = new SqlDataAdapter（） sd SelectCommand = new SqlCommand（ select devid data_time data_value from CurrentTest conn） sd InsertCommand = new SqlCommand（ insert into CurrentTest （devid data_time data_value） + values （@devid @data_time @data_value） conn） sd InsertCommand Parameters Add（ @devid SqlDbType Char devid ） sd InsertCommand Parameters Add（ @data_time SqlDbType Char data_time ） sd InsertCommand Parameters Add（ @data_value SqlDbType Int data_value ） sd InsertCommand UpdatedRowSource = UpdateRowSource None; sd UpdateBatchSize = ; DataSet dataset = new DataSet（） sd Fill（dataset） Random r = new Random（） for （int i = ; i < ; i++） … object[] row = … DEVID +i DateTime Now ToString（ yyyy MM dd HH:mm:ss ） r Next（） ; dataset Tables[ ] Rows Add（row） if （i % == ） … sd Update（dataset Tables[ ]） dataset Tables[ ] Clear（） sd Update（dataset Tables[ ]） dataset Tables[ ] Clear（） sd Dispose（） dataset Dispose（） conn Close（） TimeSpan ts = DateTime Now begin; MessageBox Show（ ts = + ts TotalMilliseconds）对于这个测试我插入万条数据用时秒性能还算可圈可点但是对于批量更新搜遍全球的例子都是把记录Fill到DataSet中然后牧举rows 来更新就我这个小数据量的测试而言把万条数据Fill到DataSet中已经不能工作如果是百万千万如何操作？难道一定先把要批操作的记录先获取到DataSet中？也就是我要更新哪些记录就要选查询这些记录？于是我仍然利用一个空的DataTable来加入要更新的记录 sd SelectCommand = new SqlCommand（ select devid data_time data_value from CurrentTest where = conn） // = 的条件保证取一个空表 sd UpdateCommand = new SqlCommand（ update CurrentTest set data_time = @data_time data_value = @data_value where devid = @devid conn） sd UpdateCommand Parameters Add（ @data_time SqlDbType Char data_time ） sd UpdateCommand Parameters Add（ @data_value SqlDbType Int data_value ） sd UpdateCommand Parameters Add（ @devid SqlDbType Char devid ） sd UpdateCommand UpdatedRowSource = UpdateRowSource None; sd UpdateBatchSize = ; for（int i= ;i< ;i++） …… dataset Tables[ ] Rows Add（row） sd Update（dataset Tables[ ]）先更新条试试如果成功再循环更新所有记录但提示插入操作需要InsertCommand 因为一个空表然后Add Row操作这时RowState是Added 如果这时Update到数据库执行的就是插入操作而无法更新改成 for（int i= ;i< ;i++） …… row = 填入初始化的值; dataset Tables[ ] Rows Add（row） dataset AcceptChanges（） for（int i= ;i< ;i++） …… dataset Tables[ ] Rows[i][x] = xxxxxxx ; …… sd Update（dataset Tables[ ]）先在DataTable中插入数据然后用AcceptChanges（）修改RowState为UnChanged 再修改表中数据希望改变 UnChanged状态即将DataTable从Current状态改为Original 然后再对DataTable的Row进行更新就能使 Update成功但这样做确实不方便调整思路先从数据库中取条（批更新的Size大小）直接得到一个Original的DataTable sd SelectCommand = new SqlCommand（ select top devid data_time data_value from CurrentTest conn） DataSet dataset = new DataSet（） sd Fill（dataset）用这个空间来放要更新的其它数据看看 for （int i = ; i < ; i++） dataset Tables[ ] Rows[i] BeginEdit（） dataset Tables[ ] Rows[i][ data_time ] = : : ; dataset Tables[ ] Rows[i][ data_value ] = ; dataset Tables[ ] Rows[i][ devid ] = DEVID +（i+ ） //更新DEVID 到DEVID 的记录 dataset Tables[ ] Rows[i] EndEdit（） sd Update（dataset Tables[ ]） OK 成功哈哈把要更新的数据不断往这个空间填填满就提交这样更新条数据只要几个循环就行了 DateTime begin = DateTime Now; string connectionString = ; using（SqlConnection conn = new SqlConnection（connectionString））… conn Open（） SqlDataAdapter sd = new SqlDataAdapter（） sd SelectCommand = new SqlCommand（ select top devid data_time data_value from CurrentTest conn） DataSet dataset = new DataSet（） sd Fill（dataset） Random r = new Random（） sd UpdateCommand = new SqlCommand（ update CurrentTest + set data_time = @data_time data_value = @data_value where devid = @devid conn） sd UpdateCommand Parameters Add（ @data_time SqlDbType Char data_time ） sd UpdateCommand Parameters Add（ @data_value SqlDbType Int data_value ） sd UpdateCommand Parameters Add（ @devid SqlDbType Char devid ） sd UpdateCommand UpdatedRowSource = UpdateRowSource None; sd UpdateBatchSize = ; for （int count = ; count < ;） … for （int i = ; i < ; i++ count++） … dataset Tables[ ] Rows[i] BeginEdit（） dataset Tables[ ] Rows[i][ data_time ] = : : ; dataset Tables[ ] Rows[i][ data_value ] = ; dataset Tables[ ] Rows[i][ devid ] = DEVID +count; dataset Tables[ ] Rows[i] EndEdit（） sd Update（dataset Tables[ ]） dataset Tables[ ] Clear（） sd Dispose（） dataset Dispose（） conn Close（） TimeSpan ts = DateTime Now begin; MessageBox Show（ ts = + ts TotalMilliseconds）注意上面的更新操作是指在一个十万百万千万条记录中我要不断更新其中的记录这些要更新的记录并不是从头到尾这样的顺序只是不断地根据条件更新任何记录我不可能把成百上千万记录先Fill到ds中然后在ds中Select到这条记录然后更新所以每次更新操作填入一次DataTable中提交就实现了JDBC的addBat和executeBat操作这个操作更新万条用了秒还算勉强吧 cha138/Article/program/net/201311/11281