将DataTable批量复制到MySQL(类似于System.Data.SqlClient.SqlBulkCopy)
我正在将我的程序从Microsoft SQL Server迁移到MySQL。 一切正常,除了批量复制的一个问题。
在使用MS SQL的解决方案中,代码如下所示:
connection.Open(); SqlBulkCopy bulkCopy = new SqlBulkCopy(connection); bulkCopy.DestinationTableName = "testTable"; bulkCopy.WriteToServer(rawData);
现在我尝试为MySQL做类似的事情。 因为我认为会有糟糕的性能我不想将DataTable写入CSV文件并使用MySqlBulkLoader
类从那里进行插入。
任何帮助将受到高度赞赏。
因为我认为会有糟糕的性能我不想将DataTable写入CSV文件并使用MySqlBulkLoader类从那里进行插入。
不要排除基于毫无根据的假设的可能解决方案。 我刚刚使用Transaction
内部的标准MySqlDataAdapter#Update()
测试了从System.Data.DataTable
插入100,000行到MySQL表中。 它一直需要大约30秒才能运行:
using (MySqlTransaction tran = conn.BeginTransaction(System.Data.IsolationLevel.Serializable)) { using (MySqlCommand cmd = new MySqlCommand()) { cmd.Connection = conn; cmd.Transaction = tran; cmd.CommandText = "SELECT * FROM testtable"; using (MySqlDataAdapter da = new MySqlDataAdapter(cmd)) { da.UpdateBatchSize = 1000; using (MySqlCommandBuilder cb = new MySqlCommandBuilder(da)) { da.Update(rawData); tran.Commit(); } } } }
(我为UpdateBatchSize
尝试了几个不同的值,但它们似乎没有对经过的时间产生重大影响。)
相比之下,使用MySqlBulkLoader
的以下代码只需要5或6秒即可运行…
string tempCsvFileSpec = @"C:\Users\Gord\Desktop\dump.csv"; using (StreamWriter writer = new StreamWriter(tempCsvFileSpec)) { Rfc4180Writer.WriteDataTable(rawData, writer, false); } var msbl = new MySqlBulkLoader(conn); msbl.TableName = "testtable"; msbl.FileName = tempCsvFileSpec; msbl.FieldTerminator = ","; msbl.FieldQuotationCharacter = '"'; msbl.Load(); System.IO.File.Delete(tempCsvFileSpec);
…包括将100,000行从DataTable转储到临时CSV文件(使用与此类似的代码),从该文件批量加载,然后删除文件的时间。