使用事务操作SQLite数据批量插入,提高数据批量写入速度,源码讲解
SQLite數(shù)據(jù)庫作為一般單機版軟件的數(shù)據(jù)庫,是非常優(yōu)秀的,我目前單機版的軟件產(chǎn)品線基本上全部替換Access作為優(yōu)選的數(shù)據(jù)庫了,在開發(fā)過程中,有時候需要批量寫入數(shù)據(jù)的情況,發(fā)現(xiàn)傳統(tǒng)的插入數(shù)據(jù)模式非常慢,幾千條數(shù)據(jù)的寫入或者更新可能需要好幾分鐘時間,而SqlServer則相同的操作可能幾秒即可,有無更好的方法來提高它的響應(yīng)速度呢?答案是有的,就是采用事務(wù)提交,默認SQLite的數(shù)據(jù)庫插入操作,如果沒有采用事務(wù)的話,它每次寫入提交,就會觸發(fā)一次事務(wù)操作,而這樣幾千條的數(shù)據(jù),就會觸發(fā)幾千個事務(wù)的操作,這就是時間耗費的根源。本文通過詳細代碼介紹如何使用事務(wù)來提高整個批量插入數(shù)據(jù)的速度,并以實際的Winform開發(fā)框架中的字典管理模塊的批量插入功能來進行介紹,通過前后速度的對比,使得事務(wù)操作提高響應(yīng)速度更有說服力。
為了提高響應(yīng)速度,我這里使用了事務(wù)操作,整個事務(wù)操作是基于EnterpriseLibray類庫的數(shù)據(jù)庫操作,由于我已經(jīng)在框架的基類中做了封裝,因此我們這里看到整個處理過程即可。
其中MyRegion里面的代碼就是遍歷每行的數(shù)據(jù),構(gòu)造數(shù)據(jù)字典對象和排序號,然后調(diào)用InsertDictData函數(shù)進行數(shù)據(jù)的錄入。其中InsertDictData函數(shù)的代碼是
/// <summary>/// 使用事務(wù)參數(shù),插入數(shù)據(jù),最后統(tǒng)一提交事務(wù)處理/// </summary>/// <param name="dictData">字典數(shù)據(jù)</param>/// <param name="seq">排序</param>/// <param name="trans">事務(wù)對象</param>private void InsertDictData(string dictData, string seq, DbTransaction trans){if (!string.IsNullOrWhiteSpace(dictData)){DictDataInfo info = new DictDataInfo();info.Editor = LoginID;info.LastUpdated = DateTime.Now;info.DictType_ID = this.txtDictType.Tag.ToString();info.Name = dictData.Trim();info.Value = dictData.Trim();info.Remark = this.txtNote.Text.Trim();info.Seq = seq;bool succeed = BLLFactory<DictData>.Instance.Insert(info, trans);}}整個插入功能按鈕的處理全部代碼如下所示。
private void btnOK_Click(object sender, EventArgs e){string[] arrayItems = this.txtDictData.Lines;int intSeq = -1;int seqLength = 3;string strSeq = this.txtSeq.Text.Trim();if (int.TryParse(strSeq, out intSeq)){seqLength = strSeq.Length;}if (arrayItems != null && arrayItems.Length > 0){DbTransaction trans = BLLFactory<DictData>.Instance.CreateTransaction();if (trans != null){try{#region MyRegionforeach (string strItem in arrayItems){if (this.radSplit.Checked){if (!string.IsNullOrWhiteSpace(strItem)){string[] dataItems = strItem.Split(new char[] { ',', ',', ';', ';', '/', '、' });foreach (string dictData in dataItems){#region 保存數(shù)據(jù)string seq = "";if (intSeq > 0){seq = (intSeq++).ToString().PadLeft(seqLength, '0');}else{seq = string.Format("{0}{1}", strSeq, intSeq++);}InsertDictData(dictData, seq, trans);#endregion}}}else{#region 保存數(shù)據(jù)if (!string.IsNullOrWhiteSpace(strItem)){string seq = "";if (intSeq > 0){seq = (intSeq++).ToString().PadLeft(seqLength, '0');}else{seq = string.Format("{0}{1}", strSeq, intSeq++);}InsertDictData(strItem, seq, trans);}#endregion}}#endregiontrans.Commit();ProcessDataSaved(this.btnOK, new EventArgs());MessageDxUtil.ShowTips("保存成功");this.DialogResult = DialogResult.OK;}catch (Exception ex){trans.Rollback();LogTextHelper.Error(ex);MessageDxUtil.ShowError(ex.Message);}}}}上面的批量插入,經(jīng)過前后的測試,2千條數(shù)據(jù)批量插入SQLite數(shù)據(jù)庫,需要大概3~4分鐘左右,如果采用了事務(wù)操作,則在1~2秒內(nèi)寫入完成,速度提高不知道多少倍。如果是操作數(shù)據(jù)比較多的,強烈建議使用事務(wù)進行操作,可以給客戶很好的體驗效果。
如果嫌上面的代碼復(fù)雜,可以看下面的講解代碼可能就明白了
using (DbTransaction dbTrans = conn.BeginTransaction()){using (DbCommand cmd = conn.CreateCommand()){cmd.CommandText = "INSERT INTO MyTable(MyValue) VALUES(?)";DbParameter Field1 = cmd.CreateParameter();cmd.Parameters.Add(Field1);for (int n = 0; n < 100000; n++){Field1.Value = n + 100000;cmd.ExecuteNonQuery();}}}上面是一種比較簡單原始的事務(wù)操作,如果批量插入數(shù)據(jù),同樣能夠起到一樣的效果。
總結(jié)
以上是生活随笔為你收集整理的使用事务操作SQLite数据批量插入,提高数据批量写入速度,源码讲解的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 年底离职申请 理由一定要合理
- 下一篇: C# Owin初探 概念理解