使用“即时消息服务框架”(iMSF)实现分布式事务的三阶段提交协议(电商创建订单的示例)...
1,示例解決方案介紹
在上一篇 《消息服務框架(MSF)應用實例之分布式事務三階段提交協議的實現》中,我們分析了分布式事務的三階段提交協議的原理,現在我們來看看如何使用消息服務框架(MSF)來具體實現并且看用它來實現的一些優勢。
首先,從Github克隆項目源碼,地址:https://github.com/bluedoctor/MSF-DistTransExample
解決方案如下圖:
我們看到解決方案有4個項目:
?2,創建訂單的業務簡介
2.1,基本概念
下面先介紹本示例要解決的業務,并通過這個業務來分析分布式事務的執行過程。
在本示例中,使用的是電商系統最常見的業務場景:下單業務,它的業務流程也概括起來比較簡單:
創建訂單:
?當然,在具體的電商業務系統中,下單業務比較復雜,特別是對庫存的扣減方式,但大體的業務流程就是這樣的,我們今天的重點是研究這個下單過程在分布式環境下如何實現。
2.2,微服務架構
假設我們的電商平臺使用微服務架構的,包含了用戶服務,商品服務,訂單服務和支付服務,這4個服務在下單業務中的功能分別如下:
- 用戶服務:檢查當前用戶是否有效,查詢用戶的相關信息,比如用戶姓名,聯系電話等;
- 訂單服務:生成訂單,包括結合用戶服務的用戶信息,生成訂單基本信息;結合商品服務,生成訂單項目明細;
- 商品服務:向訂單服務返回商品的相關信息,并返回庫存是否可用,如果可用就扣減庫存;
- 支付服務:由第三方提供,但參與創建訂單的流程,用戶下單后需要用戶去第三方支付系統完成支付,然后支付服務回調訂單服務,完成有效訂單確認。
?下面是這4個服務在創建訂單的業務流程圖:
上圖中,支付服務是第三方提供的服務,需要用戶在創建訂單后跳轉調用,所以本質上不是訂單服務直接調用,訂單服務需要提供一個支付完成的回調通知接口,完成有效訂單的確認。 而用戶服務作為服務調用的發起方,它會傳遞必要的信息給訂單服務,因此,對于“創建訂單”這個具體的業務功能,它涉及的需要同時進行操作的只有創建訂單和扣減庫存這兩個子業務,并且要求這2個子業務操作具有原子性,即要么同時成功,要么同時失敗撤銷,所以這兩個操作組成一個事務操作,在我們當前的場景中,它是一個分布式事務。
2.3,分布式事務中的微服務容器
在本例中,我們使用消息服務框架(MSF)來實現分布式事務,為了更加真實的模擬微服務架構,我們將創建訂單相關的服務劃分為3個獨立的進程,這些進程就是MSF.Host服務容器,這里分為3個服務容器:
- 協調器服務容器:運行分布式事務協調器服務;
- 訂單服務容器:運行訂單服務和分布式事務控制器組件;
- 商品服務容器:運行商品服務和分布式事務控制器組件。
下面是這3個服務容器的進程調用關系圖:
?
?
3,創建訂單的分布式事務流程
下面來看創建訂單的分布式事務處理過程,為簡單起見,只討論正常的流程,其中異常的流程,請參考原文對于3階段提供分布式事務的具體原理。
1,客戶端調用訂單服務的創建訂單方法;(上圖步驟1)
2,訂單服務實例化,接受一個訂單號,用戶號,要購買的商品清單3個參數來創建訂單;(上圖步驟1)
3,創建訂單的方法向分布式事務控制器進行本地事務注冊,傳入創建訂單的事務方法(委托);(上圖步驟2)
4,創建訂單的事務方法遠程調用商品服務,更新商品庫存;(上圖步驟3)
5,商品服務的更新商品庫存方法向分布式事務控制器進行本地事務注冊,傳入具體更新庫存的事務方法(委托);(上圖步驟4)
6,商品服務執行完成更新庫存的方法,向訂單服務返回必要的信息,準備好提交事務;(上圖步驟5)
7,訂單服務收到商品服務的返回信息,構建好訂單和訂單明細,準備好提交事務;(上圖步驟6)
8,分布式事務控制器檢測到注冊的各事務資源服務器(商品服務和訂單服務)都已經準備好提交事務,向它們發出提交指令;
9,商品服務和訂單服務收到提交指令,提交本地事務,事務資源服務方法執行完成;(上圖步驟7,8)
10,分布式事務控制器收到事務資源服務器的反饋,登記本次分布式事務執行完成;
11,訂單服務標記創建訂單成功,向客戶端返回信息。
4,分布式事務服務和組件
4.1,分布式事務控制器
分布式事務控制器是提供給事務資源服務使用的組件,在本示例中是類 DTController,它提供了如下重要方法:
- 檢查并開啟一個分布式事務控制器對象
- 移除一個事務控制器
- 累計事務資源服務器
- 獲取分布式事務的狀態
- 3階段分布式事務請求函數
- 提交事務的方法
- 回滾事務的方法
其中“3階段分布式事務請求函數”,是事務控制器對象重要的函數,它負責對“3階段分布式事務”的各個階段進行流程控制,其中每一階段,都要和“分布式事務協調服務”進行通信,接受它的指令,完成本地事務資源的控制,比如是提交還是回滾事務資源。下面我們看看它主要的代碼:
?在上面的函數中,MSF的客戶端服務訪問代理類 Proxy 對象它請求的是“分布式事務協調服務”,即名字為“DTCService”的遠程服務;Proxy的RequestService 方法的最后一個參數,表示服務調用過程中,服務端回調的客戶端函數,在這個回調函數中,提供了3階段分布式事務協議中的各種指令的響應處理,包括:
- CanCommit--詢問本地事務是否可以提交;
- PreCommit--預提交指令;
- Abort--撤銷事務的指令;
- DoCommit--提交事務的指令。
Proxy對象的RequestService 方法它是一個異步方法,所以調用它之后代碼會立即向下執行,因此我們用?TaskCompletionSource 對象將異步方法的結果獲取過程作為一個任務來處理,這樣便可以阻塞異步方法的執行并等待執行完的結果,如果這個過程中發生了錯誤,就立即回滾事務,即下面的代碼:
try{tcs.Task.Wait();return tcs.Task.Result;}catch (Exception ex){PrintLog("MSF DTC({0}) Task Error:{1}", transIdentity,ex.Message);TryRollback(dbHelper);}在當前方法 DistTrans3PCRequest 的第二個和第三個參數中,都使用了 AdoHelper類型的參數,它是SOD框架基礎的 數據訪問幫助類,它的“事務計數器” (TransactionCount屬性)有助于正確的開啟事務,化解嵌套的事務,避免用戶的?transFunction 方法內部開啟和提交事務,將事務的最終提交動作交給當前分布式事務控制器。
?
4.2,分布式事務協調服務
?分布式事務控制器在執行本地事務方法的前后,需要有一個分布式事務協調服務來協調它的執行過程,這個協調過程包括以下功能:
- (提供給控制器)調用指定標識的分布式事務,直到事務執行完成;
- 管理系統的分布式事務階段,向控制器推送(回調)系統的分布式事務狀態;
- 分布式事務協調服務需要運行在獨立服務進程中,所以它可以協調多個分布式事務控制器的工作。
下面是本服務的具體代碼實現,比較簡單:
/// <summary>/// 分布式事務協調器服務,基于3PC過程。/// </summary>public class DTCService:ServiceBase{private int TransactionResourceCount;private DistTrans3PCState CurrentDTCState;//private static System.Collections.Concurrent.ConcurrentBag<DistTransInfo> DTResourceList = new System.Collections.Concurrent.ConcurrentBag<DistTransInfo>();/// <summary>/// 參加指定標識的分布式事務,直到事務執行完成。一個分布式事務包含若干本地事務/// </summary>/// <param name="identity">標識一個分布式事務</param>/// <returns></returns>public bool AttendTransaction(string identity){DistTransInfo info = new DistTransInfo();info.ClientIdentity = base.CurrentContext.Request.ClientIdentity;info.CurrentDTCState = DistTrans3PCState.CanCommit;info.LastStateTime = DateTime.Now;info.TransIdentity = identity;//DTResourceList.Add(info);DateTime dtcStart = DateTime.Now;//獲取一個當前事務標識的協調器線程DTController controller = DTController.CheckStartController(identity);CurrentDTCState = DistTrans3PCState.CanCommit;while (CurrentDTCState != DistTrans3PCState.Completed){//獲取資源服務器的事務狀態,資源服務器可能自身或者因為網絡情況出錯if (!SendDTCState(info, controller, identity))break;}SendDTCState(info, controller, identity);DTController.RemoveController(identity);Console.WriteLine("DTC Current Use time:{0}(s)",DateTime.Now.Subtract(dtcStart).TotalSeconds);return true;}private bool SendDTCState(DistTransInfo info, DTController controller, string identity){string clientIdentity = string.Format("[{0}:{1}-{2}]", base.CurrentContext.Request.ClientIP, base.CurrentContext.Request.ClientPort, base.CurrentContext.Request.ClientIdentity);try{Console.WriteLine("DTC Service Callback {0} Message:{1}", clientIdentity, CurrentDTCState);info.CurrentDTCState = base.CurrentContext.CallBackFunction<DistTrans3PCState, DistTrans3PCState>(CurrentDTCState);info.LastStateTime = DateTime.Now;CurrentDTCState = controller.GetDTCState(info.CurrentDTCState);return true;}catch (Exception ex){Console.WriteLine("DTC Service Callback {0} Error:{1}", clientIdentity, ex.Message);return false;}}public override bool ProcessRequest(IServiceContext context){return base.ProcessRequest(context);}}?在本服務中,通過?base.CurrentContext.CallBackFunction 方法回調分布式控制器,將當前階段系統的分布式狀態告訴控制器。
5,創建訂單相關服務
5.1,訂單服務
訂單服務方法首先它要實例化一個分布式事務控制器對象,在控制器對象里面完成創建訂單的事務操作,它會首先調用商品服務去更新相應的商品庫存數并取得相關的商品信息,然后接著構造訂單和訂單明細,具體代碼如下:
/// <summary>/// 生成訂單的服務方法/// </summary>/// <param name="orderId">訂單號</param>/// <param name="userId">用戶號</param>/// <param name="buyItems">購買的商品簡要清單</param>/// <returns>訂單是否創建成功</returns>public bool CreateOrder(int orderId,int userId,IEnumerable<BuyProductDto> buyItems){//在分布式事務的發起端,需要先定義分布式事務標識:string DT_Identity = System.Guid.NewGuid().ToString();productProxy.RegisterData = DT_Identity;//使用3階段提交的分布式事務,保存訂單到數據庫OrderDbContext context = new OrderDbContext();DTController controller = new DTController(DT_Identity);return controller.DistTrans3PCRequest<bool>(DTS_Proxy, context.CurrentDataBase,db =>{//先請求商品服務,扣減庫存,并獲取商品的倉庫信息ServiceRequest request = new ServiceRequest();request.ServiceName = "ProductService";request.MethodName = "UpdateProductOnhand";request.Parameters = new object[] { DT_Identity, buyItems };List<SellProductDto> sellProducts = productProxy.RequestServiceAsync<List<SellProductDto>>(request).Result;#region 構造訂單明細和訂單對象// productProxy.Connect();List<OrderItemEntity> orderItems = new List<OrderItemEntity>();OrderEntity order = new OrderEntity(){ID = orderId,OwnerID = userId,OrderTime = DateTime.Now,OrderName = "Prudoct:"};foreach (BuyProductDto item in buyItems){//注意:在商品數據庫上,前面更新商品,但還沒有提交事務,下面這個查詢直接使用的話會導致查詢等待,因為SQLSERVER的事務隔離級別是這樣的//所以 GetProductInfo 的實現需要注意。//ProductDto product = this.GetProductInfo(item.ProductId).Result;ProductDto product = this.GetProductInfoSync(item.ProductId);OrderItemEntity temp = new OrderItemEntity(){OrderID = orderId,ProductID = product.ID,BuyNumber = item.BuyNumber,OnePrice = product.Price,ProductName = product.ProductName};temp.StoreHouse = (from i in sellProducts where i.ProductId == temp.ProductID select i.StoreHouse).FirstOrDefault();orderItems.Add(temp);order.OrderName += "," + temp.ProductName;order.AmountPrice += temp.OnePrice * temp.BuyNumber;}////關閉商品服務訂閱者連接 productProxy.Close();#endregion//保存訂單數據到數據庫context.Add<OrderEntity>(order);context.AddList<OrderItemEntity>(orderItems);return true;});}注意在上面的方法中,我們創建訂單的代碼并沒有直接提交或者回滾事務,而是通過控制器的 DistTrans3PCRequest 方法傳入了一個AdoHelper對象,由控制器來決定提交或者回滾事務。 其它相關代碼請看Github上的源碼。
5.2,商品服務
商品服務比較簡單,這里只列出訂單服務需要直接調用的 UpdateProductOnhand方法,具體代碼如下:
public class ProductService:ServiceBase {//其它代碼略/// <summary>/// 更新商品庫存,并返回商品售賣簡要信息/// </summary>/// <param name="transIdentity">分布式事務標識</param>/// <param name="buyItems">購買的商品精簡信息</param>/// <returns></returns>public List<SellProductDto> UpdateProductOnhand(string transIdentity, IEnumerable<BuyProductDto> buyItems){ProductDbContext context = new ProductDbContext();DTController controller = new DTController(transIdentity);return controller.DistTrans3PCRequest<List<SellProductDto>>(DTS_Proxy,context.CurrentDataBase,c =>{return InnerUpdateProductOnhand(context,buyItems);});} }可以看到,商品服務的更新商品庫存數的方法內部也實例化了一個分布式事務控制器對象,然后在它里面執行具體的本地事務操作。其它具體代碼略。
需要注意的是,訂單服務在事務執行過程中,多次調用了商品服務的其它方法,這些方法會操作數據庫,如果這些商品服務操作的表正好是更新商品庫存的方法使用的表,此時如果兩個方法操作的數據庫連接不是同一個事務的連接,那么會導致死鎖。所以商品服務需要設置會話狀態來正確存儲和訪問連接對象,如下代碼:
public class ProductService:ServiceBase {//其它代碼略private List<SellProductDto> InnerUpdateProductOnhand(ProductDbContext context, IEnumerable<BuyProductDto> buyItems){List<SellProductDto> result = new List<SellProductDto>();foreach (BuyProductDto item in buyItems){ProductEntity entity = new ProductEntity(){ID = item.ProductId,Onhand= item.BuyNumber};OQL q = OQL.From(entity).UpdateSelf('-', entity.Onhand).Where(cmp => cmp.EqualValue(entity.ID) & cmp.Comparer(entity.Onhand, ">=", item.BuyNumber)).END;int count = context.ProductQuery.ExecuteOql(q);SellProductDto sell = new SellProductDto();sell.BuyNumber = item.BuyNumber;sell.ProductId = item.ProductId;//修改庫存成功,才能得到發貨地if (count > 0)sell.StoreHouse = this.GetStoreHouse(item.ProductId);result.Add(sell);}base.CurrentContext.Session.Set<ProductDbContext>("DbContext", context);Console.WriteLine("----------1,-Session ID:{0}----------", base.CurrentContext.Session.SessionID);return result;}public override bool ProcessRequest(IServiceContext context){context.SessionRequired = true;//客戶端(訂單服務)將使用事務標識作為連接的 RegisterData,因此采用這種會話模式context.SessionModel = SessionModel.RegisterData;return base.ProcessRequest(context);} }?
5.3,客戶端下單
前面我們討論了分布式事務控制器,分布式事務協調服務,訂單服務和商品服務的具體實現,現在,我們終于可以看看客戶端如何調用訂單服務來創建一個訂單了,請看代碼:
private static void TestCreateOrder(Proxy client){List<BuyProductDto> buyProducts = new List<BuyProductDto>();buyProducts.Add(new BuyProductDto() { ProductId=1, BuyNumber=3});buyProducts.Add(new BuyProductDto() { ProductId =2, BuyNumber = 1 });int orderId = 2000;int userId = 100;ServiceRequest request = new ServiceRequest();request.ServiceName = "OrderService";request.MethodName = "CreateOrder";request.Parameters = new object[] { orderId,userId, buyProducts };bool result=client.RequestServiceAsync<bool>(request).Result;if(result)Console.WriteLine("創建訂單成功,訂單號:{0}",orderId);elseConsole.WriteLine("創建訂單失敗,訂單號:{0}", orderId);}上面的方法構造了一個準備購買的商品清單,這就是電商“購物車”的簡化版本,另外為了簡便起見,我們直接設定了一個訂單號和用戶號,用這種方式來調用創建訂單的功能。
由于我們的訂單號固定的,所以我們的測試程序第一次會創建成功訂單,而第二次就會失敗,正好可以用它來觀察系統的執行情況。
6,創建訂單的分布式事務測試
6.1,測試環境簡介:
為了簡化測試環境,所有服務實例都運行在一臺PC機器上,包括數據。測試機器的性能如下:
- CPU:Inter i7-4790 4.00GHz;
- 內存:16GB,可用內存:8.7GB
- 測試開發環境:VS2017 社區版
- 數據庫:SqlServer 2008 R2
打開VS開發環境,按F5以調試模式編譯運行,設置多啟動項目:
- DistTransClient
- TistTransApp
測試項目 TistTransApp下面的配置文件 PdfNetEF.MessageServiceHost.exe.config ?? 配置內容如下:
<?xml version="1.0" encoding="utf-8"?> <configuration><appSettings><add key="IOCConfigFile" value=".\IOCConfig.xml" /><add key="ServerIP" value="127.0.0.1" /><add key="ServerPort" value="12345" /><add key="ProductUri" value="net.tcp://127.0.0.1:12306"/><add key="OrderUri" value="net.tcp://127.0.0.1:12308"/><!--MSF_DTS_Uri 分布式事務控制器服務連接地址--><add key="MSF_DTS_Uri" value="net.tcp://127.0.0.1:12345"/><!-- 全局緩存配置GlobalCacheProvider="CacheServer" 將使用分布式的緩存服務器,這時候需要配置 CacheConfigFile,其它值將使用本地的緩存CacheConfigFile :緩存服務器的地址的配置文件,也就是本 ServiceHost 運行的另外一些實例--><add key="GlobalCacheProvider" value="" /><add key="CacheConfigFile" value="CacheServerCfg.xml" /><!-- 全局緩存配置結束 --><!--PDF.NET SQL 日志記錄配置(for 4.0)開始記錄執行的SQL語句,關閉此功能請將SaveCommandLog 設置為False,或者設置DataLogFile 為空;如果DataLogFile 的路徑中包括~符號,表示SQL日志路徑為當前Web應用程序的根目錄;如果DataLogFile 不為空且為有效的路徑,當系統執行SQL出現了錯誤,即使SaveCommandLog 設置為False,會且僅僅記錄出錯的這些SQL語句;如果DataLogFile 不為空且為有效的路徑,且SaveCommandLog 設置為True,則會記錄所有的SQL查詢。在正式生產環境中,如果不需要調試系統,請將SaveCommandLog 設置為False 。--><add key="SaveCommandLog" value="False" /><add key="DataLogFile" value=".\SqlLog.txt" /><!--LogExecutedTime 需要記錄的時間,如果該值等于0會記錄所有查詢,否則只記錄大于該時間的查詢。單位毫秒。--><add key="LogExecutedTime" value="0" /><!--PDF.NET SQL 日志記錄配置 結束--><add key="ClientSettingsProvider.ServiceUri" value="" /></appSettings><connectionStrings><!--SOD for SQL Server ,框架會自動創建需要的庫 --><add name="OrdersDb" connectionString="Data Source=.;Initial Catalog=OrdersDb;Integrated Security=True" providerName="SqlServer"/><add name="ProductsDb" connectionString="Data Source=.;Initial Catalog=ProductsDb;Integrated Security=True" providerName="SqlServer"/><!-- SOD for SQL Server LocalDB 注意:請將下面的連接字符串,修改為你VS 里面打開的數據庫文件的連接字符串 <add name="OrdersDb" connectionString="Data Source=(LocalDB)\MSSQLLocalDB;AttachDbFilename=~\DataBase\OrdersDB_data.mdf;Integrated Security=True;Connect Timeout=30" providerName="SqlServer"/><add name="ProductsDb" connectionString="Data Source=(LocalDB)\MSSQLLocalDB;AttachDbFilename=~\DataBase\ProductsDB_data.mdf;Integrated Security=True;Connect Timeout=30" providerName="SqlServer"/>--><!-- MSSQLLocalDB 連接示例<add name="OrdersDb" connectionString="Data Source=(LocalDB)\MSSQLLocalDB;AttachDbFilename=E:\Git\MSF-DistTransExample\Host\DataBase\OrdersDB_data.mdf;Integrated Security=True;Connect Timeout=30" providerName="SqlServer"/><add name="ProductsDb" connectionString="Data Source=(LocalDB)\MSSQLLocalDB;AttachDbFilename=E:\Git\MSF-DistTransExample\Host\DataBase\ProductsDB_data.mdf;Integrated Security=True;Connect Timeout=30" providerName="SqlServer"/>--><!-- SOD for Access 2007 ,2013,2016<add name="OrdersDb" connectionString="Provider=Microsoft.ACE.OLEDB.12.0;Data Source=~\DataBase\OrdersDb.accdb;Persist Security Info=False;" providerName="Access"/><add name="ProductsDb" connectionString="Provider=Microsoft.ACE.OLEDB.12.0;Data Source=~\DataBase\Products.accdb;Persist Security Info=False;" providerName="Access"/>--><!-- SOD for Access 2000,2003<add name="OrdersDb" connectionString="Provider=Microsoft.Jet.OLEDB.4.0;Data Source=~\DataBase\OrdersDb.mdb;Persist Security Info=False;" providerName="Access"/><add name="ProductsDb" connectionString="Provider=Microsoft.Jet.OLEDB.4.0;Data Source=~\DataBase\Products.mdb;Persist Security Info=False;" providerName="Access"/>--><!-- SOD for SQLite <add name="OrdersDb" connectionString="Data Source=DataBase\OrdersDb.db;" providerName="PWMIS.DataProvider.Data.SQLite,PWMIS.SQLiteClient"/><add name="ProductsDb" connectionString="Data Source=DataBase\Products.db;" providerName="PWMIS.DataProvider.Data.SQLite,PWMIS.SQLiteClient"/>--></connectionStrings><startup><supportedRuntime version="v4.0" sku=".NETFramework,Version=v4.0" /></startup><system.web><membership defaultProvider="ClientAuthenticationMembershipProvider"><providers><add name="ClientAuthenticationMembershipProvider" type="System.Web.ClientServices.Providers.ClientFormsAuthenticationMembershipProvider, System.Web.Extensions, Version=4.0.0.0, Culture=neutral, PublicKeyToken=31bf3856ad364e35" serviceUri="" /></providers></membership><roleManager defaultProvider="ClientRoleProvider" enabled="true"><providers><add name="ClientRoleProvider" type="System.Web.ClientServices.Providers.ClientRoleProvider, System.Web.Extensions, Version=4.0.0.0, Culture=neutral, PublicKeyToken=31bf3856ad364e35" serviceUri="" cacheTimeout="86400" /></providers></roleManager></system.web> </configuration> View Code配置文件中配置了多種數據庫連接方式,根據你的情況具體選擇。當前是SqlServer.
然后,按照下圖輸入相關的信息:
由于我現在的測試環境是SQLSERVER數據庫,所以不需要初始化數據庫。選擇啟動事務協調器,測試程序會幫我們啟動 協調器服務宿主進程,商品服務宿主進程和訂單服務宿主進程。之后,我們在客戶端控制臺輸入 12308,這是訂單服務的端口號,接著客戶端就會調用訂單服務準備創建訂單。
6.2,測試結果
下面是各種情況下的測試結果,分為訂單創建成功和創建失敗兩種情況。注意我們在分析真正的測試數據之前,要先跑一次服務進行預熱,也就是先進行一次測試,取第二次以后的測試結果。
6.2.1,訂單創建成功:
分布式協調服務:
?
[2018-01-31 17:13:45.807]訂閱消息-- From: 127.0.0.1:53276 [2018-01-31 17:13:45.807]正在處理服務請求--From: 127.0.0.1:53276,Identity:WMI2114256838 >>[PMID:1]Service://DTCService/AttendTransaction/System.String=1b975548-afac-4e7a-be6d-5821bce38ce7 DTC Service Callback [127.0.0.1:53276-WMI2114256838] Message:CanCommit [2018-01-31 17:13:45.853]訂閱消息-- From: 127.0.0.1:53278 [2018-01-31 17:13:45.854]正在處理服務請求--From: 127.0.0.1:53278,Identity:WMI2114256838 >>[PMID:1]Service://DTCService/AttendTransaction/System.String=1b975548-afac-4e7a-be6d-5821bce38ce7 DTC Service Callback [127.0.0.1:53278-WMI2114256838] Message:CanCommit DTC Service Callback [127.0.0.1:53276-WMI2114256838] Message:PreCommit DTC Service Callback [127.0.0.1:53278-WMI2114256838] Message:PreCommit DTC Service Callback [127.0.0.1:53278-WMI2114256838] Message:DoCommit DTC Service Callback [127.0.0.1:53278-WMI2114256838] Message:Completed DTC Current Use time:0.042516(s) [2018-01-31 17:13:45.897]請求處理完畢(43.0236ms)--To: 127.0.0.1:53278,Identity:WMI2114256838 >>[PMID:1]消息長度:4字節 ------- result:True Reponse Message OK. DTC Service Callback [127.0.0.1:53276-WMI2114256838] Message:DoCommit [2018-01-31 17:13:45.898]取消訂閱-- From: 127.0.0.1:53278 DTC Service Callback [127.0.0.1:53276-WMI2114256838] Message:Completed DTC Current Use time:0.1009371(s) [2018-01-31 17:13:45.909]請求處理完畢(101.9327ms)--To: 127.0.0.1:53276,Identity:WMI2114256838 >>[PMID:1]消息長度:4字節 ------- result:True Reponse Message OK. [2018-01-31 17:13:45.912]取消訂閱-- From: 127.0.0.1:53276?
訂單服務:
[2018-01-31 17:13:45.798]訂閱消息-- From: 127.0.0.1:53275 [2018-01-31 17:13:45.801]正在處理服務請求--From: 127.0.0.1:53275,Identity:WMI2114256838 >>[PMID:1]Service://OrderService/CreateOrder/System.Int32=2000&System.Int32=100&System.Collections.Generic.List`1[[DistTransDto.BuyProductDto, DistTransDto, Version%Eqv;1.0.0.0, Culture%Eqv;neutral, PublicKeyToken%Eqv;null]]=[{"ProductId":1,"BuyNumber":3},{"ProductI MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Resource at 17:13:45.809 receive DTC Controller state:CanCommit [2018-01-31 17:13:45.879]請求處理完畢(77.9367ms)--To: 127.0.0.1:53275,Identity:WMI2114256838 >>[PMID:1]消息長度:4字節 ------- result:True MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Resource at 17:13:45.879 receive DTC Controller state:PreCommit MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) 1PC,Child moniter task has started at time:17:13:45.879 Reponse Message OK. [2018-01-31 17:13:45.888]取消訂閱-- From: 127.0.0.1:53275 MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) 2PC,Child moniter task has started at time:17:13:45.888 MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) 1PC,Child moniter task find DistTrans3PCState has changed,Now is ACK_Yes_2PC,task break! MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Resource at 17:13:45.898 receive DTC Controller state:DoCommit MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Try Commit.. MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Try Commit..OK MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Resource at 17:13:45.903 receive DTC Controller state:Completed MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) 3PC Request Completed,use time:0.1019383 seconds. MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) 2PC,Child moniter task find DistTrans3PCState has changed,Now is Completed,task break! MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Controller Process Reuslt:True,Receive time:17:13:45.913?
商品服務:
[2018-01-31 17:13:45.848]正在處理服務請求--From: 127.0.0.1:53277,Identity:WMI2114256838 >>[PMID:1]Service://ProductService/UpdateProductOnhand/System.String=1b975548-afac-4e7a-be6d-5821bce38ce7&System.Collections.Generic.List`1[[DistTransDto.BuyProductDto, DistTransDto, Version%Eqv;1.0.0.0, Culture%Eqv;neutral, PublicKeyToken%Eqv;null]]=[{"ProductId":1 MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Resource at 17:13:45.855 receive DTC Controller state:CanCommit ----------1,-Session ID:1b975548-afac-4e7a-be6d-5821bce38ce7---------- MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) 1PC,Child moniter task has started at time:17:13:45.856 [2018-01-31 17:13:45.856]請求處理完畢(8.011ms)--To: 127.0.0.1:53277,Identity:WMI2114256838 >>[PMID:1]消息長度:97字節 ------- result:[{"StoreHouse":"廣州","ProductId":1,"BuyNumber":3},{"StoreHouse":"廣州","ProductId":2,"BuyNumber":1}] Reponse Message OK. [2018-01-31 17:13:45.857]取消訂閱-- From: 127.0.0.1:53277 [2018-01-31 17:13:45.858]訂閱消息-- From: 127.0.0.1:53277 [2018-01-31 17:13:45.867]正在處理服務請求--From: 127.0.0.1:53277,Identity:WMI2114256838 >>[RMID:0]Service://ProductService/GetProductInfo/System.Int32=1 ---------2,--Session ID:1b975548-afac-4e7a-be6d-5821bce38ce7---------- [2018-01-31 17:13:45.868]請求處理完畢(1.0005ms)--To: 127.0.0.1:53277,Identity:WMI2114256838 >>[RMID:0]消息長度:53字節 ------- result:{"ID":1,"Onhand":88,"Price":10.0,"ProductName":"商品0"} [2018-01-31 17:13:45.869]正在處理服務請求--From: 127.0.0.1:53277,Identity:WMI2114256838 >>[RMID:0]Service://ProductService/GetProductInfo/System.Int32=2 ---------2,--Session ID:1b975548-afac-4e7a-be6d-5821bce38ce7---------- [2018-01-31 17:13:45.869]請求處理完畢(0.5005ms)--To: 127.0.0.1:53277,Identity:WMI2114256838 >>[RMID:0]消息長度:53字節 ------- result:{"ID":2,"Onhand":96,"Price":11.0,"ProductName":"商品1"} [2018-01-31 17:13:45.870]取消訂閱-- From: 127.0.0.1:53277 MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Resource at 17:13:45.888 receive DTC Controller state:PreCommit MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) 2PC,Child moniter task has started at time:17:13:45.889 MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Resource at 17:13:45.890 receive DTC Controller state:DoCommit MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Try Commit.. MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Try Commit..OK MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Resource at 17:13:45.895 receive DTC Controller state:Completed MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) 3PC Request Completed,use time:0.0470229 seconds. MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) 1PC,Child moniter task find DistTrans3PCState has changed,Now is Completed,task break! MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) Controller Process Reuslt:True,Receive time:17:13:45.900 MSF DTC(1b975548-afac-4e7a-be6d-5821bce38ce7) 2PC,Child moniter task find DistTrans3PCState has changed,Now is Completed,task break!?
性能總結:
?訂單創建成功的情況下,分布式協調器服務總共耗時 0.042516(s),訂單服務耗時0.1019383秒,商品服務耗時0.0470229秒。
總體上,執行一個創建訂單的分布式事務,耗時在50毫秒以內。
6.2.2,訂單創建失敗:
分布式協調服務:
[2018-01-31 17:04:11.669]訂閱消息-- From: 127.0.0.1:53201 [2018-01-31 17:04:11.670]正在處理服務請求--From: 127.0.0.1:53201,Identity:WMI2114256838 >>[PMID:1]Service://DTCService/AttendTransaction/System.String=76d175cc-5d40-4d05-adfb-94158b5c2215 DTC Service Callback [127.0.0.1:53201-WMI2114256838] Message:CanCommit [2018-01-31 17:04:11.679]訂閱消息-- From: 127.0.0.1:53203 [2018-01-31 17:04:11.680]正在處理服務請求--From: 127.0.0.1:53203,Identity:WMI2114256838 >>[PMID:1]Service://DTCService/AttendTransaction/System.String=76d175cc-5d40-4d05-adfb-94158b5c2215 DTC Service Callback [127.0.0.1:53203-WMI2114256838] Message:CanCommit DTC Service Callback [127.0.0.1:53201-WMI2114256838] Message:Abort DTC Service Callback [127.0.0.1:53201-WMI2114256838] Message:Completed DTC Service Callback [127.0.0.1:53203-WMI2114256838] Message:Abort DTC Current Use time:0.0434914(s) [2018-01-31 17:04:11.715]請求處理完畢(45.0015ms)--To: 127.0.0.1:53201,Identity:WMI2114256838 >>[PMID:1]消息長度:4字節 ------- result:True Reponse Message OK. DTC Service Callback [127.0.0.1:53203-WMI2114256838] Message:Completed [2018-01-31 17:04:11.717]取消訂閱-- From: 127.0.0.1:53201 DTC Current Use time:0.0400005(s) [2018-01-31 17:04:11.724]請求處理完畢(44.4941ms)--To: 127.0.0.1:53203,Identity:WMI2114256838 >>[PMID:1]消息長度:4字節 ------- result:True Reponse Message OK. [2018-01-31 17:04:11.731]取消訂閱-- From: 127.0.0.1:53203?
訂單服務:
[2018-01-31 17:04:11.662]訂閱消息-- From: 127.0.0.1:53200 [2018-01-31 17:04:11.665]正在處理服務請求--From: 127.0.0.1:53200,Identity:WMI2114256838 >>[PMID:1]Service://OrderService/CreateOrder/System.Int32=2000&System.Int32=100&System.Collections.Generic.List`1[[DistTransDto.BuyProductDto, DistTransDto, Version%Eqv;1.0.0.0, Culture%Eqv;neutral, PublicKeyToken%Eqv;null]]=[{"ProductId":1,"BuyNumber":3},{"ProductI MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Resource at 17:04:11.672 receive DTC Controller state:CanCommit PDF.NET AdoHelper Query Error: DataBase ErrorMessage:;違反了 PRIMARY KEY 約束 'PK__Orders__2CE8FBFB7F60ED59'。不能在對象 'dbo.Orders' 中插入重復鍵。 語句已終止。 SQL:INSERT INTO [Orders]([OerderID],[OrderName],[AmountPrice],[OwnerID],[OrderTime]) VALUES (@P0,@P1,@P2,@P3,@P4) CommandType:Text Parameters: Parameter["@P0"] = "2000" //DbType=Int32 Parameter["@P1"] = "Prudoct:,商品0,商品1" //DbType=String Parameter["@P2"] = "41" //DbType=Single Parameter["@P3"] = "100" //DbType=Int32 Parameter["@P4"] = "2018-1-31 17:04:11" //DbType=DateTimeMSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) 1PC,Child moniter task has started at time:17:04:11.710 MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Task Error:發生一個或多個錯誤。 MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Try Rollback.. MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Resource at 17:04:11.711 receive DTC Controller state:Abort MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Try Rollback..OK MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Try Rollback.. [2018-01-31 17:04:11.712]請求處理完畢(46.5004ms)--To: 127.0.0.1:53200,Identity:WMI2114256838 >>[PMID:1]消息長度:5字節 ------- result:False Reponse Message OK. MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Try Rollback..OK MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Resource at 17:04:11.714 receive DTC Controller state:Completed MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) 3PC Request Completed,use time:0.0469998 seconds. [2018-01-31 17:04:11.716]取消訂閱-- From: 127.0.0.1:53200 MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Controller Process Reuslt:True,Receive time:17:04:11.719 MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) 1PC,Child moniter task find DistTrans3PCState has changed,Now is Completed,task break!?
商品服務:
[2018-01-31 17:04:11.674]訂閱消息-- From: 127.0.0.1:53202 [2018-01-31 17:04:11.675]正在處理服務請求--From: 127.0.0.1:53202,Identity:WMI2114256838 >>[PMID:1]Service://ProductService/UpdateProductOnhand/System.String=76d175cc-5d40-4d05-adfb-94158b5c2215&System.Collections.Generic.List`1[[DistTransDto.BuyProductDto, DistTransDto, Version%Eqv;1.0.0.0, Culture%Eqv;neutral, PublicKeyToken%Eqv;null]]=[{"ProductId":1 MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Resource at 17:04:11.681 receive DTC Controller state:CanCommit ----------1,-Session ID:76d175cc-5d40-4d05-adfb-94158b5c2215---------- MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) 1PC,Child moniter task has started at time:17:04:11.682 [2018-01-31 17:04:11.682]請求處理完畢(7.5003ms)--To: 127.0.0.1:53202,Identity:WMI2114256838 >>[PMID:1]消息長度:97字節 ------- result:[{"StoreHouse":"廣州","ProductId":1,"BuyNumber":3},{"StoreHouse":"廣州","ProductId":2,"BuyNumber":1}] Reponse Message OK. [2018-01-31 17:04:11.685]取消訂閱-- From: 127.0.0.1:53202 [2018-01-31 17:04:11.686]訂閱消息-- From: 127.0.0.1:53202 [2018-01-31 17:04:11.687]正在處理服務請求--From: 127.0.0.1:53202,Identity:WMI2114256838 >>[RMID:0]Service://ProductService/GetProductInfo/System.Int32=1 ---------2,--Session ID:76d175cc-5d40-4d05-adfb-94158b5c2215---------- [2018-01-31 17:04:11.688]請求處理完畢(1.5019ms)--To: 127.0.0.1:53202,Identity:WMI2114256838 >>[RMID:0]消息長度:53字節 ------- result:{"ID":1,"Onhand":88,"Price":10.0,"ProductName":"商品0"} [2018-01-31 17:04:11.690]正在處理服務請求--From: 127.0.0.1:53202,Identity:WMI2114256838 >>[RMID:0]Service://ProductService/GetProductInfo/System.Int32=2 ---------2,--Session ID:76d175cc-5d40-4d05-adfb-94158b5c2215---------- [2018-01-31 17:04:11.694]請求處理完畢(4ms)--To: 127.0.0.1:53202,Identity:WMI2114256838 >>[RMID:0]消息長度:53字節 ------- result:{"ID":2,"Onhand":96,"Price":11.0,"ProductName":"商品1"} [2018-01-31 17:04:11.694]取消訂閱-- From: 127.0.0.1:53202 MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Resource at 17:04:11.714 receive DTC Controller state:Abort MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Try Rollback.. MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Try Rollback..OK MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Resource at 17:04:11.717 receive DTC Controller state:Completed MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) 3PC Request Completed,use time:0.0410005 seconds. MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) 1PC,Child moniter task find DistTrans3PCState has changed,Now is Completed,task break! MSF DTC(76d175cc-5d40-4d05-adfb-94158b5c2215) Controller Process Reuslt:True,Receive time:17:04:11.731?
性能總結:
?訂單創建成功的情況下,分布式協調器服務總共耗時 0.0434914(s),訂單服務耗時0.0469998秒,商品服務耗時0.0410005秒。
總體上,執行一個創建訂單的分布式事務,耗時在50毫秒以內。
6.2.3,總體性能總結:
?從上面的測試結果看到,不論是訂單創建成功提交事務,還是訂單創建失敗回滾事務,總體上事務執行時間都在50毫秒以內,多次測試也沒用發現某個事務節點嚴重等待耗時的情況。
7,并發下單性能測試
上面測試單個分布式事務執行在50毫秒以內,那么并發執行性能怎么樣呢?
可以將客戶端的代碼稍加改造,如下:
private static void TestCreateOrder(Proxy client){List<BuyProductDto> buyProducts = new List<BuyProductDto>();buyProducts.Add(new BuyProductDto() { ProductId=1, BuyNumber=3});buyProducts.Add(new BuyProductDto() { ProductId =2, BuyNumber = 1 });int orderId = 7000;int userId = 100;ServiceRequest request = new ServiceRequest();request.ServiceName = "OrderService";request.MethodName = "CreateOrder";request.Parameters = new object[] { orderId,userId, buyProducts };bool result=client.RequestServiceAsync<bool>(request).Result;if(result)Console.WriteLine("創建訂單成功,訂單號:{0}",orderId);elseConsole.WriteLine("創建訂單失敗,訂單號:{0}", orderId);Console.WriteLine("------開始并發下單測試,按任意鍵繼續---------");Console.ReadLine();System.Diagnostics.Stopwatch sw = new System.Diagnostics.Stopwatch();sw.Start();int taskCount = 2;List<Task> tasks = new List<Task>();for (int i = 1; i <= taskCount; i++){Proxy client1 = new Proxy();client1.ServiceBaseUri = client.ServiceBaseUri;ServiceRequest request1 = new ServiceRequest();request1.ServiceName = "OrderService";request1.MethodName = "CreateOrder";request1.Parameters = new object[] { orderId+i, userId, buyProducts };var task = client1.RequestServiceAsync<bool>(request1);tasks.Add(task);Console.WriteLine("添加第 {0}個任務.",i);}Console.WriteLine("{0} 個訂單請求任務創建完成,開始等待所有任務執行完成!",taskCount);Task.WaitAll(tasks.ToArray());Console.WriteLine("所有任務執行完成!");sw.Stop();Console.WriteLine("總耗時:{0}(s),TPS:{1}",sw.Elapsed.TotalSeconds,(double)taskCount /sw.Elapsed.TotalSeconds);}上面程序中,變量?taskCount 表示要并發下單的任務數,TPS表示每秒處理的事務數,是一個常用的性能指標單位。
先以2個并發下單任務數測試,結果如下:
------開始并發下單測試,按任意鍵繼續---------添加第 1個任務. 添加第 2個任務. 2 個訂單請求任務創建完成,開始等待所有任務執行完成! 所有任務執行完成! 總耗時:0.0503977(s),TPS:39.6843506747332TPS接近40個,還可以;
再以3個并發任務數測試,結果如下:
------開始并發下單測試,按任意鍵繼續---------添加第 1個任務. 添加第 2個任務. 添加第 3個任務. 3 個訂單請求任務創建完成,開始等待所有任務執行完成! 所有任務執行完成! 總耗時:0.3463996(s),TPS:8.660518083739133個并發后,性能下降很快,只有8個多TPS了。
直接測試10個并發,結果如下:
------開始并發下單測試,按任意鍵繼續---------添加第 1個任務. 添加第 2個任務. 添加第 3個任務. 添加第 4個任務. 添加第 5個任務. 添加第 6個任務. 添加第 7個任務. 添加第 8個任務. 添加第 9個任務. 添加第 10個任務. 10 個訂單請求任務創建完成,開始等待所有任務執行完成! 所有任務執行完成! 總耗時:8.7288772(s),TPS:1.14562271537054到10個并發后,TPS下降的很厲害,只有1個多了。
一直測試到50個并發,TPS也只有1個多,初步結論在10個以上并發TPS只能有1個多,看來在高并發下,分布式事務的性能的確不理想。
不過,本次測試的電商下單業務邏輯稍微有點復雜,其中構造訂單的過程中需要反復查詢幾次商品庫的信息,而且還有插入訂單明細的操作,在數據庫并發訪問的時候很容易引起表鎖,這也是性能下降很明顯的原因。
?如果是銀行跨行轉賬這樣比較簡單的例子,可能性能要高些,大家可以自己去做個測試。
8,消息服務框架的分布式事務總結
消息服務框架(MSF)成功的實現了基于3階段提交的分布式事務協議,并且事務執行性能在分布式環境下是可以接受的。
當前實現過程中,利用消息服務框架的長連接特性,它可以及時的發現網絡異常情況而不會出現出現“傻等”的問題(等到超時),這可以保證分布式事務執行的可靠性和效率。
為什么長連接能夠改善分布式事務的效率?
你可以這樣理解,有A,B,C三個分布式服務,它們需要完成一致性的操作,常規的做法是用復雜的分布式事務框架,但是,如果有一個M節點,它將 A,B,C連接起來并且不中斷,調用它們的服務是不是像調用本地方法一個道理?這樣,只需要在M節點開啟和提交事務,就等于完成了分布式事務了。
?iMSF的分布式事務基于本地事務實現的,充分利用了iMSF的長連接通信能力,使得分布式事務就像是本地事務一樣。
分布式事務在高并發下性能表現不理想,我們在實際項目中需要注意這個問題,但這不是iMSF的特例,而是分布式事務普遍的問題。因此,要解決高性能問題,不二之選是在系統設計的時候就考慮消息驅動模式,使用Actor并發模型,iMSF框架支持Actor模型。
?
總結
以上是生活随笔為你收集整理的使用“即时消息服务框架”(iMSF)实现分布式事务的三阶段提交协议(电商创建订单的示例)...的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: mysql-5.5.55 多实例安装总结
- 下一篇: session一致性架构设计