4 BSMA：面向社交媒體數據分析型查詢的基準評測

4.1 BSMA框架

BSMA是一個社交媒體數據分析型查詢評測基準^[8,9]，它包含了社交媒體數據的形式化描述規范和一個真實的社交媒體數據集，定義了24個測試查詢，提供了評測系統查詢性能的工具以及用于產生社交媒體時間軸（timeline）的數據生成器BSMA-Gen^[10]。BSMA的系統結構如圖3所示^[9]，BSMA所針對的數據定義如圖4所示^[9]。其自帶的真實數據集和數據生成器所產生的模擬數據都符合這一數據定義。

圖3 BSMA框架

圖4 BSMA數據定義

社交媒體數據分析具有典型的大數據應用的特征：首先，社交媒體數據并非傳統的關系數據，具有時序數據、文本和多媒體數據、圖數據和結構化數據的多重特征；其次，社交媒體數據量大、更新速度快；第三，社交媒體數據分析通常分析任務復雜、具有較高的實時性要求。BSMA的研究是BDMS評測基準研究的一項初期工作，從中可以體現研究問題和難點所在。

4.2 數據生成

為了完成模擬社交媒體時間線的生成任務，BSMA-Gen完成2個基本工作：模擬真實的社交媒體數據分布和高效產生時間線^[10]。

BSMA-Gen產生時間軸，即消息數據流，每一條消息可表示為一個元組：m= <t, c,u, f>。其中t是信息發布的時間，c是內容，u是發布者，f是一個指向源消息的指針。當該消息是原始消息時，f為null；而當該消息為轉發消息時，f指向被轉發的消息（此消息也可能是轉發的）。現在的生成器版本產生的數據只包含結構信息t、u、f，并不包含內容信息c。

BSMA-Gen將每個用戶發布信息的過程模擬成非齊次泊松過程（nonhomogeneousPoisson process），從而可根據不同配置參數產生帶有相應分布的社交媒體時間軸數據。

社交媒體時間線中的元組間轉發相關性隨著時間間隔變大而衰減。BSMA-Gen采用衰退函數模擬這一關系，并通過維護歷史元組緩沖池和待產生元組緩沖池實現了元素的流式產生。同時，為了進一步加快時間線的產生速度，BSMA-Gen采用主從（master-slave）結構，由主節點進行發布者社交網絡劃分。每個從節點負責一個分區中所有發布者所發布的消息組成的部分時間線的生成。當一個從節點需要從其他分區獲取發布者和社交網絡信息以確定一個元素的f指針時，該元素的輸出會被推遲，以等待遠程從節點的信息到來。采用這種異步傳輸、延時生成的策略，每個元素的生成都不需要等待網絡通信。實驗表明，BSMA-Gen可以確保生成的時間線在轉發結構、時序分布、用戶消息數等方面符合預先給定的分布和參數，且吞吐率（即單位時間生成的元素數）與從節點個數呈線性增長關系。

4.3 負載

BSMA提供了24個典型社交媒體數據分析型查詢負載。每個負載反映了一種或多種社交媒體數據分析的特性。BSMA負載主要覆蓋了以下3類查詢特性。

● 社交網絡查詢（socialnetwork query，SNQ）：社交網絡的查詢圍繞消息發布者的關系展開。它的目標是查詢社交網絡的某個特定模式或子圖。

● 時間線查詢（timelinequery，TQ）：在社交媒體中，時間線（timeline）是指以時間逆序排列的消息序列，序列中消息的條數即時間線的長度。時間線廣義上可分全局時間線（globaltimeline）和局部時間線（local timeline）兩種，全局時間線中的消息來自社交媒體中的任意用戶，而局部時間線則限制了用戶范圍。時間線查詢的本質是對于時間序列的查詢。

● 熱點查詢（hotspotquery，HQ）：熱點是指在某個特定的時間線內消息中滿足某些過濾條件且統計值最大的某類元素的集合。由于社交媒體中數據的統計值分布常符合冪律（power-law）分布，對熱點的查詢在進行數據連接（join）和聚集（aggregation）計算時往往需要遠超出查詢其他元素的存儲和計算開銷。

處理這些負載可能需要對兩個大的集合（關系）進行連接操作、對大集合進行多屬性查詢或對大集合進行聚集計算，而這些操作的處理通常是耗時、耗存儲資源的。因此，這些負載能夠測試數據管理系統在社交媒體數據分析這一特定應用中的性能表現。

4.4 評測指標與評測方法

BSMA使用以下3個性能評判指標。對于24個典型負載的組合，計算出這3個指標的值，以此來衡量查詢處理性能。當然，查詢執行的正確性是性能度量的基本前提。

● 吞吐率指標：吞吐率指單位時間內完成的查詢數。在這里，吞吐率指標度量的是在不同線程數設置下能達到的吞吐率最高值，這個值越高意味著性能越好。

● 延時指標：延時指一個查詢從發起請求到返回結果所需的時間。在這里，延時指標度量的是在不同線程數設置下所達到的次高吞吐率下（即系統未過載時）的查詢延時，這個值越低意味著性能越好。

● 擴展性指標：擴展性指隨著吞吐率的提高系統維持延時的能力。在這里，擴展性指標度量的是用最小二乘法擬合多個數據點的直線斜率。這些數據點對應不同線程數設置下的吞吐量（橫坐標）和延時（縱坐標），擬合直線越平滑意味著擴展性越好。

5 相關工作

數據庫評測基準研究在關系數據管理和非關系型數據管理方面均取得較大進展。針對大數據管理領域的基準評測工作則剛起步。圖5概要地展示了數據管理系統評測基準的發展過程^[11]。

圖5 數據管理系統評測基準的發展

5.1 面向關系模型的數據庫系統評測基準

早期數據庫評測基準主要針對RDBMS，相關研究持續至今。事務處理委員會（TPC）是事實上的工業化標準組織，已經提出多個基準來評測RDBMS^[12]。現有RDBMS評測基準可被劃分為3類：面向聯機事務處理（OLTP）、面向聯機分析處理（OLAP）以及同時支持OLAP和OLTP的評測基準。

● 面向OLTP的基準：面向OLTP的基準評測包括威斯康星基準^[2]、DebitCredit^[13]、AS3AP^[14]、TPC-C和TPC-E等。其中，TPC-C和TPC-E目前仍在使用。它們分別仿真倉庫訂單管理應用和證券交易應用。

● 面向OLAP的基準：此類基準的負載包含大量聚集查詢，包括SetQuery^[15]、SSB^[16]、TPC-H和TPC-DS等。其中TPC-H和TPC-DS目前仍在使用，分別模擬商務采購應用和決策支持應用。

● 同時支持OLAP和OLTP的基準：部分新興數據管理技術支持同時具有OLAP和OLTP需求的應用。CH-Benchmark基準有效融合了TPC-C和TPC-H兩個基準，同時支持OLAP和OLTP評測。CBTR則提供了OLAP/OLTP復合負載^[17]。

5.2 面向非關系型數據的基準設計

數據管理技術發展的過程是不斷地將非結構化數據結構化，納入DBMS，從而降低管理成本、提高利用效率的過程。針對各種非關系型數據，有不同的基準對相關技術和系統進行評測，見表1。

5.3 面向大數據管理技術的基準

不同的BDMS的功能和接口各不相同。當前的BDMS基準評測研究工作從以下3個方面展開。

● 評測MapReduce功能的基準：MapReduce是大數據處理中最常用的編程模式（paradigm）。此類基準主要評測MapReduce實現的性能。面向特定功能的此類基準包括：模擬TPC-H的MRBench^[33]、評測HDFS文件系統的TestDFSIO^[34]、Hadoop自帶的Sort^[34]和用于測試Pig的PigMix^[35]等。此外，一些基準可同時評測多種功能，如評測Hadoop整體性能的GridMix、混合功能基準IntelHiBench以及涵蓋了常用數據挖掘和數據倉庫操作的CloudRank-D^[36]。

● BDMS基準評測：CALDA基準可比較不同BDMS的性能^[4]。YCSB^[37]及其擴展YCSB++^[38]可從性能和可擴展性兩個層面評測云服務系統。Floratou等人對面向文檔的NoSQL系統、面向決策支持的系統以及商用的DBMS進行了性能評測^[39]。Rabl等人則比較了6種開源數據存儲系統在不同負載下的性能^[40]。

● 面向應用的大數據基準評測：BigBench是一種面向商品零售業的基準，擴展了TPC-DS^[41]。LinkBench是一個由Facebook提出，基于真實社交網絡應用的大規模圖數據評測基準^[42]。而LDBC則是由歐盟資助的鏈接數據管理基準評測組織，并已發布多個評測基準^[43]。

5.4 國內的相關工作

針對新型計算機系統的基準評測、新型DBMS的性能測試、新型數據庫基準評測等問題，國內學者也開展了廣泛而深入的研究。

在新型計算機系統的基準評測方面，中國科學院計算技術研究所提出了ICTBench，包含面向數據倉庫負載的DCBench^[44,45]、面向BDMS的BigDataBench^[46,47]和面向云計算系統的CloudRank^[36]3個部分。中國人民大學孟小峰等人提出了CloudBM基準來評測云數據管理系統^[48]。清華大學鄭緯民等人利用代表性的基準測試對NAS存儲系統進行了研究、比較和分析^[49]。

大數據應用中廣泛使用了包括內存數據庫、NoSQL/NewSQL系統在內的大量新型DBMS。中國人民大學王珊等人利用TPC-H評測了多款內存數據庫的性能^[50]；杜小勇等人使用TPC-DS基準，在100個節點的集群上，對5種主流的開源BDMS進行了全面深入的測試與分析，并在2013年的中國大數據技術大會上報告。華東師范大學金澈清等人提出了MemTest，以評測內存DBMS的主要性能特性^[51]。清華大學王建民團隊在NoSQL數據庫基礎上，實現了MOLAP引擎，并使用TPC-DC基準進行了測試^[52]。此外，他們在OLAP系統的性能測試^[53]、DBMS性能測試^[54]等方面做了重要的基礎性工作。上海交通大學使用BigDataBench來評測數據中心上的資源共享策略^[55]；西安交通大學則使用這一基準來診斷大數據系統中的性能瓶頸^[56]。

在BDMS的評測基準開發方面，BigDataBench包含了6個應用場景的數據集合和19類負載^[46,47]。華東師范大學提出了一種面向社交媒體數據分析型查詢處理的評測基準BSMA^[8,9]；提出了一種并行社交媒體數據生成方法，以仿真微博等社交媒體數據^[10]。周敏奇等人則設計了一種更為通用的可擴展的高仿真數據生成器框架^[57]。而清華大學則針對工作流數據管理系統的負載生成開展了研究^[58]。

6 結束語

在“大數據”熱潮下，大數據管理系統的研發和應用進展迅速，而相應的評測基準理論和方法研究則剛剛起步。針對大數據應用，特別是我國金融、電信、電子商務等具有鮮明應用特點的大數據應用的特點，遵循“同類適用”原則，從數據生成、負載生成、性能指標體系和測量方法這3個角度入手，解決應用環境適配和仿真、科學和公平評測、評測結果比較與分析等問題，是大數據管理系統評測基準研究的重要問題。現有的工作從應用和系統建模、數據仿真、數據和負載的高效生成、多維度性能指標設計等角度開展了研究。但對于設計和實現具有良好仿真能力、高適配能力的評測基準而言，非結構化數據仿真、超高負載環境模擬與評測方法、兼顧分析效果和性能的度量指標、開放環境下的性能評測和評測結果分析等問題仍是具有挑戰性的研究問題。

參考文獻

[1] GrayJ. Benchmark handbook for database and transaction system (2nd edition). SanFrancisco: Morgan Kaufmann, 1993

[2] BittonD, DeWitt D J, Turbyfil C. Benchmarking database systems: a systematicapproach. Proceedings of the 9th VLDB Conference, Florence, Italy, 1983

[3] LaneyD. 3D Data Management: Controlling Data Volume, Velocity and Variety. TechnicalReport, Meta Group, 2001

[4] PavloA, Paulson E, Rasin A, et al. A comparison of approaches to large-scale dataanalysis. Proceedings of ACM SIGMOD/PODS Conference, Providence, Rhode Island,USA, 2009

[5] CareyM J. BDMS performance evaluation: practices, pitfalls, and possibilities.Proceedings of the 4th TPC Technology Conference, Istanbul, Turkey, 2012

[6] VolkerMarkl. Big Data. VLDB Database Summer School (China) Slides, 2013

[7] StonebrakerM. Technical perspective one size fits all: an idea whose time has come andgone. Communications of the ACM, 2008, 51(12)

[8] MaH X, Wei J X, Qian W N, et al. On benchmarking online social media analyticalqueries. Proceedings of Graph Data-management Experiences & Systems, NewYork, USA, 2013

[9] XiaF, Li Y, Yu C C, et al. BSMA: A benchmark for analyticalqueries over social media data. Proceedings of the VLDB Endowment, 2014, 7(13):1573~1576

[10] YuC C, Fan X, Qian W N, et al. BSMA-Gen: a parallel synthetic data generator forsocial media timeline structures. Proceedings of the 19th InternationalConference on Database Systems for Advanced Applications, Bali, Indonesia, 2014

[11] 金澈清, 錢衛寧, 周敏奇等. 數據管理系統評測基準: 從傳統數據庫到新興大數據. 計算機學報. 2015, 38(1): 18~34

JinC Q, Qian W N, Zhou M Q, et al. Benchmarking data management systems: fromtraditional database to emergent big data. Chinese Journal of Computers, 2015,38(1): 18~34

[12] Nambiar R, Wakou N, Masland A, et al. Shaping the landscape of industrystandard benchmarks: contributions of the transaction processing performancecouncil (TPC). Proceedings of the 3rd TPC Technology Conference, Seattle, Wa,USA, 2011

[13] BittonD, Brown M, Catell R, et al. A measure of transaction processing power.Datamation, 1985, 31(7): 112~118

[14] TurbyfillC, Orji C, Bitton D. AS3AP-An ANSI SQL Standard Scalable and Portable Benchmarkfor Relational Database Systems. Chapter 5, Benchmark handbook for database andtransaction system (2nd edition). San Francisco: Morgan Kaufmann, 1993

[15] O’Neil. RevisitingDBMS benchmarks. Datamation, 1989, 35（9）: 47~52

[16] O’Neil P, O’Neil B, Chen X D. The Star Schema Benchmark (SSB). University ofMassachusetls, Boston, 2007

[17] BogA. Benchmarking Transaction and Analytical Processing Systems: The Creation ofa Mixed Workload Benchmark and Its Application. Berlin: Springer, 2013

[18] CattellR G G, Skeen J. Object operations benchmark. ACM Transactions on DatabaseSystems, 1992, 17(1): 1~31

[19] CareyM J, DeWitt D J, Naughton J F. The OO7 benchmark. Proceedings of ACM SIGMODInternational Conference on Management of Data, Washington, DC, USA, 1993

[20] AndersonT L, Berre A J, Mallison M, et al. The HyperModel benchmark. Proceedings of the 2ndInternational Conference on Extending Database Technology: Advances in DatabaseTechnology, Venice, Italy, 1990

[21] Carey M J, DeWitt D J, Naughton J F, et al. The BUCKY object-relationalbenchmark. Proceedings of ACM SIGMOD International Conference on Management ofData, Tucson, Arizona, USA, 1997

[22] RunapongsaK, Patel J M, Jagadish H V, et al. The Michigan benchmark: towards XML queryperformance diagnostics. Information Systems, 2006, 31(2): 73~97

[23] YaoB, Ozsu M T, Khandelwal N. XBench benchmark and performance testing of XMLDBMSs. Proceedings of the 30th IEEE International Conference on DataEngineering, Chicago, IL, USA, 2004

[24] Bōhme T, Rahm E.Multi-user evaluation of XML data management systems with XMach-1. Proceedingsof the Workshop on Efficiency and Effectiveness of XML Tools and Techniques(EEXTT), Heidelberg, Germany, 2002

[25] SchmidtA, Waas F, Kersten M, et al. XMark: a benchmark for XML data management.Proceedings of the 28th International Conference on Very Large Data Bases, HongKong, China, 2002

[26] LiY, Bressan S, Dobbie G, et al. XOO7: applying OO7 benchmark to XML queryprocessing tools. Proceedings of Conference on Information and KnowledgeManagement, Washington, DC, USA, 2001

[27] NicolaM, Kogan I, Schiefer B. An XML transaction processing benchmark. Proceedings ofthe 26th ACM SIGMOD-SIGACT-SIGART Symposium on Principles of Database Systems,Beijing, China, 2007

[28] WersteinP. A performance benchmark for spatiotemporal databases. Proceedings of the10th Annual Colloquium of the Spatial Information Research Centre, Dunedin, NewZealand, 1998

29 MyllymakiJ, Kaufman J. DynaMark: a benchmark for dynamic spatial indexing. Proceedingsof the 4th International Conference on Mobile Data Management, Melbourne,Australia, 2003

]30] JensenC, Tiesyte D, Tradisauskas N. The COST benchmark-comparison and evaluation ofspatio-temporal indexes. Proceedings of the 11th International Conference onDatabase Systems for Advanced Applications, Singapore, 2006

[31] Düntgen C, Behr T, Güting R H. BerlinMOD: a benchmark for moving object databases. TheVLDB Journal, 2009, 18(6): 1335~1368

[32] ArasuA, Cherniack M, Galvez E, et al. Linear road: a stream data management benchmark.Proceedings of the 30th International Conference on Very Large Data Bases,Toronto, Canada, 2004

[33] KimK, Jeon K, Han H, et al. MRBench: a benchmark for MapReduceframework. Proceedings of the 14th IEEE International Conference on Paralleland Distributed Systems, Melbourne, Victoria, Australia, 2008

[34] WhiteT. Hadoop權威指南（第二版）. 周敏奇, 王曉玲，金澈清等譯. 北京: 清華大學出版社, 2011

WhiteT. Hadoop: The Definitive Guide. Translated by Zhou M Q, Wang X L, Jin C Q, et al. Beijing: Tsinghua University Press,2011

[35] Daniel.Pig mix. https://cwiki.apache.org/confluence/display/PIG/PigMix, 2013

[36] LuoC, Zhan J, Jia Z, et al. CloudRank-D: benchmarking andranking cloud computing systems for data processing applications. Frontiers ofComputer Science, 2012, 6(4): 347~362

[37] CooperB, Silberstein A, Tam E, et al. Benchmarking cloud serving systems with YCSB.Proceedings of ACM Symposium on Cloud Computing, Indianapolis, IN, USA, 2010

[38] PatilS, Polte M, Ren K, et al. YCSB++: benchmarking andperformance debugging advanced features in scalable table stores. Proceedingsof ACM Symposium on Cloud Computing, Cascais, Portugal, 2011

[39] Floratou A, Teletia N, DeWitt D J, et al. Can the elephants handle the NoSQLonslaught. Proceedings of the VLDB Endowment, 2012, 5(12): 1712~1723

[40] RablT, Gómez-Villamor S, Sadoghi M, et al. Solving big data challenges forenterprise application performance management. Proceedings of the VLDBEndowment, 2012, 5(12): 1724~1735

[41] GhazalA, Rabl T, Hu M, et al. BigBench: towards an industrystandard benchmark for big data analytics. Proceedings of ACM SIGMOD/PODSConference, New York, USA, 2013

[42] ArmstrongT G , Ponnekanti V, Borthakur D, et al. LinkBench: a database benchmark based on theFacebook social graph. Proceedings of the ACM SIGMOD/PODS Conference, New York,USA, 2013

[43] Boncz P A, Fundulaki I, Gubichev A, et al.The linked data benchmark councilproject. Datenbank-Spektrum, 2013, 13(2):121~129

[44] JiaZ, Wang L, Zhan J, et al. Characterizing data analysisworkloads indata centers. Proceedings of IEEE International Symposium on WorkloadCharacterization, Portland, OR, USA, 2013

[45] Xi H F, Zhan J F, Zhen J, et al. Characterization of Real Workloads of Web Search Engines. Proceedings ofIEEE International Symposium on Workload Characterization, Austin, TX , USA,2011

[46] WangL, Zhan J F, Luo C J, et al. BigDataBench: a big data benchmark suite frominternet services. Proceedings of the 24th IEEE International Symposium on HighPerfornance Computer Architecture, Orlando, Florida, USA, 2014

[47] ZhuY, Zhan J. BigOP: generating comprehensive big data workloads as a benchmarkingframework. Proceedings of the 19th International Conference on Database Systemsfor Advanced Applications, Bali, Indonesia, 2014

[48] 劉兵兵，孟小峰，史英杰. CloudBM:云數據管理系統測試基準. 計算機科學與探索, 2012, 6(6): 504~512

LiuB B, Meng X F, Shi Y J. CloudBM: a benchmark for cloud data management systems.Journal of Frontiers of Computer Science and Technology, 2012, 6(6): 504~512

[49] 付長冬, 舒繼武, 沈美明等. 網絡存儲系統性能基準的研究、評價與發展. 小型微型計算機系統, 2004, 25(12): 2049~2054

Fu C D, Shu J W, Shen M M, et al. Evaluation, research anddevelopment of performance benchmark on network storage system. Journal ofChinese Computer Systems, 2004, 25(12): 2049~2054

[50] 劉大為，欒華，王珊等. 內存數據庫在TPC-H負載下的處理器性能. 軟件學報, 2008, 19(10): 2574~2584

LiuD W, Luan H, Wang S, et al. Main memory database TPC-H workloadcharacterization on modern processor. Journal of Software, 2008, 19(10):2574~2584

[51] KangQ Q, Jin C Q, Zhang Z, et al. MemTest: a novel benchmark for in-memory database.Proceedings of the 5th Workshop on Big Data Benchmarks, PerformanceOptimization, and Emerging Hardware, Hangzhou, China, 2014

[52] ZhaoH W, Ye X J. A practice of TPC-DS multidimensional implementation on NoSQLdatabase systems. Proceedings of the 5th TPC Technology Conference, Trento,Italy, 2013

[53] 趙博，葉曉俊. OLAP性能測試方法研究與實現. 計算機研究與發展, 2011, 48(10): 1951~1959

ZhaoB, Ye X J. Study and implementation of OLAP performance benchmark. Journal ofComputer Research and Development, 2011, 48(10): 1951~1959

[54] 葉曉俊，王建民. DBMS性能評價指標體系. 計算機研究與發展, 2009, 46(增刊): 313~318

YeX J, Wang J M. DBMS performance evaluation indicators. Journal of ComputerResearch and Development, 2009, 46(suppl.): 313~318

[55] NingF F, Weng C L, Luo Y. Virtualization I/O optimization based on shared memory.Proceedings of the IEEE International Conference on Big Data, Santa Clara, USA,2013

[56] ChenP, Qi Y, Li X, et al. An ensemble MIC-based approach forperformance diagnosis in big data platform. Proceedings of the IEEEInternational Conference on Big Data, Santa Clara, USA, 2013

[57] GuL, Zhou M Q, Zhang Z J, et al. Chronos: an elastic parallel framework for streambenchmark generation and simulation. Proceedings of the 31st IEEE InternationalConference on Data Engineering, Seoul, Korea, 2015

[58] Du N Q, Ye X J, Wang J M. Towardsworkflow-driven database system workload modeling. Proceedings of the 2ndInternational Workshop on Testing Database Systems, Providence, Rhode Island,USA, 2009

---

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的《大数据》第1期“研究”——大数据管理系统评测基准的挑战与研究进展（下）...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。