大數(shù)據(jù)管理系統(tǒng)評測基準的挑戰(zhàn)與研究進展

錢衛(wèi)寧，夏 帆，周敏奇，金澈清，周傲英

華東師范大學(xué)數(shù)據(jù)科學(xué)與工程研究院 上海 200062

摘要：數(shù)據(jù)庫評測基準在數(shù)據(jù)庫發(fā)展歷史中的作用不可替代，而大數(shù)據(jù)環(huán)境中傳統(tǒng)評測基準不敷應(yīng)用。因此，從評測基準3要素，即數(shù)據(jù)、負載、度量體系入手，研究具有高仿真性、可適配性、可測量性的大數(shù)據(jù)管理系統(tǒng)評測基準，對大數(shù)據(jù)管理系統(tǒng)的研發(fā)和應(yīng)用系統(tǒng)選型至關(guān)重要。基于此，在簡要分析評測基準的基本要素和大數(shù)據(jù)管理系統(tǒng)發(fā)展過程的基礎(chǔ)上，重點分析大數(shù)據(jù)管理系統(tǒng)的基準評測需求與挑戰(zhàn)，然后通過社交媒體分析型查詢評測基準BSMA，探討了面向應(yīng)用的大數(shù)據(jù)管理系統(tǒng)基準評測的設(shè)計和實現(xiàn)問題。

關(guān)鍵詞：大數(shù)據(jù)管理系統(tǒng)；評測基準；數(shù)據(jù)生成；負載生成；性能度量體系

Challenges and Progress of Big Data

Management System Benchmarks

Qian Weining, Xia Fan, Zhou Minqi, Jin Cheqing, Zhou Aoying

Institute for Data Science and Engineering, East China Normal University, Shanghai 200062, China

Abstract: Database benchmarking has stimulated the development of data management systems and technologies. In big data environments, benchmarking should be revisited. Therefore, research on benchmarks for big data management systems is a key problem for big data research and applications. Benchmark design can be achieved from three different perspectives, i.e. data, workload, and performance measurements. After the brief introduction to these three elements and the progress of big data management system research, the requirements and challenges to benchmarking big data management systems were analyzed. Through the introduction to a benchmark for analytical queries over social media data, named as BSMA, the issues of design and implementation of a benchmark for big data management systems were discussed.

Key words: big data management system, benchmark, data generation, workload generation, performance measurement

1 引言

數(shù)據(jù)庫管理系統(tǒng)（DBMS）廠商間的激烈競爭造就了一個數(shù)千億美元的市場。數(shù)據(jù)庫基準評測（databasebenchmarking）確保了競爭的公平有序，從而引導(dǎo)了行業(yè)的健康發(fā)展。數(shù)據(jù)庫評測基準是指一套用于評測、比較不同DBMS性能的規(guī)范，其所生成的性能指標值能夠客觀、全面地比較各個DBMS的性能差距^[1]。

通常，新的數(shù)據(jù)庫理論或數(shù)據(jù)管理技術(shù)被提出之后，會迅速誕生一批原型或商用系統(tǒng)。但技術(shù)上的差異常導(dǎo)致它們的性能表現(xiàn)不盡相同，從而引發(fā)系統(tǒng)開發(fā)商之間的爭議。技術(shù)層面的爭論和競爭促進了行業(yè)的發(fā)展；而諸多非技術(shù)因素的介入，則會破壞良性競爭。1983年發(fā)布的“威斯康星基準”^[2]，消彌了自關(guān)系型數(shù)據(jù)庫管理系統(tǒng)（RDBMS）出現(xiàn)后紛爭的性能口水戰(zhàn)，促進了各DBMS廠商優(yōu)化系統(tǒng)，并最終在常用負載（workload）下取得相近的性能。威斯康星基準的巨大成功以及以威斯康星大學(xué)DeWittD J教授和圖靈獎獲得者Gray J為代表的一批學(xué)者對數(shù)據(jù)庫基準評測的適時推動，有效地保障了20世紀80年代開始的30多年的數(shù)據(jù)庫行業(yè)的健康發(fā)展。

隨著“大數(shù)據(jù)”成為應(yīng)用熱點，越來越多的應(yīng)用環(huán)境中，數(shù)據(jù)、應(yīng)用和系統(tǒng)體現(xiàn)出“3V”的特性^[3]，即量大（volume）、多樣（variety）、快速變化（velocity）：數(shù)據(jù)同時具備“3V”的特性，即數(shù)據(jù)規(guī)模大、變化速度和增長速度快，且包含多源、異構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)；應(yīng)用中包含大量作用于大數(shù)據(jù)的多樣化的負載，且很多負載要求在快速變化的數(shù)據(jù)上獲得實時的結(jié)果；系統(tǒng)則需要同時適應(yīng)數(shù)據(jù)與應(yīng)用，在不同的接口層次上提供對大數(shù)據(jù)的多樣化的管理和處理功能。

針對新興的大數(shù)據(jù)應(yīng)用環(huán)境，在以Hadoop為代表的海量數(shù)據(jù)處理技術(shù)日趨成熟的同時，一批新型大數(shù)據(jù)管理系統(tǒng)（bigdata management system，BDMS）積極涌現(xiàn)，以解決大數(shù)據(jù)管理與處理中的各種問題。

新型的數(shù)據(jù)、應(yīng)用環(huán)境和系統(tǒng)決定了現(xiàn)有評測基準無法產(chǎn)生具有仿真能力的數(shù)據(jù)，不能反映應(yīng)用需求，無法公平、有效地評測系統(tǒng)。在包括數(shù)據(jù)生成、負載生成、度量選取、評測基準架構(gòu)與評測方法等在內(nèi)的基準評測的多個方面，都需要研究、開發(fā)新的技術(shù)，以更真實地反映系統(tǒng)在典型應(yīng)用環(huán)境中的表現(xiàn)。評測基準是對大數(shù)據(jù)應(yīng)用環(huán)境中數(shù)據(jù)管理任務(wù)的規(guī)范化與定義，對大數(shù)據(jù)系統(tǒng)的研發(fā)具有指導(dǎo)意義。

基準制定是一個漫長的過程。RDBMS的基準評測經(jīng)過30多年的發(fā)展，仍在不斷完善。而影響力較大的早期大數(shù)據(jù)評測基準CALDA提出至今不過4年^[4]。目前的相關(guān)評測基準在應(yīng)用抽象、評測內(nèi)容與方法、應(yīng)用程度上都仍在初級階段。可以預(yù)見，未來的5~10年評測基準將和BDMS的研發(fā)共同高速發(fā)展^[5]。

另一方面，由于我國用戶分布、商業(yè)模式、政策法規(guī)的特點，應(yīng)用環(huán)境具有一定的特殊性。這種特殊性體現(xiàn)在數(shù)據(jù)、負載特性上。國外數(shù)據(jù)庫廠商因?qū)ξ覈鴩榈牟涣私馍踔潦怯幸獾钟|，很難在短時間內(nèi)研發(fā)出適合我國需求的系統(tǒng)和應(yīng)用。面向具有特色的應(yīng)用，制定評測基準，有助于引領(lǐng)大數(shù)據(jù)技術(shù)和系統(tǒng)的研發(fā)，為解決我國所面臨的最急迫的大數(shù)據(jù)管理問題做出貢獻，同時促進國內(nèi)大數(shù)據(jù)系統(tǒng)的研發(fā)，提振國內(nèi)大數(shù)據(jù)行業(yè)的發(fā)展。

本文將在簡要分析評測基準的基本要素和大數(shù)據(jù)管理系統(tǒng)發(fā)展過程的基礎(chǔ)上，重點分析大數(shù)據(jù)管理系統(tǒng)的基準評測需求與挑戰(zhàn)，然后通過社交媒體分析型查詢評測基準（benchmarkof social media analysis，BSMA），探討面向應(yīng)用的大數(shù)據(jù)管理系統(tǒng)基準評測的設(shè)計、實現(xiàn)問題。

2 評測基準的基本要素

從宏觀角度看，評測基準的3要素是數(shù)據(jù)、負載和度量體系，下面分別進行介紹。

● 數(shù)據(jù)：不同應(yīng)用的數(shù)據(jù)具有不同的靜態(tài)和動態(tài)特征，體現(xiàn)在結(jié)構(gòu)、規(guī)模、數(shù)據(jù)分布、變化速率等多個方面。傳統(tǒng)基準通常只采用固定數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分布下的數(shù)據(jù)生成方法產(chǎn)生高仿真數(shù)據(jù)。而如何準確刻畫大數(shù)據(jù)靜態(tài)和動態(tài)特征，如何在特征已知或未知的情況下，高效地生成測試所需的海量數(shù)據(jù)是大數(shù)據(jù)管理系統(tǒng)基準評測所需要解決的問題。

● 負載：負載是作用于數(shù)據(jù)的訪問和查詢、更新、分析任務(wù)。大數(shù)據(jù)管理系統(tǒng)評測基準必須能夠產(chǎn)生反映應(yīng)用需求的多樣化的負載（variety）。和數(shù)據(jù)一樣，評測基準的負載必須在靜態(tài)和動態(tài)特征上與應(yīng)用具有相似性，即對于評價指標而言，模擬負載能夠反映應(yīng)用的需求。具有良好適配性的負載生成理論和方法是大數(shù)據(jù)管理系統(tǒng)基準評測的第二個要素。

● 度量體系：度量體系指對于性能進行評價的指標集合。指標可以是單一的，也可以是多維的。BDMS應(yīng)用環(huán)境不同于傳統(tǒng)DBMS。例如，新型硬件要求在評測時考慮非傳統(tǒng)的性能度量，如忙時數(shù)據(jù)更新量（面向集群化的大內(nèi)存系統(tǒng)）、熱點數(shù)據(jù)更新頻率等；開放的運行環(huán)境要求評測能夠反映系統(tǒng)受干擾時的性能；分析型負載則將性能度量和結(jié)果的精確程度綁在一起。此外，性價比、能耗等因素進一步增加了BDMS度量體系制定的難度。

3 大數(shù)據(jù)管理系統(tǒng)及其評測基準需求

3.1 大數(shù)據(jù)管理系統(tǒng)的分類

大數(shù)據(jù)管理系統(tǒng)通常指那些基于集群環(huán)境，利用大容量內(nèi)存、高速網(wǎng)絡(luò)，支撐海量數(shù)據(jù)存儲、索引、更新、查詢、檢索、分析和挖掘的數(shù)據(jù)管理系統(tǒng)。谷歌公司的GFS、MapReduce實現(xiàn)以及BigTable系統(tǒng)可以認為是最早出現(xiàn)的有代表性的大數(shù)據(jù)管理系統(tǒng)。而隨著開源系統(tǒng)Hadoop的出現(xiàn)和相關(guān)開源生態(tài)圈的發(fā)展以及BerkeleyData Analytics Stack系列工具的快速發(fā)展，一大批系統(tǒng)和工具都可被歸于BDMS的范疇，如圖1所示^[6]。這些系統(tǒng)的功能、接口層次、架構(gòu)、實現(xiàn)技術(shù)、面向應(yīng)用和所依賴的底層硬件各不相同，如何客觀、公正地比較它們在不同應(yīng)用場景下的性能，無論是對于系統(tǒng)開發(fā)者還是應(yīng)用開發(fā)和系統(tǒng)選型人員來說，都是一個難題。這也是BDMS基準評測對于指導(dǎo)系統(tǒng)研發(fā)、系統(tǒng)選型，營造良好技術(shù)競爭環(huán)境的意義所在。

圖1 大數(shù)據(jù)管理系統(tǒng)及它們之間的關(guān)系

3.2 大數(shù)據(jù)管理系統(tǒng)基準評測需求

BDMS評測基準首先需要具備大數(shù)據(jù)建模與高仿真的數(shù)據(jù)生成的能力。具體而言，包括以下需求。

● 大數(shù)據(jù)靜態(tài)和動態(tài)特征的刻畫：對現(xiàn)實應(yīng)用場景中的真實數(shù)據(jù)進行動態(tài)和靜態(tài)特性的刻畫，是形成數(shù)據(jù)生成理論的前提。數(shù)據(jù)的靜態(tài)特征包括數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)分布、精確性以及時序關(guān)系等。在成熟的應(yīng)用領(lǐng)域，數(shù)據(jù)靜態(tài)特征往往已經(jīng)有模型進行描述。但大數(shù)據(jù)的動態(tài)性（velocity）特征難以用單一模型進行刻畫。對數(shù)據(jù)的靜態(tài)和動態(tài)特性進行參數(shù)化的刻畫是高仿真數(shù)據(jù)生成的前提。

● 高仿真的數(shù)據(jù)生成方法：大數(shù)據(jù)應(yīng)用的特點決定了需要采用應(yīng)用相關(guān)的數(shù)據(jù)生成方法。同時，大數(shù)據(jù)的復(fù)雜性和動態(tài)性決定了對數(shù)據(jù)特征的刻畫無法由領(lǐng)域?qū)＜彝瓿?#xff0c;而需要通過統(tǒng)計和機器學(xué)習(xí)自動進行。

● 動態(tài)數(shù)據(jù)高效持續(xù)生成：大數(shù)據(jù)不斷變化、持續(xù)更新。因此，評測基準需要具備采用并行數(shù)據(jù)生成、流式數(shù)據(jù)生成等技術(shù)，仿真真實的海量、快速變化的動態(tài)數(shù)據(jù)的能力。

其次，BDMS評測基準還需要具備能夠滿足多場景需求的綜合負載生成能力，具體介紹如下。

● 負載特性刻畫與建模：常見負載包括數(shù)據(jù)訪問、數(shù)據(jù)檢索與查詢、數(shù)據(jù)更新、批處理、迭代運算、聚集計算等，它們的處理代價各不相同。應(yīng)用中的負載常常是復(fù)合的，且負載的分布隨時間而變化。同時，負載作用于不同的數(shù)據(jù)對象（負載參數(shù)（argument）），其處理代價也是不同的。而且負載參數(shù)的分布也是動態(tài)、多樣的。具備豐富、靈活的負載特性刻畫能力，是準確模擬應(yīng)用負載的前提。

● BDMS原語與操作模式的抽象：BDMS的訪問接口具有多樣性。在不同層次的BDMS服務(wù)上，分別定義兼容多種系統(tǒng)的負載描述，是實現(xiàn)BDMS基準評測的前提之一。這一需求也是BDMS評測基準與傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)評測基準的一項重要區(qū)別。

● 可適配的負載自動生成方法與系統(tǒng)框架：應(yīng)用的負載各不相同。為每個應(yīng)用定制負載生成器，成本高、效率低，不能滿足同一數(shù)據(jù)集上共生多種應(yīng)用的BDMS基準評測需要。因此，給定負載特性刻畫，生成不同接口層面的代表性負載和相應(yīng)負載參數(shù)，是另一項重要的BDMS基準評測需求。

第三，負載相關(guān)的度量體系與測量方法對于BDMS評測基準至關(guān)重要。

● BDMS度量的基本特征與度量體系：BDMS系統(tǒng)的性能評價包括多項非傳統(tǒng)的度量，包括數(shù)據(jù)分析的實時性、系統(tǒng)的彈性能力，即環(huán)境變化時的自動管理能力、精度與性能的復(fù)合度量、能耗和能效比等。因此，需要制定可重復(fù)、可核實的新度量體系。這又是一項顯著不同于傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)評測基準的需求。

● 影響度量可測量性的不確定因素的量化與相關(guān)性分析能力：多種不確定因素會影響最終的評測結(jié)果。云計算、多租戶、虛擬機環(huán)境都可能放大這種影響，造成評測結(jié)果的不客觀、不可重復(fù)等問題。因此，需要對影響可測量性的因素進行量化和相關(guān)性分析，并進一步修正度量體系，以保證評測結(jié)果的客觀和全面。

● 新的測量方法學(xué)：基準評測要求其過程和結(jié)果具有可解釋性、可重復(fù)性、可審計性。測量方法要求對這些特定現(xiàn)象進行準確記錄和描述。另一方面，大數(shù)據(jù)應(yīng)用的數(shù)據(jù)和負載常具有非穩(wěn)態(tài)、爆發(fā)性特征，即在特定時刻數(shù)據(jù)或負載量劇增。BDMS基準評測方法必須具有可伸縮性，使得對爆發(fā)性的數(shù)據(jù)和負載，評測過程和結(jié)果仍有意義。此外，評測的結(jié)果還必須通過公開的方式報告評測環(huán)境、評測過程和評測結(jié)果。

3.3 大數(shù)據(jù)管理系統(tǒng)基準評測的挑戰(zhàn)

大數(shù)據(jù)管理系統(tǒng)的一個重要特點是“同類適用（onesize fits a bunch）”，即一個系統(tǒng)所針對的是具有相似特點的一類（bunch）應(yīng)用，而不是所有應(yīng)用。它不同于傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)的“一體適用（onesize fits all）”特點^[7]。這也是不同BDMS之間的差異明顯大于傳統(tǒng)數(shù)據(jù)庫管理系統(tǒng)間差異的主要原因。系統(tǒng)間的顯著差異為基準評測制造了障礙。為了應(yīng)對這一情況，BDMS評測基準也應(yīng)具有“同類適用”的特點，如圖2所示。

圖2 BDMS評測基準的“同類適用”特點

具體而言，評測基準需要滿足高仿真性、可適配性以及可測量性。

● 高仿真性，即生成的數(shù)據(jù)和負載在對于性能度量有明確影響的特征上具有高仿真性。

● 可適配性，即通過參數(shù)定制，基準評測套件可適配于不同領(lǐng)域，以對應(yīng)BDMS系統(tǒng)的“同類適用”特點。可定制、可適配的評測基準對于降低評測成本具有重要意義，這是BDMS評測所特有的問題，也是難點所在。

● 可測量性，即基準評測結(jié)果在開放、動態(tài)應(yīng)用環(huán)境中仍有意義，開放、動態(tài)的大數(shù)據(jù)應(yīng)用環(huán)境向評測結(jié)果的可解釋性、可重復(fù)性、可審計性、公平性提出了挑戰(zhàn)。這一問題需要通過對BDMS進行更細致的建模以及大量的實驗和實驗結(jié)果分析加以解決。

BDMS評測基準還需要滿足我國特有應(yīng)用特點的需要。例如，在“雙十·一”促銷、“春運”搶票、優(yōu)質(zhì)金融理財產(chǎn)品發(fā)售等應(yīng)用中，后臺系統(tǒng)都會遭遇短時間的超高峰值負載壓力。一方面，這是傳統(tǒng)零售、運輸、金融等行業(yè)“互聯(lián)網(wǎng)化”的必然結(jié)果；另一方面，我國人口的巨大基數(shù)導(dǎo)致了此類負載壓力遠大于國外同類應(yīng)用。如何模擬這類峰值（spike）場景，并進行準確的、有推廣意義的評測，是一個重要的研究問題。此外，欺詐檢測、情分析等應(yīng)用由于與文化、國情緊密相關(guān)，因此在我國此類應(yīng)用也具有特殊的負載。BDMS評測基準的研究與制定還需要反映這些特殊應(yīng)用的需要。

---

總結(jié)

以上是生活随笔為你收集整理的《大数据》第1期“研究”——大数据管理系统评测基准的 挑战与研究进展（上）...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。