复杂的(事件)世界
ESPER( http://esper.codehaus.org/ )是流行的開(kāi)源組件,可用于Java的復(fù)雜事件處理(CEP)。 它包括對(duì)基于滑動(dòng)時(shí)間或長(zhǎng)度窗口的模式匹配和流處理的豐富支持。 盡管對(duì)“ CEP”一詞進(jìn)行了激烈的討論( http://www.dbms2.com/2011/08/25/renaming-cep-or-not /),但ESPER似乎非常適合CEP術(shù)語(yǔ),因?yàn)榻柚鶨SPER的EPL(事件處理語(yǔ)言),它似乎能夠從一系列簡(jiǎn)單事件中真正識(shí)別出“復(fù)雜事件”。
最近,在尋找用于實(shí)時(shí)CEP的開(kāi)源解決方案時(shí),我們的小組偶然發(fā)現(xiàn)了Twitter的Storm項(xiàng)目( https://github.com/nathanmarz/storm )。 它聲稱與Yahoo的S4具有最強(qiáng)的可比性,并且與Esper和Streambase等“復(fù)雜事件處理”系統(tǒng)處于同一空間。 我不確定Streambase,但是更深入地研究Storm項(xiàng)目使它看起來(lái)與CEP和ESPER解決方案大不相同。 與S4同上( http://incubator.apache.org/s4/ )。 盡管S4和Storm似乎擅長(zhǎng)于分布式模式下的實(shí)時(shí)流處理,并且它們看上去(如他們聲稱的那樣)是“實(shí)時(shí)Hadoop”,但它們似乎沒(méi)有提供匹配模式的規(guī)定(因此,表示復(fù)雜事件)。 搜索(我們的研究可能與之相關(guān)的)CEP定義導(dǎo)致以下項(xiàng)目符號(hào)( http://colinclark.sys-con.com/node/1985400 ),其中包括以下四個(gè)作為系統(tǒng)/解決方案的先決條件被稱為CEP組件/項(xiàng)目/解決方案:- 領(lǐng)域特定語(yǔ)言
- 連續(xù)查詢
- 時(shí)間或長(zhǎng)度窗口
- 時(shí)間模式匹配
雖然像S4和Storm這樣的處理系統(tǒng)缺少CEP的重要功能,但基于ESPER的系統(tǒng)具有受內(nèi)存限制的缺點(diǎn)。 事件太多或時(shí)間窗口過(guò)長(zhǎng)可能會(huì)導(dǎo)致ESPER內(nèi)存不足。 如果ESPER用于處理實(shí)時(shí)流(例如來(lái)自社交媒體的流),則ESPER內(nèi)存中將積累大量數(shù)據(jù)。 從高層次來(lái)看,問(wèn)題陳述是為大數(shù)據(jù)發(fā)明CEP解決方案。 在更好的層面上,問(wèn)題陳述包括設(shè)計(jì)CEP解決方案,以處理機(jī)載(批處理)和飛行中(實(shí)時(shí))數(shù)據(jù)。
用DarkStar的術(shù)語(yǔ)( http://www.eventprocessing-communityofpractice.org/EPS-presentations/Clark_EP.pdf ),要求是“實(shí)時(shí)匹配已注冊(cè)的模式,在數(shù)據(jù)庫(kù)中發(fā)現(xiàn)相似的模式”。 由于受內(nèi)存限制是一個(gè)限制,因此,如果可以找到某種凝聚內(nèi)存事件的機(jī)制,可能會(huì)很有用。 但是,壓縮后的數(shù)據(jù)仍然應(yīng)該有意義,并保留原始流的上下文。
DarkStar使用符號(hào)聚合近似值( http://www.cs.ucr.edu/~eamonn/SAX.htm )來(lái)做到這一點(diǎn),他們聲稱通過(guò)將SAX與AsterData的nCluster一起使用來(lái)滿足上述要求,nCluster是mpp(大規(guī)模并行)使用基于SQL / MapReduce( http://www.asterdata.com/resources/mapreduce.php )的嵌入式分析引擎處理數(shù)據(jù)庫(kù))。待續(xù)(隨著我們的進(jìn)一步研究)…
參考:來(lái)自我們的JCG合作伙伴 Abhishek Jain 的復(fù)雜(事件)世界 ? 在NS.Infra博客上。
翻譯自: https://www.javacodegeeks.com/2012/03/complex-event-world.html
總結(jié)
- 上一篇: linuxc程序设计(linux c 程
- 下一篇: 文物局备案证明怎么弄的(文物局备案证明怎