数据仓库—数据仓库—Sybase IQ 介绍
http://blog.itpub.net/8128313/viewspace-895289/
軟件廠商:?Sybase
授權(quán)方式:?商用軟件
版本號:?無
版本類型:?企業(yè)版
語言版本:?中文
軟件環(huán)境:?Windows、Unix、Linux操作系統(tǒng)
Sybase IQ?是一個高度可擴展的分析型數(shù)據(jù)庫引擎,專門為分析型應(yīng)用與數(shù)據(jù)倉庫而設(shè)計,使數(shù)據(jù)倉庫應(yīng)用具備卓越的查詢性能與最低的總擁有成本。不同于傳統(tǒng)數(shù)據(jù)庫主要考慮在線的事務(wù)進程的設(shè)計,IQ?是專門為分析型(非事務(wù)型)而構(gòu)建的,首先關(guān)注的是查詢的性能,其垂直存儲、專利索引技術(shù)以及獨特的架構(gòu)使其成為數(shù)據(jù)倉庫的最佳選擇。
帶壓縮的列存儲:IQ?按列存儲數(shù)據(jù),而不是行—這與所有其他關(guān)系型數(shù)據(jù)庫引擎廣泛使用的存儲方法方向相反。決策處理中的很多查詢只需要很少量的列數(shù)據(jù),因而與傳統(tǒng)的RDBMS相比,這種方法在選擇滿足查詢條件的數(shù)據(jù)時,只須涉及到很少的數(shù)據(jù)頁面。進一步講,列向量在磁盤上是壓縮存儲的。按列存儲數(shù)據(jù)時由于相鄰接的字段值具有相同的數(shù)據(jù)類型,所以使Sybase IQ更容易對數(shù)據(jù)作壓縮處理。數(shù)據(jù)的列式存儲所帶來的另一好處是:當需要一列新數(shù)據(jù)時不會引起數(shù)據(jù)庫結(jié)構(gòu)的改變.這對于很多傳統(tǒng)的RDBMS而言,恰恰是無可避免的一個弱項。
獨特的索引結(jié)構(gòu):IQ中使用的索引結(jié)構(gòu)的組合是獨一無二的,為數(shù)據(jù)倉庫高度優(yōu)化的。比特式(bit-wise)索引及相應(yīng)的壓縮技術(shù)是Sybase的一項專利。Sybase IQ運用這一技術(shù)對數(shù)據(jù)倉庫中的所有字段建立索引,由此不僅帶來查詢效率的大幅度提高,而且還降低了對磁盤空間的使用。在傳統(tǒng)RDBMS中,不僅實際數(shù)據(jù)占用磁盤空間,相應(yīng)的索引也占用磁盤空間,在總量上后者超過前者的情形并不鮮見。但Sybase IQ的比特式索引根本無須增加磁盤空間,因為Sybase IQ中的索引就是數(shù)據(jù)庫。Sybase客戶的使用報告表明,IQ所需的磁盤一般只占原始輸入數(shù)據(jù)所需的空間的40%-60%,而且,查詢速度會比傳統(tǒng)的數(shù)據(jù)庫引擎數(shù)以千倍的提高。
查詢優(yōu)化:IQ還擁有一個出色的查詢優(yōu)化器,能夠?qū)χ^詞評估、聯(lián)合類型、排序、分組、數(shù)據(jù)訪問以及其他查詢評估步驟做出復(fù)雜的決定。由于IQ架構(gòu)允許維護大量索引,而且由于系統(tǒng)在多數(shù)情況下通過索引化的列值保留了精確的行的記錄數(shù),優(yōu)化器能夠比許多關(guān)系型引擎更好的利用這些信息來生成更佳的查詢計劃。
并行操作—新的多線索體系結(jié)構(gòu):Sybase IQ支持并行操作。Sybase IQ?采用了新的體系結(jié)構(gòu),即單進程多線索結(jié)構(gòu)。這種結(jié)構(gòu)在處理多個并發(fā)用戶的請求時,能夠降低處理和內(nèi)存方面的開銷,并能夠支持數(shù)百甚至上千個并發(fā)用戶的能力。本質(zhì)上講,IQ?允許多個節(jié)點共享磁盤上的數(shù)據(jù),每一個節(jié)點訪問整個IQ?的共享數(shù)據(jù)存儲區(qū),并且對它直接進行物理存取。在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫中,為了確保數(shù)據(jù)的一致性,必須跨節(jié)點協(xié)調(diào)數(shù)據(jù)庫鎖。由于在IQ?中每一個節(jié)點使用它自己的CPU和內(nèi)存資源運行,節(jié)點之間僅需極少的通訊,因而確保了每個節(jié)點之間的零沖突。查詢性能與可擴展性相結(jié)合,其結(jié)果就是,IQ所擁有的構(gòu)架使其可以服務(wù)于大規(guī)模的在線查詢用戶。
快速加載:IQ?支持批量與非批量數(shù)據(jù)庫加載。并行操作已經(jīng)內(nèi)建到面向插入與更新操作的加載器中,因此,無需為多數(shù)數(shù)據(jù)倉庫應(yīng)用提交多個并行加載工作以獲得并行化。
IQM與MPP的異同:IQ?共享磁盤,不需要對數(shù)據(jù)庫進行分區(qū)。MPP系統(tǒng)由于需要對數(shù)據(jù)表進行水平數(shù)據(jù)分區(qū),大大增加了工作量及維護和管理數(shù)據(jù)庫所需的成本。IQ不受錯誤的數(shù)據(jù)和查詢的影響,與MPP系統(tǒng)不同,它能夠有效地管理不同規(guī)模的節(jié)點。
Sybase IQ?獨特的優(yōu)勢
信息正成為驅(qū)動企業(yè)成功的引擎,為了贏得成功, 你需要比你的對手更迅速的將巨量的信息轉(zhuǎn)化為智慧的決策。因此,查詢性能與可擴展性是今天數(shù)據(jù)倉庫必不可少的功能特性。這意味著電子商務(wù)可以將數(shù)據(jù)轉(zhuǎn)化為 深邃的洞察力與真正的經(jīng)濟價值,同時也意味著可以用更低的費用提供大規(guī)模用戶的查詢。對企業(yè)來說,它意味著數(shù)據(jù)倉庫的實現(xiàn)更加簡單,而無須再承擔(dān)高額的預(yù) 算所帶來的的威脅。
除此之外,IQ獨特的架構(gòu)特征還能帶來一些關(guān)鍵的智能效果:
快速查詢:Sybase IQ為你的最終用戶提供的回答比使用傳統(tǒng)數(shù)據(jù)倉庫快10到1000倍,而不論存在多少數(shù)量的用戶和查詢。這意味著查詢結(jié)果將在幾秒或幾分鐘內(nèi)返回,而傳統(tǒng)的技術(shù)卻需要花費幾小時或幾天。同時,由于Sybase IQ可以對數(shù)據(jù)進行實時加載,而不影響查詢性能,因此用戶可以高效的基于最實時的信息做出最佳的決策。
高度的可擴展性與靈活性:Sybase IQ的設(shè)計允許數(shù)據(jù)倉庫從基礎(chǔ)開始擴展,從很小擴展到非常巨大的規(guī)模。這一點已經(jīng)完全被驗證:
首先,它可以支持數(shù)以千計的用戶進行查詢;同時,它支持各種服務(wù)器,幾十個節(jié)點,幾百個CPU,48TB以上的輸入數(shù)據(jù)。可擴展性對Sybase IQ而言,舉重若輕,你可以從一個小型的數(shù)據(jù)倉庫開始,擴展到大型的數(shù)據(jù)倉庫,也可以從大型開始擴展到超大型的數(shù)據(jù)倉庫。
節(jié)約存儲成本/數(shù)據(jù)壓縮:Sybase IQ壓縮數(shù)據(jù)倉庫可以多至70%。由TPC測試專家Francois主持的基準測試中,Sybase IQ加載了48.2TB的原始數(shù)據(jù),而將其壓縮到22TB的數(shù)據(jù)倉庫中。同樣的48.2TB數(shù)據(jù)可能會膨脹到120-240TB。與傳統(tǒng)數(shù)據(jù)庫相比,大大節(jié)約了存儲成本。
降低維護成本:Sybase IQ徹底消除了為每個查詢進行調(diào)優(yōu)的需要,消除為管理和維護新增節(jié)點和數(shù)據(jù)花費大量時間和資源的需要,同時降低了數(shù)據(jù)管理成本,減少了維護工作量及其相關(guān)成本。
加快部署:由于Sybase IQ從下到上都是為分析而構(gòu)建,所以相比傳統(tǒng)的數(shù)據(jù)庫,僅需很少的部署時間。使用它,不需要為分析而在數(shù)據(jù)庫上面花費很多工作。部署時間可以大幅減少多達80%。
利用現(xiàn)有投資:正如所有Sybase技術(shù)一樣的特點,Sybase IQ基于開放標準,確保與企業(yè)現(xiàn)有IT資產(chǎn)的集成與協(xié)同工作。
BI產(chǎn)品技術(shù)選型情況調(diào)查
http://tech.it168.com/a2010/0105/833/000000833152_all.shtml總結(jié)
以上是生活随笔為你收集整理的数据仓库—数据仓库—Sybase IQ 介绍的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Sybase identity 字段
- 下一篇: 数据挖掘工具weka使用