Hbase总结(四)- Hbase与传统数据库的区别
在說Hase是個啥家伙之前,首先我們來看看兩個概念,面向行存儲和面向列存儲。面向行存儲,我相信大伙兒應(yīng)該都清楚,我們熟悉的RDBMS就是此種類型的,面向行存儲的數(shù)據(jù)庫主要適合于事務(wù)性要求嚴(yán)格場合,或者說面向行存儲的存儲系統(tǒng)適合OLTP,但是根據(jù)CAP理論,傳統(tǒng)的RDBMS,為了實現(xiàn)強(qiáng)一致性,通過嚴(yán)格的ACID事務(wù)來進(jìn)行同步,這就造成了系統(tǒng)的可用性和伸縮性方面大大折扣,而目前的很多NoSQL產(chǎn)品,包括Hbase,它們都是一種最終一致性的系統(tǒng),它們?yōu)榱烁叩目捎眯誀奚艘徊糠值囊恢滦浴:孟?#xff0c;我上面說了面向列存儲,那么到底什么是面向列存儲呢?Hbase,Casandra,Bigtable都屬于面向列存儲的分布式存儲系統(tǒng)。看到這里,如果您不明白Hbase是個啥東東,不要緊,我再總結(jié)一下下:
Hbase是一個面向列存儲的分布式存儲系統(tǒng),它的優(yōu)點(diǎn)在于可以實現(xiàn)高性能的并發(fā)讀寫操作,同時Hbase還會對數(shù)據(jù)進(jìn)行透明的切分,這樣就使得存儲本身具有了水平伸縮性。
二 Hbase數(shù)據(jù)模型?
HBase,Cassandra的數(shù)據(jù)模型非常類似,他們的思想都是來源于Google的Bigtable,因此這三者的數(shù)據(jù)模型非常類似,唯一不同的就是Cassandra具有Super cloumn family的概念,而Hbase目前我沒發(fā)現(xiàn)。好了,廢話少說,我們來看看Hbase的數(shù)據(jù)模型到底是個啥東東。
在Hbase里面有以下兩個主要的概念,Row key,Column Family,我們首先來看看Column family,Column family中文又名“列族”,Column family是在系統(tǒng)啟動之前預(yù)先定義好的,每一個Column Family都可以根據(jù)“限定符”有多個column.下面我們來舉個例子就會非常的清晰了。
假如系統(tǒng)中有一個User表,如果按照傳統(tǒng)的RDBMS的話,User表中的列是固定的,比如schema 定義了name,age,sex等屬性,User的屬性是不能動態(tài)增加的。但是如果采用列存儲系統(tǒng),比如Hbase,那么我們可以定義User表,然后定義info 列族,User的數(shù)據(jù)可以分為:info:name = zhangsan,info:age=30,info:sex=male等,如果后來你又想增加另外的屬性,這樣很方便只需要info:newProperty就可以了。
也許前面的這個例子還不夠清晰,我們再舉個例子來解釋一下,熟悉SNS的朋友,應(yīng)該都知道有好友Feed,一般設(shè)計Feed,我們都是按照“某人在某時做了標(biāo)題為某某的事情”,但是同時一般我們也會預(yù)留一下關(guān)鍵字,比如有時候feed也許需要url,feed需要image屬性等,這樣來說,feed本身的屬性是不確定的,因此如果采用傳統(tǒng)的關(guān)系數(shù)據(jù)庫將非常麻煩,況且關(guān)系數(shù)據(jù)庫會造成一些為null的單元浪費(fèi),而列存儲就不會出現(xiàn)這個問題,在Hbase里,如果每一個column 單元沒有值,那么是占用空間的。下面我們通過兩張圖來形象的表示這種關(guān)系:
?
上圖是傳統(tǒng)的RDBMS設(shè)計的Feed表,我們可以看出feed有多少列是固定的,不能增加,并且為null的列浪費(fèi)了空間。但是我們再看看下圖,下圖為Hbase,Cassandra,Bigtable的數(shù)據(jù)模型圖,從下圖可以看出,Feed表的列可以動態(tài)的增加,并且為空的列是不存儲的,這就大大節(jié)約了空間,關(guān)鍵是Feed這東西隨著系統(tǒng)的運(yùn)行,各種各樣的Feed會出現(xiàn),我們事先沒辦法預(yù)測有多少種Feed,那么我們也就沒有辦法確定Feed表有多少列,因此Hbase,Cassandra,Bigtable的基于列存儲的數(shù)據(jù)模型就非常適合此場景。說到這里,采用Hbase的這種方式,還有一個非常重要的好處就是Feed會自動切分,當(dāng)Feed表中的數(shù)據(jù)超過某一個閥值以后,Hbase會自動為我們切分?jǐn)?shù)據(jù),這樣的話,查詢就具有了伸縮性,而再加上Hbase的弱事務(wù)性的特性,對Hbase的寫入操作也將變得非常快。
上面說了Column family,那么我之前說的Row key是啥東東,其實你可以理解row key為RDBMS中的某一個行的主鍵,但是因為Hbase不支持條件查詢以及Order by等查詢,因此Row key的設(shè)計就要根據(jù)你系統(tǒng)的查詢需求來設(shè)計了額。我還拿剛才那個Feed的列子來說,我們一般是查詢某個人最新的一些Feed,因此我們Feed的Row key可以有以下三個部分構(gòu)成<userId><timestamp><feedId>,這樣以來當(dāng)我們要查詢某個人的最進(jìn)的Feed就可以指定Start Rowkey為<userId><0><0>,End Rowkey為<userId><Long.MAX_VALUE><Long.MAX_VALUE>來查詢了,同時因為Hbase中的記錄是按照rowkey來排序的,這樣就使得查詢變得非常快。
三 Hbase的優(yōu)缺點(diǎn)?
1 列的可以動態(tài)增加,并且列為空就不存儲數(shù)據(jù),節(jié)省存儲空間.
2 Hbase自動切分?jǐn)?shù)據(jù),使得數(shù)據(jù)存儲自動具有水平scalability.
3 Hbase可以提供高并發(fā)讀寫操作的支持
Hbase的缺點(diǎn):
1 不能支持條件查詢,只支持按照Row key來查詢.
2 暫時不能支持Master server的故障切換,當(dāng)Master宕機(jī)后,整個存儲系統(tǒng)就會掛掉.
四.補(bǔ)充
1.數(shù)據(jù)類型,HBase只有簡單的字符類型,所有的類型都是交由用戶自己處理,它只保存字符串。而關(guān)系數(shù)據(jù)庫有豐富的類型和存儲方式。
2.數(shù)據(jù)操作:HBase只有很簡單的插入、查詢、刪除、清空等操作,表和表之間是分離的,沒有復(fù)雜的表和表之間的關(guān)系,而傳統(tǒng)數(shù)據(jù)庫通常有各式各樣的函數(shù)和連接操作。??
3.存儲模式:HBase是基于列存儲的,每個列族都由幾個文件保存,不同的列族的文件時分離的。而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫是基于表格結(jié)構(gòu)和行模式保存的?
4.數(shù)據(jù)維護(hù),HBase的更新操作不應(yīng)該叫更新,它實際上是插入了新的數(shù)據(jù),而傳統(tǒng)數(shù)據(jù)庫是替換修改
5.可伸縮性,Hbase這類分布式數(shù)據(jù)庫就是為了這個目的而開發(fā)出來的,所以它能夠輕松增加或減少硬件的數(shù)量,并且對錯誤的兼容性比較高。而傳統(tǒng)數(shù)據(jù)庫通常需要增加中間層才能實現(xiàn)類似的功能
下面是用詳細(xì)實際操作截圖比較區(qū)別
1.nosql數(shù)據(jù)庫能否刪除列 2.nosql數(shù)據(jù)庫如何刪除一條記錄 3.nosql數(shù)據(jù)庫列族和lieder區(qū)別是什么? 4.nosql操作與傳統(tǒng)數(shù)據(jù)庫的操作區(qū)別在什么地方? 對于大多數(shù)做技術(shù)的人員,都知道我們傳統(tǒng)數(shù)據(jù)庫是什么樣子的,那么如下圖所示,我們操作的對象是行。 也就是增刪改查,都是以為對象。 1.傳統(tǒng)數(shù)據(jù)庫增加刪除介紹 ?圖1 下面我們以mysql為例: ? 插入數(shù)據(jù)mysql>INSERT INTO blog_user (`user_Name`,`user_Password`,`user_emial`)VALUES ('aboutyun','aboutyun', 'aboutyun@sina.com'); ? 刪除數(shù)據(jù): 2.Nosql數(shù)據(jù)庫增加刪除介紹 ? 圖2 以hbase為例: 創(chuàng)建表: ? 插入數(shù)據(jù) 這里是關(guān)鍵點(diǎn),也是很多人不容易理解的地方 上面我們看到了 1所示是什么,我們在傳統(tǒng)數(shù)據(jù)塊里面根本沒有,這是nosql所特有的,是一個rowkey,是系統(tǒng)自帶的,也是nosql中一條記錄的唯一標(biāo)識。但是這個唯一標(biāo)識,有跟我們的傳統(tǒng)數(shù)據(jù)庫是有所差別的。如圖1所示,“記錄1”便是rowkey. 2所示是我們插入的列user_Name,這也是最難以理解的地方,列竟然可以插入。并且其’value‘為3即'aboutyun' 我們插入了列,下面我們來查看一下效果: ? 下面來解釋一下上面的含義: 我們會看到 1為rowkey,插入數(shù)據(jù)’www.aboutyun.com‘, 2為列族下面列的名字user_Name 3我們并沒有在設(shè)計的添加這個列族,所以這個是系統(tǒng)自帶的,這個是記錄的操作時間,以時間戳的形式放到hbase里面。 4是我們插入的user_Name的值 下面我們在插入password: ? 再次查詢結(jié)果: 到這里,我們看到兩行記錄,傳統(tǒng)數(shù)據(jù)塊認(rèn)為這是兩行數(shù)據(jù),對于nosql,這是一條記錄。 刪除列數(shù)據(jù) 刪除數(shù)據(jù)分為刪除列和刪除記錄 1.刪除列 這里面的刪除,沒有刪除 delete 'blog_user','www.aboutyun.com','userInfo:user_Password' ? 從上面我們看出列被刪除了 2.刪除記錄: 這是刪除之前顯示結(jié)果,這里已經(jīng)是 ? 刪除后結(jié)果 ? 總結(jié) 對于傳統(tǒng)數(shù)據(jù)庫,增加列對于一個項目來講,改變是非常大的。但是對于nosql,插入列和刪除列,跟傳統(tǒng)數(shù)據(jù)庫里面的增加記錄和刪除記錄類似 |
總結(jié)
以上是生活随笔為你收集整理的Hbase总结(四)- Hbase与传统数据库的区别的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Hbase总结(三)-Hbase与Hiv
- 下一篇: HBase总结(七)LSM理解