HBase – Hadoop Database，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。是建立的hdfs之上，提供高可靠性、高性能、列存儲(chǔ)、可伸縮、實(shí)時(shí)讀寫的數(shù)據(jù)庫系統(tǒng)。

　　與hadoop一樣，Hbase目標(biāo)主要依靠橫向擴(kuò)展，通過不斷增加廉價(jià)的商用服務(wù)器，來增加計(jì)算和存儲(chǔ)能力。

HBase中的表一般有這樣的特點(diǎn)：

1 大：一個(gè)表可以有上億行，上百萬列

2 面向列:面向列(族)的存儲(chǔ)和權(quán)限控制，列(族)獨(dú)立檢索。

3 稀疏:對(duì)于為空(null)的列，并不占用存儲(chǔ)空間，因此，表可以設(shè)計(jì)的非常稀疏。

　　　　　　　　　　　　　　　　

上圖描述Hadoop EcoSystem中的各層系統(tǒng)。其中,HBase位于結(jié)構(gòu)化存儲(chǔ)層，Hadoop HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持，Hadoop MapReduce為HBase提供了高性能的計(jì)算能力，Zookeeper為HBase提供了穩(wěn)定服務(wù)和failover機(jī)制。 　　此外，Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進(jìn)行數(shù)據(jù)統(tǒng)計(jì)處理變的非常簡單。 Sqoop則為HBase提供了方便的RDBMS數(shù)據(jù)導(dǎo)入功能，使得傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)向HBase中遷移變的非常方便。 1、[HBase]數(shù)據(jù)模型（邏輯結(jié)構(gòu)） 　　HBase以表的形式存儲(chǔ)數(shù)據(jù)。表由行和列族組成。列劃分為若干個(gè)列族(row family)，其邏輯視圖如下： 下面分別說說幾個(gè)關(guān)鍵概念： 1）行鍵(RowKey) -- 行鍵是字節(jié)數(shù)組, 任何字符串都可以作為行鍵； -- 表中的行根據(jù)行鍵進(jìn)行排序，數(shù)據(jù)按照Row key的字節(jié)序(byte order)排序存儲(chǔ)； -- 所有對(duì)表的訪問都要通過行鍵 （單個(gè)RowKey訪問，或RowKey范圍訪問，或全表掃描) 2）列族（ColumnFamily） -- CF必須在表定義時(shí)給出 -- 每個(gè)CF可以有一個(gè)或多個(gè)列成員(ColumnQualifier)，列成員不需要在表定義時(shí)給出，新的列族成員可以隨后按需、動(dòng)態(tài)加入 -- 數(shù)據(jù)按CF分開存儲(chǔ)，HBase所謂的列式存儲(chǔ)就是根據(jù)CF分開存儲(chǔ)（每個(gè)CF對(duì)應(yīng)一個(gè)Store），這種設(shè)計(jì)非常適合于數(shù)據(jù)分析的情形 3）時(shí)間戳（TimeStamp） -- 每個(gè)Cell可能又多個(gè)版本，它們之間用時(shí)間戳區(qū)分 4）單元格（Cell） -- Cell 由行鍵，列族:限定符，時(shí)間戳唯一決定 -- Cell中的數(shù)據(jù)是沒有類型的，全部以字節(jié)碼形式存貯 5）區(qū)域(Region） -- HBase自動(dòng)把表水平（按Row）劃分成多個(gè)區(qū)域(region)，每個(gè)region會(huì)保存一個(gè)表里面某段連續(xù)的數(shù)據(jù)； -- 每個(gè)表一開始只有一個(gè)region，隨著數(shù)據(jù)不斷插入表，region不斷增大，當(dāng)增大到一個(gè)閥值的時(shí)候，region就會(huì)等分會(huì)兩個(gè)新的region； -- 當(dāng)table中的行不斷增多，就會(huì)有越來越多的region。這樣一張完整的表被保存在多個(gè)Region 上。 -- HRegion是HBase中分布式存儲(chǔ)和負(fù)載均衡的最小單元。最小單元表示不同的HRegion可以分布在不同的HRegionServer上。但一個(gè)HRegion不會(huì)拆分到多個(gè)server上。

2.Hbase表操作

　　1、 對(duì)表的創(chuàng)建、刪除、顯示以及修改等，可以用HBaseAdmin，一旦創(chuàng)建了表，那么可以通過HTable的實(shí)例來訪問表，每次可以往表里增加數(shù)據(jù)。

　　2、 插入數(shù)據(jù)

　　　　創(chuàng)建一個(gè)Put對(duì)象，在這個(gè)Put對(duì)象里可以指定要給哪個(gè)列增加數(shù)據(jù)，以及當(dāng)前的時(shí)間戳等值，然后通過調(diào)用HTable.put(Put)來提交操作，子猴在這里提請(qǐng)注意的是：在創(chuàng)建Put對(duì)象的時(shí)候，你必須指定一個(gè)行(Row)值，在構(gòu)造Put對(duì)象的時(shí)候作為參數(shù)傳入。

　　3、 獲取數(shù)據(jù)

　　　　要獲取數(shù)據(jù)，使用Get對(duì)象，Get對(duì)象同Put對(duì)象一樣有好幾個(gè)構(gòu)造函數(shù)，通常在構(gòu)造的時(shí)候傳入行值，表示取第幾行的數(shù)據(jù)，通過HTable.get(Get)來調(diào)用。

　　4、 瀏覽每一行

　　　　通過Scan可以對(duì)表中的行進(jìn)行瀏覽，得到每一行的信息，比如列名，時(shí)間戳等，Scan相當(dāng)于一個(gè)游標(biāo)，通過next()來瀏覽下一個(gè)，通過調(diào)用HTable.getScanner(Scan)來返回一個(gè)ResultScanner對(duì)象。HTable.get(Get)和HTable.getScanner(Scan)都是返回一個(gè)Result。Result是一個(gè)

KeyValue的鏈表。

　　5、 刪除

　　　　使用Delete來刪除記錄，通過調(diào)用HTable.delete(Delete)來執(zhí)行刪除操作。（注：刪除這里有些特別，也就是刪除并不是馬上將數(shù)據(jù)從表中刪除。）

　　6、 鎖

　　　　新增、獲取、刪除在操作過程中會(huì)對(duì)所操作的行加一個(gè)鎖，而瀏覽卻不會(huì)。

?

1 import java.io.IOException; 2 import java.util.ArrayList; 3 import java.util.List; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.apache.hadoop.hbase.HBaseConfiguration; 7 import org.apache.hadoop.hbase.HColumnDescriptor; 8 import org.apache.hadoop.hbase.HTableDescriptor; 9 import org.apache.hadoop.hbase.KeyValue; 10 import org.apache.hadoop.hbase.MasterNotRunningException; 11 import org.apache.hadoop.hbase.ZooKeeperConnectionException; 12 import org.apache.hadoop.hbase.client.Delete; 13 import org.apache.hadoop.hbase.client.Get; 14 import org.apache.hadoop.hbase.client.HBaseAdmin; 15 import org.apache.hadoop.hbase.client.HTable; 16 import org.apache.hadoop.hbase.client.Result; 17 import org.apache.hadoop.hbase.client.ResultScanner; 18 import org.apache.hadoop.hbase.client.Scan; 19 import org.apache.hadoop.hbase.client.Put; 20 import org.apache.hadoop.hbase.util.Bytes; 21 22 public class HBaseTest { 23 24 private static Configuration conf =null; 25 /** 26 * 初始化配置 27 */ 28 static { 29 conf = HBaseConfiguration.create(); 30 } 31 32 /** 33 * 創(chuàng)建一張表 34 */ 35 public static void creatTable(String tableName, String[] familys) throws Exception { 36 HBaseAdmin admin = new HBaseAdmin(conf); 37 if (admin.tableExists(tableName)) { 38 System.out.println("table already exists!"); 39 } else { 40 HTableDescriptor tableDesc = new HTableDescriptor(tableName); 41 for(int i=0; i<familys.length; i++){ 42 tableDesc.addFamily(new HColumnDescriptor(familys[i])); 43 } 44 admin.createTable(tableDesc); 45 System.out.println("create table " + tableName + " ok."); 46 } 47 } 48 49 /** 50 * 刪除表 51 */ 52 public static void deleteTable(String tableName) throws Exception { 53 try { 54 HBaseAdmin admin = new HBaseAdmin(conf); 55 admin.disableTable(tableName); 56 admin.deleteTable(tableName); 57 System.out.println("delete table " + tableName + " ok."); 58 } catch (MasterNotRunningException e) { 59 e.printStackTrace(); 60 } catch (ZooKeeperConnectionException e) { 61 e.printStackTrace(); 62 } 63 } 64 65 /** 66 * 插入一行記錄 67 */ 68 public static void addRecord (String tableName, String rowKey, String family, String qualifier, String value) 69 throws Exception{ 70 try { 71 HTable table = new HTable(conf, tableName); 72 Put put = new Put(Bytes.toBytes(rowKey)); 73 put.add(Bytes.toBytes(family),Bytes.toBytes(qualifier),Bytes.toBytes(value)); 74 table.put(put); 75 System.out.println("insert recored " + rowKey + " to table " + tableName +" ok."); 76 } catch (IOException e) { 77 e.printStackTrace(); 78 } 79 } 80 81 /** 82 * 刪除一行記錄 83 */ 84 public static void delRecord (String tableName, String rowKey) throws IOException{ 85 HTable table = new HTable(conf, tableName); 86 List list = new ArrayList(); 87 Delete del = new Delete(rowKey.getBytes()); 88 list.add(del); 89 table.delete(list); 90 System.out.println("del recored " + rowKey + " ok."); 91 } 92 93 /** 94 * 查找一行記錄 95 */ 96 public static void getOneRecord (String tableName, String rowKey) throws IOException{ 97 HTable table = new HTable(conf, tableName); 98 Get get = new Get(rowKey.getBytes()); 99 Result rs = table.get(get); 100 for(KeyValue kv : rs.raw()){ 101 System.out.print(new String(kv.getRow()) + " " ); 102 System.out.print(new String(kv.getFamily()) + ":" ); 103 System.out.print(new String(kv.getQualifier()) + " " ); 104 System.out.print(kv.getTimestamp() + " " ); 105 System.out.println(new String(kv.getValue())); 106 } 107 } 108 109 /** 110 * 顯示所有數(shù)據(jù) 111 */ 112 public static void getAllRecord (String tableName) { 113 try{ 114 HTable table = new HTable(conf, tableName); 115 Scan s = new Scan(); 116 ResultScanner ss = table.getScanner(s); 117 for(Result r:ss){ 118 for(KeyValue kv : r.raw()){ 119 System.out.print(new String(kv.getRow()) + " "); 120 System.out.print(new String(kv.getFamily()) + ":"); 121 System.out.print(new String(kv.getQualifier()) + " "); 122 System.out.print(kv.getTimestamp() + " "); 123 System.out.println(new String(kv.getValue())); 124 } 125 } 126 } catch (IOException e){ 127 e.printStackTrace(); 128 } 129 } 130 131 public static void main (String [] agrs) { 132 try { 133 String tablename = "scores"; 134 String[] familys = {"grade", "course"}; 135 HBaseTest.creatTable(tablename, familys); 136 137 //add record zkb 138 HBaseTest.addRecord(tablename,"zkb","grade","","5"); 139 HBaseTest.addRecord(tablename,"zkb","course","","90"); 140 HBaseTest.addRecord(tablename,"zkb","course","math","97"); 141 HBaseTest.addRecord(tablename,"zkb","course","art","87"); 142 //add record baoniu 143 HBaseTest.addRecord(tablename,"baoniu","grade","","4"); 144 HBaseTest.addRecord(tablename,"baoniu","course","math","89"); 145 146 System.out.println("===========get one record========"); 147 HBaseTest.getOneRecord(tablename, "zkb"); 148 149 System.out.println("===========show all record========"); 150 HBaseTest.getAllRecord(tablename); 151 152 System.out.println("===========del one record========"); 153 HBaseTest.delRecord(tablename, "baoniu"); 154 HBaseTest.getAllRecord(tablename); 155 156 System.out.println("===========show all record========"); 157 HBaseTest.getAllRecord(tablename); 158 } catch (Exception e) { 159 e.printStackTrace(); 160 } 161 } 162 }

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/shufy/p/5360977.html

總結(jié)

以上是生活随笔為你收集整理的Hbase初识的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。