本文介紹一下Hive元數據中重要的一些表結構及用途，以Hive0.13為例。

文章最后面，會以一個示例來全面了解一下，Hive的元數據是怎么生成和存儲的。

13.1 存儲Hive版本的元數據表（VERSION）

該表比較簡單，但很重要。

VER_ID	SCHEMA_VERSION	VERSION_COMMENT
ID主鍵	Hive版本	版本說明
1	0.13.0	Set by MetaStore

如果該表出現問題，根本進入不了Hive-Cli。

比如該表不存在，當啟動Hive-Cli時候，就會報錯”Table ‘hive.version’ doesn’t exist”。

13.2 Hive數據庫相關的元數據表（DBS、DATABASE_PARAMS）

• DBS

該表存儲Hive中所有數據庫的基本信息，字段如下：

元數據表字段	說明	示例數據
DB_ID	數據庫ID	2
DESC	數據庫描述	測試庫
DB_LOCATION_URI	數據庫HDFS路徑	hdfs://namenode/user/hive/warehouse/lxw1234.db
NAME	數據庫名	lxw1234
OWNER_NAME	數據庫所有者用戶名	lxw1234
OWNER_TYPE	所有者角色	USER

?

• DATABASE_PARAMS

該表存儲數據庫的相關參數，在CREATE DATABASE時候用

WITH DBPROPERTIES (property_name=property_value, …)指定的參數。

元數據表字段	說明	示例數據
DB_ID	數據庫ID	2
PARAM_KEY	參數名	createdby
PARAM_VALUE	參數值	lxw1234

DBS和DATABASE_PARAMS這兩張表通過DB_ID字段關聯。

?

13.3 Hive表和視圖相關的元數據表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，這三張表通過TBL_ID關聯。

• TBLS

該表中存儲Hive表、視圖、索引表的基本信息。

元數據表字段	說明	示例數據
TBL_ID	表ID	1
CREATE_TIME	創建時間	1436317071
DB_ID	數據庫ID	2，對應DBS中的DB_ID
LAST_ACCESS_TIME	上次訪問時間	1436317071
OWNER	所有者	liuxiaowen
RETENTION	保留字段	0
SD_ID	序列化配置信息	86，對應SDS表中的SD_ID
TBL_NAME	表名	lxw1234
TBL_TYPE	表類型	MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
VIEW_EXPANDED_TEXT	視圖的詳細HQL語句	select `lxw1234`.`pt`, `lxw1234`.`pcid` from `liuxiaowen`.`lxw1234`
VIEW_ORIGINAL_TEXT	視圖的原始HQL語句	select * from lxw1234

?

• TABLE_PARAMS

該表存儲表/視圖的屬性信息。

元數據表字段	說明	示例數據
TBL_ID	表ID	1
PARAM_KEY	屬性名	totalSize、numRows、EXTERNAL
PARAM_VALUE	屬性值	970107336、21231028、TRUE

?

• TBL_PRIVS

該表存儲表/視圖的授權信息

元數據表字段	說明	示例數據
TBL_GRANT_ID	授權ID	1
CREATE_TIME	授權時間	1436320455
GRANT_OPTION	?	0
GRANTOR	授權執行用戶	liuxiaowen
GRANTOR_TYPE	授權者類型	USER
PRINCIPAL_NAME	被授權用戶	username
PRINCIPAL_TYPE	被授權用戶類型	USER
TBL_PRIV	權限	Select、Alter
TBL_ID	表ID	22，對應TBLS表中的TBL_ID

?

13.4 Hive文件存儲信息相關的元數據表

主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS

由于HDFS支持的文件格式很多，而建Hive表時候也可以指定各種文件格式，Hive在將HQL解析成MapReduce時候，需要知道去哪里，使用哪種格式去讀寫HDFS文件，而這些信息就保存在這幾張表中。

• SDS

該表保存文件存儲的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否壓縮等。

TBLS表中的SD_ID與該表關聯，可以獲取Hive表的存儲信息。

元數據表字段	說明	示例數據
SD_ID	存儲信息ID	1
CD_ID	字段信息ID	21，對應CDS表
INPUT_FORMAT	文件輸入格式	org.apache.hadoop.mapred.TextInputFormat
IS_COMPRESSED	是否壓縮	0
IS_STOREDASSUBDIRECTORIES	是否以子目錄存儲	0
LOCATION	HDFS路徑	hdfs://namenode/hivedata/warehouse/ut.db/t_lxw
NUM_BUCKETS	分桶數量	5
OUTPUT_FORMAT	文件輸出格式	org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
SERDE_ID	序列化類ID	3，對應SERDES表

?

• SD_PARAMS

該表存儲Hive存儲的屬性信息，在創建表時候使用

STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

元數據表字段	說明	示例數據
SD_ID	存儲配置ID	1
PARAM_KEY	存儲屬性名	?
PARAM_VALUE	存儲屬性值	?

• SERDES

該表存儲序列化使用的類信息

元數據表字段	說明	示例數據
SERDE_ID	序列化類配置ID	1
NAME	序列化類別名	?
SLIB	序列化類	org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

?

• SERDE_PARAMS

該表存儲序列化的一些屬性、格式信息,比如：行、列分隔符

元數據表字段	說明	示例數據
SERDE_ID	序列化類配置ID	1
PARAM_KEY	屬性名	field.delim
PARAM_VALUE	屬性值	,

?

13.5 Hive表字段相關的元數據表

主要涉及COLUMNS_V2

• COLUMNS_V2

該表存儲表對應的字段信息。

元數據表字段	說明	示例數據
CD_ID	字段信息ID	1
COMMENT	字段注釋	?
COLUMN_NAME	字段名	pt
TYPE_NAME	字段類型	string
INTEGER_IDX	字段順序	2

?

13.6 Hive表分區相關的元數據表

主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS

• PARTITIONS

該表存儲表分區的基本信息。

元數據表字段	說明	示例數據
PART_ID	分區ID	1
CREATE_TIME	分區創建時間	?
LAST_ACCESS_TIME	最后一次訪問時間	?
PART_NAME	分區名	pt=2015-06-12
SD_ID	分區存儲ID	21
TBL_ID	表ID	2

• PARTITION_KEYS

該表存儲分區的字段信息。

元數據表字段	說明	示例數據
TBL_ID	表ID	2
PKEY_COMMENT	分區字段說明	?
PKEY_NAME	分區字段名	pt
PKEY_TYPE	分區字段類型	string
INTEGER_IDX	分區字段順序	1

?

• PARTITION_KEY_VALS

該表存儲分區字段值。

元數據表字段	說明	示例數據
PART_ID	分區ID	2
PART_KEY_VAL	分區字段值	2015-06-12
INTEGER_IDX	分區字段值順序	0

?

• PARTITION_PARAMS

該表存儲分區的屬性信息。

元數據表字段	說明	示例數據
PART_ID	分區ID	2
PARAM_KEY	分區屬性名	numFiles、numRows
PARAM_VALUE	分區屬性值	15、502195

?

13.6 其他不常用的元數據表

• DB_PRIVS

數據庫權限信息表。通過GRANT語句對數據庫授權后，將會在這里存儲。

• IDXS

索引表，存儲Hive索引相關的元數據

• INDEX_PARAMS

索引相關的屬性信息。

• TAB_COL_STATS

表字段的統計信息。使用ANALYZE語句對表字段分析后記錄在這里。

• TBL_COL_PRIVS

表字段的授權信息

• PART_PRIVS

分區的授權信息

• PART_COL_STATS

分區字段的統計信息。

• PART_COL_PRIVS

分區字段的權限信息。

• FUNCS

用戶注冊的函數信息

• FUNC_RU

用戶注冊函數的資源信息

?

13.6 示例

建表語句：

CREATE TABLE lxw1234 (

cookieid STRING,

url STRING,

ua STRING,

ip STRING,

createtime STRING

)

COMMENT 'This is the page view table'

partitioned BY (day STRING,site STRING)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ','

stored AS ORC;

建表執行之后，元數據中以下表的數據會有所變化：

• TBLS

生成了表lxw1234的基本信息

SELECT * FROM TBLS WHERE TBL_NAME = ‘lxw1234’;

元數據表字段	數據
TBL_ID	41509
CREATE_TIME	1436324659
DB_ID	11
LAST_ACCESS_TIME	0
OWNER	liuxiaowen
RETENTION	0
SD_ID	91740
TBL_NAME	lxw1234
TBL_TYPE	MANAGED_TABLE
VIEW_EXPANDED_TEXT	NULL
VIEW_ORIGINAL_TEXT	NULL

?

• TABLE_PARAMS

select? *? from? TABLE_PARAMS? WHERE? TBL_ID=41509

TBL_ID	PARAM_KEY	PARAM_VALUE
41509	comment	This is the page view table
41509	transient_lastDdlTime	1436324659

?

• SDS

SELECT?*?FROM?SDS?WHERE?SD_ID =?91740

元數據表字段	數據
SD_ID	91740
CD_ID	41564
INPUT_FORMAT	org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
IS_COMPRESSED	0
IS_STOREDASSUBDIRECTORIES	0
LOCATION	hdfs://namenode/hivedata/warehouse/liuxiaowen.db/lxw1234
NUM_BUCKETS	-1
OUTPUT_FORMAT	org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
SERDE_ID	91740

• SERDES

select?*?from?SERDES?WHERE?SERDE_ID =?91740

元數據表字段	數據
SERDE_ID	91740
NAME	?
SLIB	org.apache.hadoop.hive.ql.io.orc.OrcSerde

?

• SERDE_PARAMS

select * from? SERDE_PARAMS? WHERE? SERDE_ID=91740

?

SERDE_ID	PARAM_KEY	PARAM_VALUE
91740	field.delim	,
91740	serialization.format	,

?

• COLUMNS_V2

select * from COLUMNS_V2 WHERE CD_ID=41564?ORDER BY INTEGER_IDX

CD_ID	COMMENT	COLUMN_NAME	TYPE_NAME	INTEGER_IDX
41564	?	cookieid	string	0
41564	?	url	string	1
41564	?	ua	string	2
41564	?	ip	string	3
41564	?	createtime	string	4

?

• PARTITION_KEYS

select * from? PARTITION_KEYS? WHERE? TBL_ID=41509

TBL_ID	PKEY_COMMENT	PKEY_NAME	PKEY_TYPE	INTEGER_IDX
41509	?	day	string	0
41509	?	site	string	1

再插入數據：

INSERT OVERWRITE TABLE lxw1234 PARTITION (day ='2015-07-08', site ='lxw1234.com')

SELECT

'cookie1' AS cookieid,

'http://lxw1234.com' AS url,

'firefox' AS ua,

'127.0.0.1' AS ip,

'2015-07-08 11:00:01' AS createtime

FROM dual

limit 1;

?

插入數據執行完之后，以下表的元數據發生變化：

?

• PARTITIONS

select * from? `PARTITIONS`? WHERE? TBL_ID=41509

PART_ID	CREATE_TIME	LAST_ACCESS_TIME	PART_NAME	SD_ID	TBL_ID
54472	1436325812	0	day=2015-07-08/site=lxw1234.com	91746	41509

• SDS

select *? from? SDS? WHERE? SD_ID=91746

注意：這里的存儲和表的存儲是不同的，因為每個分區也會有一個SD

元數據表字段	數據
SD_ID	91746
CD_ID	41564
INPUT_FORMAT	org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
IS_COMPRESSED	0
IS_STOREDASSUBDIRECTORIES	0
LOCATION	hdfs://namenode/hivedata/warehouse/liuxiaowen.db/lxw1234/day=2015-07-08/site=lxw1234.com
NUM_BUCKETS	-1
OUTPUT_FORMAT	org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
SERDE_ID	91746

?

• PARTITION_KEY_VALS

select? *? from? PARTITION_KEY_VALS? where? PART_ID=54472

PART_ID	PART_KEY_VAL	INTEGER_IDX
54472	2015-07-08	0
54472	lxw1234.com	1

?

• PARTITION_PARAMS

select * from PARTITION_PARAMS where PART_ID =?54472

PART_ID	PARAM_KEY	PARAM_VALUE
54472	COLUMN_STATS_ACCURATE	true
54472	numFiles	1
54472	numRows	1
54472	rawDataSize	408
54472	totalSize	703
54472	transient_lastDdlTime	1436325813

?

在分區的屬性里面，生成的該分區的統計信息（Statistics）。

關于Hive的統計信息（Statistics），后面將會介紹。

總結

以上是生活随笔為你收集整理的Hive的元数据表结构详解（转自lxw1234）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。