Hive的存储和压缩方式

一. Hive的数据压缩格式 

在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过 hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽

MR支持的压缩编码 

为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示

压缩性能的比较 

开启Map输出阶段压缩

开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下： 

案例实操： 

1）开启hive中间传输数据压缩功能 

set hive.exec.compress.intermediate=true;

2）开启mapreduce中map输出压缩功能 

set mapreduce.map.output.compress=true;

3）设置mapreduce中map输出数据的压缩方式 

set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;

4）执行查询语句 

 select count(1) from score;

开启Reduce输出阶段压缩 

当Hive将输出写入到表中时，输出内容同样可以进行压缩。属性hive.exec.compress.output控制着这个功能。用 户可能需要保持默认设置文件中的默认值false，这样默认的输出就是非压缩的纯文本文件了。用户可以通过在查询 语句或执行脚本中设置这个值为true，来开启输出结果压缩功能。

 案例实操：

 1）开启hive最终输出数据压缩功能 

set hive.exec.compress.output=true;

2）开启mapreduce最终输出数据压缩 

set mapreduce.output.fileoutputformat.compress=true;

3）设置mapreduce最终数据输出压缩方式 

set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

4）设置mapreduce最终数据输出压缩为块压缩 

set mapreduce.output.fileoutputformat.compress.type=BLOCK;

5）测试一下输出结果是否是压缩文件 

insert overwrite local directory '/export/servers/snappy' select * from score distribute by s_id sort by s_id desc;

二. Hive的数据存储格式 

Hive支持的存储数的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC（列式存储）、 PARQUET（列式存储）。

 列式存储和行式存储 

上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。 

行存储的特点： 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存 储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。 列存储的特点： 因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每 个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。 TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的；

ORC和PARQUET是基于列式存储的。

 常用数据存储格式

TEXTFILE格式

 默认格式，数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使用. 

ORC格式 

Orc (Optimized Row Columnar)是hive 0.11版里引入的新的存储格式。

可以看到每个Orc文件由1个或多个stripe组成，每个stripe250MB大小，每个Stripe里有三部分组成，分别是Index Data,Row Data,Stripe Footer： 

indexData：某些列的索引数据 

rowData :真正的数据存储

StripFooter：stripe的元数据信息

PARQUET格式 

Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发， 

Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此 Parquet格式文件是自解析的。 

通常情况下，在存储Parquet数据的时候会按照Block大小设置行组的大小，由于一般情况下每一个Mapper任务处 理数据的最小单位是一个Block，这样可以把每一个行组由一个Mapper任务处理，增大任务执行并行度。Parquet 文件的格式如下图所示。

三. Hive的数据存储格式和数据压缩结合 压缩比和查询速度对比 

1）TextFile

（1）创建表，存储数据格式为TEXTFILE

create table log_text ( track_time string, url string, session_id string, referer string, ip string, end_user_id string, city_id string )ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE ;

（2）向表中加载数据

load data local inpath '/export/servers/hivedatas/log.data' into table log_text ; 

（3）查看表中数据大小

 hdfs dfs ‐du ‐h user/hive/warehouse/myhive.db/log_text;

2）ORC

（1）创建表，存储数据格式为ORC 

create table log_orc( track_time string, url string, session_id string, referer string, ip string, end_user_id string, city_id string )ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS orc ;

（2）向表中加载数据

insert into table log_orc select * from log_text ; 

（3）查看表中数据大小

 dfs ‐du ‐h user/hive/warehouse/myhive.db/log_orc; 

3）Parquet

（1）创建表，存储数据格式为parquet

create table log_parquet( track_time string, url string, session_id string, referer string, ip string, end_user_id string, city_id string )ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS PARQUET ;

（2）向表中加载数据

insert into table log_parquet select * from log_text ;

（3）查看表中数据大小

dfs ‐du ‐h user/hive/warehouse/myhive.db/log_parquet;

存储文件的压缩比总结： 

ORC （2.8M）> Parquet（13.1M） > textFile（18.1M） 

4)存储文件的查询速度测试： 

1）TextFile hive (default)> select count(*) from log_text; Time taken: 21.54 seconds, Fetched: 1 row(s) 2）ORC hive (default)> select count(*) from log_orc; Time taken: 20.867 seconds, Fetched: 1 row(s) 

3）Parquet hive (default)> select count(*) from log_parquet; Time taken: 22.922 seconds, Fetched: 1 row(s)

存储文件的查询速度总结：

 ORC > TextFile > Parquet 

ORC存储指定压缩方式

ORC存储方式的压缩：

1）创建一个非压缩的的ORC存储方式 

（1）建表语句

create table log_orc_none( track_time string, url string, session_id string, referer string, ip string, end_user_id string, city_id string )ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS orc tblproperties ("orc.compress"="NONE");

（2）插入数据

insert into table log_orc_none select * from log_text ;

（3）查看插入后数据

hdfs dfs ‐du ‐h user/hive/warehouse/myhive.db/log_orc_none

2）创建一个SNAPPY压缩的ORC存储方式

（1）建表语句

create table log_orc_snappy( track_time string, url string, session_id string, referer string, ip string, end_user_id string, city_id string )ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS orc tblproperties ("orc.compress"="SNAPPY");

（2）插入数据

insert into table log_orc_snappy select * from log_text ;

（3）查看插入后数据

dfs ‐du ‐h /user/hive/warehouse/myhive.db/log_orc_snappy ;

3)创建一个SNAPPY压缩的parquet存储方式 

(1)创建表 

create table log_parquet_snappy ( track_time string, url string, session_id string, referer string, ip string, end_user_id string, city_id string )ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS PARQUET TBLPROPERTIES('parquet.compression'='SNAPPY')

（2）插入数据

insert into table log_parquet_snappy select * from log_text ;

（3）查看插入后数据

dfs ‐du ‐h /user/hive/warehouse/myhive.db/log_parquet_snappy ;

存储方式和压缩总结： 

在实际的项目开发当中，hive表的数据存储格式一般选择：

orc或parquet。压缩方式一般选择snappy。