hive动态分区插入的实验步骤和总结
这篇文章主要讲解了“hive动态分区插入的实验步骤和总结”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“hive动态分区插入的实验步骤和总结”吧！
成都创新互联公司服务项目包括沈丘网站建设、沈丘网站制作、沈丘网页制作以及沈丘网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，沈丘网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到沈丘省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！
实验目的
1. 验证对分区表进行动态分区插入功能
2. 验证是否可以使用load进行动态分区插入
实验步骤
1. 在本地文件/home/grid/a.txt中写入以下4行数据：
aaa,US,CA
aaa,US,CB
bbb,CA,BB
bbb,CA,BC
2. 建立非分区表并加载数据
CREATE TABLE t1 (name STRING, cty STRING, st STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t1;
SELECT * FROM t1;
dfs -ls /user/hive/warehouse/test.db/t1;
执行命令及结果如图1所示。
图1
3. 建立外部分区表并动态加载数据
CREATE EXTERNAL TABLE t2 (name STRING) PARTITIONED BY (country STRING, state STRING);
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=1000;
INSERT INTO TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
INSERT INTO TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
SELECT * FROM t2;
dfs -ls /user/hive/warehouse/test.db/t2/;
执行命令及结果如图2所示。
图2
可以看到，向内部分区表中加载了8条数据，动态建立了目录。
4. 编辑a.txt，使其有以下4行数据，然后在执行下面的命令。
aaa,US,CD
aaa,US,CE
ccc,CB,BB
ccc,CB,BC
LOAD DATA LOCAL INPATH '/home/grid/a.txt' OVERWRITE INTO TABLE t1;
INSERT OVERWRITE TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
SELECT * FROM t2;
dfs -ls /user/hive/warehouse/test.db/t2/;
dfs -ls /user/hive/warehouse/test.db/t2/country=US;
执行命令及结果如图3所示。
图3
可以看到，现在表中有12条数据，OVERWRITE并没有覆盖原来的分区，而是追加了4条数据，并且动态建立了新的分区目录。
再次执行一次下面的命令：
INSERT OVERWRITE TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
SELECT * FROM t2;
dfs -ls /user/hive/warehouse/test.db/t2/;
dfs -ls /user/hive/warehouse/test.db/t2/country=US;
执行命令及结果如图4所示。
图4
可以看到，现在表中还是12条数据，分区目录也没有变化。
在动态分区插入上，内外部分区表的行为相同，实验从略。
5. 使用LOAD做动态分区插入
LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t2 PARTITION (country, state);
执行命令及结果如图5所示。
图5
可以看到，load命令不支持动态分区插入。
总结：
1. OVERWRITE不会删除已有的分区目录，只会追加新的分区，并覆盖已有分区的非分区数据。
2. 不能使用load进行动态分区插入
感谢各位的阅读，以上就是“hive动态分区插入的实验步骤和总结”的内容了，经过本文的学习后，相信大家对hive动态分区插入的实验步骤和总结这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！
分享文章：hive动态分区插入的实验步骤和总结
网站URL：http://6mz.cn/article/gepooh.html