hbase集群间如何实现数据迁移
小编给大家分享一下hbase集群间如何实现数据迁移，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！
网站建设哪家好，找成都创新互联！专注于网页设计、网站建设、微信开发、重庆小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了文成免费建站欢迎大家使用！
HBase迁移数据
一、需要在hbase集群停掉的情况下迁移
步骤：
(1)执行Hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest"
(2)在new cluster执行./hbase org.jruby.Main add_table.rb /hbase/table20111222，将拷贝来的表加入到.MEAT.中（会出现region的数目不一致的问题，这个需要重启hase才能解决）
说明：(1)filelist为hdfs上的列表文件，内容如下：
/hbase/table20111222
/hbase/table20120131
(2)如果两个集群的hadoop版本不一致，需要在new cluster上执行hadoop distcp，否则会出现读写异常；
二、在集群运行的时候进行数据迁移
1、Replication：
这个是动态的备份（可以理解为实时备份）
步骤：
(1)在old cluster将需要迁移的表属性进行修改：
disable 'your_table'
alter 'your_table', {NAME => 'family_name', REPLICATION_SCOPE => '1'}
enable 'your_table'
(2)打开new cluster集群的replication，修改hbase-site.xml
(3)添加peer，在new cluster的hbase shell中执行：add_peer '1','old cluster ip:2181:/hbase'，启动replication，执行start_replication
说明：需要两个集群的hadoop版本一致，否则出现读写错误
2、CopyTable：
可以在本集群中拷贝一张表，也可以将表拷贝到其他的集群中。
命令：./hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=new cluster ip:2181:/hbase zy_test
说明：(1)拷贝完成，不需要重启机器，在new cluster中就可以看到该表;
(2)稳定性还需要考虑，测试过程中遇到一个问题，拷贝过程中始终都停留在这里Lookedup root region location, 查看日志没有什么错误和相关的信息。
3、Export and Import
步骤：
(1)在old cluster上执行：./hbase org.apache.hadoop.hbase.mapreduce.Export test hdfs://new cluster ip:9000/zhuangyang/test
(2)在new cluster上执行：./hbase org.apache.hadoop.hbase.mapreduce.Import test hdfs://new cluster ip:9000/zhuangyang/test
说明：
(1)一定要写全路径，不能写相对路劲;
(2)在import前，需要将表事先在new cluster中创建好.
以上都是在old cluster和new cluster网络相通的情况下实现数据迁移的办法。
HBase迁移数据方案二（两个集群不能通信）
两个可以直接通信的集群之间很容易拷贝数据从而迁移HBase数据。
但是如果两个集群在不同的网络，没法通信呢？
今天测试了一个方案：
把某个表(table1)从集群1迁移到集群2（两个集群互相看不见），步骤如下
1、拷贝集群1的表文件到本地磁盘 :
/app/cloud/Hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase-backup/table1
2、对于文件操作，很简单吧，随便你怎么去拷贝来拷贝去
3、如果集群2中也有对应的表文件，那么删除掉，然后拷贝
/app/cloud/hadoop/bin/hadoop fs -rmr /hbase/table1
/app/cloud/hadoop/bin/hadoop fs -copyFromLocal /data0/hbase-backup/table1 /hbase/table1
4、重置该表在.META.表中的分区信息
bin/hbase org.jruby.Main bin/add_table.rb /hbase/table1
另外：
1、如果表的数据量过大呢？ 那么按照该表在HDFS中的文件夹数据，分批拷贝。
2、如果两个集群可以互相通信呢？采用第一种方案即可
以上是“hbase集群间如何实现数据迁移”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！
网页名称：hbase集群间如何实现数据迁移
转载注明：http://6mz.cn/article/pcjpog.html