快上网专注成都网站设计 成都网站制作 成都网站建设
成都网站建设公司服务热线:028-86922220

网站建设知识

十年网站开发经验 + 多家企业客户 + 靠谱的建站团队

量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决

Hadoop和Hbase伪集群如何安装

小编给大家分享一下Hadoop和Hbase伪集群如何安装,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

成都创新互联公司专注于企业营销型网站建设、网站重做改版、宁江网站定制设计、自适应品牌网站建设、HTML5建站商城系统网站开发、集团公司官网建设、外贸网站制作、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为宁江等各大城市提供网站开发制作服务。

Hbase和Hadoop和jdk版本一定要对应,不然很容易出错

Hbase和jdk版本对应关系

Java VersionHBase 1.3+HBase 2.1+HBase 2.3+
JDK7支持不支持不支持
JDK8支持支持支持
JDK11不支持不支持没有测试

Hbase和Hadoop版本对应关系


HBase-1.3.xHBase-1.4.xHBase-1.5.xHBase-2.1.xHBase-2.2.xHBase-2.3.x
Hadoop-2.4.x支持不支持不支持不支持不支持不支持
Hadoop-2.5.x支持不支持不支持不支持不支持不支持
Hadoop-2.6.0不支持不支持不支持不支持不支持不支持
Hadoop-2.6.1+支持不支持不支持不支持不支持不支持
Hadoop-2.7.0不支持不支持不支持不支持不支持不支持
Hadoop-2.7.1+支持支持不支持支持不支持不支持
Hadoop-2.8.[0-2]不支持不支持不支持不支持不支持不支持
Hadoop-2.8.[3-4]没有测试没有测试不支持支持不支持不支持
Hadoop-2.8.5+没有测试没有测试支持支持支持不支持
Hadoop-2.9.[0-1]不支持不支持不支持不支持不支持不支持
Hadoop-2.9.2+没有测试没有测试支持没有测试支持不支持
Hadoop-2.10.0没有测试没有测试支持没有测试没有测试支持
Hadoop-3.0.[0-2]不支持不支持不支持不支持不支持不支持
Hadoop-3.0.3+不支持不支持不支持支持不支持不支持
Hadoop-3.1.0不支持不支持不支持不支持不支持不支持
Hadoop-3.1.1+不支持不支持不支持支持支持支持
Hadoop-3.2.x不支持不支持不支持不支持支持支持

Hase下载地址: https://hbase.apache.org/downloads.html Hadoop下载地址: https://hadoop.apache.org/releases.html jdk版本1.8

hadoop-3.2.1.tar.gz
hbase-2.3.1-bin.tar.gz

1.安装hadoop

> tar -xzvf hadoop-3.2.1.tar.gz
//修改配置文件
> cd hadoop-3.2.1/etc/hadoop

//创建 /usr/local/hadoop 目录

> mkdir /usr/local/hadoop
> vim hadoop-env.sh
//添加JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.b09-2.el7_8.x86_64
> vim hdsf-site.xml

    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data
    
> vim core-site.xml


    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://localhost:9000
    
  1. 执行 NameNode 的格式化

> /root/hadoop/hadoop-3.2.1/bin/hdfs namenode -format
  1. 启动hdfs

> /root/hadoop/hadoop-3.2.1/sbin/start-dfs.sh

错误一:

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.
hadoop1: ssh: Could not resolve hostname 

> hostname
hadoop1
vim /etc/hosts
127.0.0.1 hadoop1 //添加


错误二:
localhost: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

> ssh localhost
//初次登陆需要输入yes
//输入密码

1.设置无密码登陆
//退出刚才的登陆,注意此时还在服务器上,并没有退回到本地
> exit
> cd ~/.ssh
> ssh-keygen -t rsa
> cat ./id_rsa.pub >> ./authorized_keys
> chmod 700 ~/.ssh
> chmod 644 ~/.ssh/authorized_keys

// .ssh需要是700权限
// authorized_keys需要是644权限


错误三:
ERROR: Attempting to operate on hdfs namenode as root
> vim /root/hadoop/hadoop-3.2.1/etc/hadoop/hadoop-env.sh
//头部添加
export HDFS_DATANODE_USER=root
export HADOOP_SECURE_DN_USER=hdfs
export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root


然后重新启动
  1. 进入Hadoop创建一个文件

> /root/hadoop/hadoop-3.2.1/bin/hdfs dfs -mkdir /test
//查看
>  /root/hadoop/hadoop-3.2.1/bin/hdfs dfs -ls  /
  1. 安装Hbase

> tar -xzvf hbase-2.3.1-bin.tar.gz
> cd hbase-2.3.1/conf
//拷贝Hadoop中hdfs-site.xml和core-site.xml到当前目录
> cp ../../hadoop-3.2.1/etc/hadoop/hdfs-site.xml  .
> cp ../../hadoop-3.2.1/etc/hadoop/core-site.xml  .
> vim hbase-env.sh
//添加jdk环境变量
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.b09-2.el7_8.x86_64

> vim hbase-size.xml


        
                hbase.rootdir
                hdfs://127.0.0.1:9000/hbase
        
        
                hbase.zookeeper.property.dataDir
                /usr/local/hadoop/zookeeper
        
        
                hbase.cluster.distributed
                true
        


> mkdir /usr/local/hadoop/zookeeper
  1. 访问Hbase

>/root/hadoop/hbase-2.3.1/bin/hbase shell
  1. 网页访问地址

Hbase: http://xxx:16010/master-status

//开启Hadoop网页访问
> /root/hadoop/hadoop-3.2.1/sbin/start-yarn.sh

Hadoop: http://xxx:8088/cluster
  1. Hadoop端口大全

节点默认端口配置用途说明
HDFSDataNode50010dfs.datanode.addressdatanode服务端口,用于数据传输
HDFSDataNode50075dfs.datanode.http.addresshttp服务的端口
HDFSDataNode50475dfs.datanode.https.addresshttps服务的端口
HDFSDataNode50020dfs.datanode.ipc.addressipc服务的端口
HDFSNameNode50070dfs.namenode.http-addresshttp服务的端口
HDFSNameNode50470dfs.namenode.https-addresshttps服务的端口
HDFSNameNode8020fs.defaultFS接收Client连接的RPC端口,用于获取文件系统metadata信息。
HDFSjournalnode8485dfs.journalnode.rpc-addressRPC服务
HDFSjournalnode8480dfs.journalnode.http-addressHTTP服务
HDFSZKFC8019dfs.ha.zkfc.portZooKeeper FailoverController,用于NN HA
YARNResourceManager8032yarn.resourcemanager.addressRM的applications manager(ASM)端口
YARNResourceManager8030yarn.resourcemanager.scheduler.addressscheduler组件的IPC端口
YARNResourceManager8031yarn.resourcemanager.resource-tracker.addressIPC
YARNResourceManager8033yarn.resourcemanager.admin.addressIPC
YARNResourceManager8088yarn.resourcemanager.webapp.addresshttp服务端口
YARNNodeManager8040yarn.nodemanager.localizer.addresslocalizer IPC
YARNNodeManager8042yarn.nodemanager.webapp.addresshttp服务端口
YARNNodeManager8041yarn.nodemanager.addressNM中container manager的端口
YARNJobHistory Server10020mapreduce.jobhistory.addressIPC
YARNJobHistory Server19888mapreduce.jobhistory.webapp.addresshttp服务端口
HBaseMaster60000hbase.master.portIPC
HBaseMaster60010hbase.master.info.porthttp服务端口
HBaseRegionServer60020hbase.regionserver.portIPC
HBaseRegionServer60030hbase.regionserver.info.porthttp服务端口
HBaseHQuorumPeer2181hbase.zookeeper.property.clientPortHBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBaseHQuorumPeer2888hbase.zookeeper.peerportHBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBaseHQuorumPeer3888hbase.zookeeper.leaderportHBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HiveMetastore9083/etc/default/hive-metastore中export PORT=来更新默认端口
HiveHiveServer10000/etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=来更新默认端口
ZooKeeperServer2181/etc/zookeeper/conf/zoo.cfg中clientPort=对客户端提供服务的端口
ZooKeeperServer2888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分follower用来连接到leader,只在leader上监听该端口。
ZooKeeperServer3888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分用于leader选举的。只在electionAlg是1,2或3(默认)时需要。
//修改默认端口
> vim /root/hadoop/hadoop-3.2.1/etc/hadoop/yarn-site.xml
// name 可以参照上面的表

  
    yarn.resourcemanager.webapp.address
    xxx:8088
  


//然后启动或者重启yarn(资源管理系统)

> /root/hadoop/hadoop-3.2.1/sbin/start-yarn.sh

以上是“Hadoop和Hbase伪集群如何安装”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


当前文章:Hadoop和Hbase伪集群如何安装
网站地址:http://6mz.cn/article/ijpejj.html

其他资讯