十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
在hadoop2.x之前,在HDFS 集群中NameNode 存在单点故障 (SPOF:A Single Point of Failure)。对于只有一个 NameNode 的集群,如果 NameNode 机器出现故障(比如宕机或是软件、硬件升级),那么整个集群将无法使用,必须等到 NameNode 重新启动,之后才能对外提供服务,这个方式在生成环境中是绝对不允许出现的。
HDFS 的 HA:通过配置 Active/Standby 两个 NameNodes 实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障,如机器崩溃或机器需要升级维护,这时可通过此种方式将 NameNode 很快的切换到另外一台机器。
公司主营业务:网站制作、成都网站设计、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。创新互联是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联推出新源免费做网站回馈大家。
解释(数据一致以及持久化问题):
搭建集群前的准备:https://blog.51cto.com/14048416/2341450
zookeeper集群的搭建:https://blog.51cto.com/14048416/2336178
[hadoop@hadoop01 ~]$tar -zxvf hadoop-2.6.5-centos-6.7.tar.gz -C /home/hadoop/apps/
hadoo-env.sh:加入:export JAVA_HOME= /usr/local/jdk1.8.0_73
core-site.xml:
fs.defaultFS
hdfs://myha01/
hadoop.tmp.dir
/home/hadoop/data/hadoopdata/
ha.zookeeper.quorum
hadoop01:2181,hadoop02:2181,hadoop03:2181
hdfs-site.xml:
dfs.replication
3
dfs.nameservices
myha01
dfs.ha.namenodes.myha01
nn1,nn2
dfs.namenode.rpc-address.myha01.nn1
hadoop01:9000
dfs.namenode.http-address.myha01.nn1
hadoop01:50070
dfs.namenode.rpc-address.myha01.nn2
hadoop02:9000
dfs.namenode.http-address.myha01.nn2
hadoop02:50070
dfs.namenode.shared.edits.dir
qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/myha01
dfs.journalnode.edits.dir
/home/hadoop/data/journaldata
dfs.ha.automatic-failover.enabled
true
dfs.client.failover.proxy.provider.myha01
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverPr
oxyProvider
dfs.ha.fencing.methods
sshfence
shell(/bin/true)
dfs.ha.fencing.ssh.private-key-files
/home/hadoop/.ssh/id_rsa
dfs.ha.fencing.ssh.connect-timeout
30000
mapred-site.xml:
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
hadoop02:10020
mapreduce.jobhistory.webapp.address
hadoop02:19888
yarn-site.xml:
yarn.resourcemanager.ha.enabled
true
yarn.resourcemanager.cluster-id
yrc
yarn.resourcemanager.ha.rm-ids
rm1,rm2
yarn.resourcemanager.hostname.rm1
hadoop01
yarn.resourcemanager.hostname.rm2
hadoop02
yarn.resourcemanager.zk-address
hadoop01:2181,hadoop02:2181,hadoop03:2181
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.log-aggregation-enable
true
yarn.log-aggregation.retain-seconds
86400
yarn.resourcemanager.recovery.enabled
true
yarn.resourcemanager.store.class
org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
slaves:
hadoop01
hadoop02
hadoop03
[hadoop@hadoop01 apps]$scp -r hadoop-2.6.5 hadoop@hadoop02:$PWD
[hadoop@hadoop01 apps]$scp -r hadoop-2.6.5 hadoop@hadoop03:$PWD
[hadoop@hadoop01 apps]$ vi ~/.bashrc
添加两行:
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[hadoop@hadoop01 apps]$ source ~/.bashrc
先启动 zookeeper 集群:
启动:zkServer.sh start
检查启动是否正常:zkServer.sh status
启动 journalnode 进程:
[hadoop@hadoop01 ~]$ hadoop-daemon.sh start journalnode
[hadoop@hadoop02 ~]$ hadoop-daemon.sh start journalnode
[hadoop@hadoop03 ~]$ hadoop-daemon.sh start journalnode
然后用 jps 命令查看是否各个 datanode 节点上都启动了 journalnode 进程
在第一个 namenode 上执行格式化操作:
[hadoop@hadoop01 ~]$ hadoop namenode -format
然后会在 core-site.xml 中配置的临时目录中生成一些集群的信息把他拷贝的第二个 namenode 的相同目录下
两个 namenode 节点该目录中的数据结构是一致的
[hadoop@hadoop01 ~]$ scp -r ~/data/hadoopdata/ hadoop03:~/data
或者在另一个namenode节点上使用:hadoop namenode -bootstrapStandby
格式化 ZKFC(在一台集群上格式化即可):
[hadoop@hadoop01 ~]$ hdfs zkfc -formatZK
启动 HDFS:
[hadoop@hadoop01 ~]$ start-dfs.sh
启动 YARN:
[hadoop@hadoop01 ~]$ start-yarn.sh
若备用节点的 resourcemanager 没有启动起来,则手动启动起来:
[hadoop@hadoop02 ~]$ yarn-daemon.sh start resourcemanager
查看各主节点的状态
HDFS:
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2
YARN:
yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2
1.手动杀死active的namenode,看看集群的状况
2.手动杀死active的resourcemanager,看看集群的状况
3.在上传文件时,杀死namenode,查看集群状况
4.在执行任务时,杀死resourcemanager,查看集群状态