hadoop集群相关操作有哪些
这篇文章给大家分享的是有关hadoop集群相关操作有哪些的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。
创新互联专注于吉林网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供吉林营销型网站建设，吉林网站制作、吉林网页设计、吉林网站官网定制、小程序制作服务，打造吉林网络公司原创品牌,更为您提供吉林网站排名全网营销落地服务。
hadoop集群
首先关闭 selinux，
vim /etc/selinux/config SELINUX=disabled
防火墙
systemctl stop firewalld systemctl disable firewalld
1.master和slave机都修改/etc/hostname
添加
192.168.1.129 hadoop1 192.168.1.130 hadoop2 192.168.1.132 hadoop3
2.免密码登录
master主机(hadoop1)
切换到/root/.ssh
ssh-keygen -t rsa
一直按回车
生成 id_rsa 和id_rsa.pub
cat id_rsa.pub >> master
将公钥保存到master，发送到slave机器
scp master hadoop2:/root/.ssh/
登录slave(hadoop2，hadoop3)
将master追加到authorized_keys
cat master>>authorized_keys
slave机同
3.配置
解压hadoop-2.6.0.tar.gz到/usr/lib/目录下
tar -zxvf hadoop-2.6.0.tar.gz -C /usr/lib/ cd /usr/lib/hadoop-2.6.0/etc/hadoop
配置文件
4.安装zookeeper
配置环境变量
export JAVA_HOME=/usr/lib/jdk1.7.0_79 export MAVEN_HOME=/usr/lib/apache-maven-3.3.3 export LD_LIBRARY_PATH=/usr/lib/protobuf export ANT_HOME=/usr/lib/apache-ant-1.9.4 export ZOOKEEPER_HOME=/usr/lib/zookeeper-3.4.6 export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$LD_LIBRARY_PATH/bin:$ANT_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$ZOOKERPER_HOME/lib
4.1配置zookeeper/conf/ 将zoo_sample.cfg复制为zoo.cfg
cp zoo_sample.cfg zoo.cfg
修改
dataDir=/usr/lib/zookeeper-3.4.6/datas
增加
server.1=hadoop1:2888:3888 server.2=hadoop2:2888:3888 server.3=hadoop3:2888:3888
创建/usr/lib/zookeeper-3.4.6/datas并创建myid在myid中写入对应的数字
将zookeeper-3.4.6 拷贝到hadoop2 和hadoop3以及/etc/profile
运行
hadoop1,hadoop2,hadoop3上执行
zkServer.sh start
查看状态
zkServer.sh status
有Mode: leader，Mode: follower等说明运行正常
5.安装hadoop
在master(hadoop1)上执行
将前面编译的hadoop-2.6.0.tar.gz 解压到/usr/lib/
配置环境变量
export JAVA_HOME=/usr/lib/jdk1.7.0_79 export MAVEN_HOME=/usr/lib/apache-maven-3.3.3 export LD_LIBRARY_PATH=/usr/lib/protobuf export ANT_HOME=/usr/lib/apache-ant-1.9.4 export ZOOKEEPER_HOME=/usr/lib/zookeeper-3.4.6 export HADOOP_HOME=/usr/lib/hadoop-2.6.0 export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$LD_LIBRARY_PATH/bin:$ANT_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
（hadoop2，hadoop3中可以没有maven等这些是编译hadoop时候配置的）
5.1修改配置文件
cd hadoop-2.6.0/etc/hadoop
配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、slaves)
5.1.1 hadoop-env.sh
export JAVA_HOME=/usr/lib/jdk1.7.0_79
5.1.2 core-site.xml
fs.defaultFS hdfs://cluster1 hadoop.tmp.dir /usr/lib/hadoop-2.6.0/tmp ha.zookeeper.quorum hadoop1:2181,hadoop2:2181,hadoop3:2181
5.1.3 hdfs-site.xml
dfs.replication 2 dfs.nameservices cluster1 dfs.ha.namenodes.cluster1 hadoop101,hadoop102 dfs.namenode.rpc-address.cluster1.hadoop101 hadoop1:9000 dfs.namenode.http-address.cluster1.hadoop101 hadoop1:50070 dfs.namenode.rpc-address.cluster1.hadoop102 hadoop2:9000 dfs.namenode.http-address.cluster1.hadoop102 hadoop2:50070 dfs.ha.automatic-failover.enabled.cluster1 true dfs.namenode.shared.edits.dir qjournal://hadoop2:8485;hadoop3:8485/cluster1 dfs.journalnode.edits.dir /usr/lib/hadoop-2.6.0/tmp/journal dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_rsa dfs.client.failover.proxy.provider.cluster1 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
5.1.4 yarn-site.xml
yarn.resourcemanager.hostname hadoop1 yarn.nodemanager.aux-services mapreduce_shuffle
2.1.5 mapred-site.xml
mapreduce.framework.name yarn
2.1.6 slaves
hadoop2 hadoop3
6.集群启动：
6.1格式化zookeeper集群
hadoop1中执行
bin/hdfs zkfc -formatZK
6.2启动journalnode集群，在hadoop2和hadoop3当中执行
sbin/hadoop-daemon.sh start journalnode
6.3格式化namenode，启动namenode
在hadoop1当中执行
bin/hdfs namenode -format sbin/hadoop-daemon.sh start namenode
在hadoop2上执行
bin/hdfs namenode -bootstrapStandby sbin/hadoop-daemon.sh start namenode
启动datanode 直接在hadoop1中执行
sbin/hadoop-daemons.sh start datanode
启动zkfc，哪里有namenode就在哪里启动这个进程
在hadoop1和hadoop2中执行
sbin/hadoop-daemon.sh start zkfc
启动yarn 和resourcemanager，在hadoop1中执行
sbin/start-yarn.sh start resourcemanager
在浏览器输入
http://192.168.1.129:50070
Overview 'hadoop1:9000' (active)
http://192.168.1.130:50070/
Overview 'hadoop2:9000' (standby)
hadoop -fs ls /
查看hadoop目录
感谢各位的阅读！关于“hadoop集群相关操作有哪些”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！
文章题目：hadoop集群相关操作有哪些
当前网址：http://6mz.cn/article/jdsedj.html