Hadoop集群怎样安装
这篇文章主要为大家展示了“Hadoop集群怎样安装”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Hadoop集群怎样安装”这篇文章吧。
网站建设哪家好，找创新互联公司！专注于网页设计、网站建设、微信开发、重庆小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了平陆免费建站欢迎大家使用！
一、安装环境
因为安装Hadoop集群需要的主机数量必须为奇数，这里我用虚拟机搭了三台主机。为了防止IP变动，IP应该设为静态IP。
IP | 主机名 | 操作系统 | 作用 |
192.168.121.201 | Master.Hadoop | CentOS6.6_x64 | NameNode ResourceManager SecondaryNameNode |
192.168.121.202 | Slave1.Hadoop | CentOS6.6_x64 | DataNode NodeManager |
192.168.121.203 | Slave2.Hadoop | CentOS6.6_x64 | DataNode NodeManager |
二、所需软件
1 JDK
可以去下载JDK，也可以用CentOS系统自带的OpenJDK。
若用系统自带的OpenJDK，只需在/etc/profile中设置并激活:
# vi /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
使变量立马生效并检验
# source /etc/profile
# echo $JAVA_HOME
/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64
2 Hadoop
下载地址：http://hadoop.apache.org/releases.html
这里我下载的是2.8.0的binary版本。
三、配置主机间的无密码登录
在每台主机的/etc/hosts中添加
192.168.121.201 Master.Hadoop
192.168.121.202 Slave1.Hadoop
192.168.121.203 Slave2.Hadoop
接下来，可参考http://blog.chinaunix.net/uid-29485627-id-4232161.html
四、Hadoop集群安装
1 解压缩hadoop并移动到/usr/Hadoop
[root@Master 桌面]# mv hadoop-2.8.0.tar.gz /usr/
[root@Master 桌面]# cd /usr/
[root@Master usr]# tar -zxvf hadoop-2.8.0.tar.gz
[root@Master usr]# mv hadoop-2.8.0 hadoop
2 创建hadoop存放临时文件的文件夹
# cd /usr/hadoop
# mkdir tmp
3 修改配置文件
(1)配置hadoop-env.sh中的JAVA_HOME
[root@Master usr]# cd etc/hadoop/
[root@Master hadoop]# vi hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}
改为export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64
(2)配置core-site.xml
(3)配置hdfs-site.xml
(4)配置yarn-site.xml
(5)配置mapred-site.xml
(6)配置slaves文件
[root@Master hadoop]# vi slaves
Slave1.Hadoop
Slave2.Hadoop
4 复制hadoop配置好的包到其他主机上
# scp -r /usr/hadoop Slave1.Hadoop:/usr/
# scp -r /usr/hadoop Slave2.Hadoop:/usr/
5 在三台机器上配置Hadoop环境变量
# vi /etc/profile
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
使变量立马生效并检验：
# source /etc/profile
# echo $HADOOP_HOME
# echo $PATH
五、格式化节点
在Master.Hadoop主机上执行
# cd /usr/hadoop/bin
# ./hdfs namenode -format
六、Hadoop集群全部启动
1 在Master.Hadoop主机上执行
# cd /usr/hadoop/sbin
# ./start-dfs.sh
# ./start-yarn.sh
2 在Master.Hadoop主机上执行jps
[root@Master sbin]# jps
6348 NameNode
6694 ResourceManager
6960 Jps
6546 SecondaryNameNode
3 在Slave1.Hadoop主机上执行jps
[root@Slave1 hadoop]# jps
6016 DataNode
6251 Jps
6126 NodeManager
4 在Slave2.Hadoop主机上执行jps
[root@Slave2 hadoop]# jps
5815 DataNode
6051 Jps
5923 NodeManager
5 在三台CentOS主机上随便打开firefox浏览器，输入http://192.168.121.201:8088
以上是“Hadoop集群怎样安装”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！
名称栏目：Hadoop集群怎样安装
网站URL：http://6mz.cn/article/joedgi.html