hadoop伪集群怎么搭建
小编给大家分享一下hadoop伪集群怎么搭建，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！
让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：主机域名、虚拟主机、营销软件、网站建设、泽库网站维护、网站推广。
准备工作：
1、笔记本4G内存 ，操作系统WIN7
2、工具：VMware Workstation
3、虚拟机：CentOS6.5（64位）共3台，一个master，两个slave，
安装好一个主机master的CentOS系统， 1、系统环境设置（先配置master节点）
1.1 修改主机名
vim /etc/sysconfig/network
NETWORKING=yes HOSTNAME=master NTPSERVERARGS=iburst
1.2 修改主机名和IP的映射关系（hosts）
vim /etc/hosts
添加：192.168.111.131 master
1.3 关闭防火墙
service iptables status //查看防火墙的状态
service iptables stop //关闭防火墙
chkconfig iptables --list //查看防火墙开机启动状态
chkconfig iptables off //关闭防火墙开机启动
1.4 重启系统
#reboot 2.安装jdk
1、下载jdk，地址：http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
2、上传到虚拟机
3、解压jdk
#mkdir opt
#tar -zxvf jdk-7u79-linux-x64.tar.gz
4、将java添加到环境变量中
#vim /etc/profile
//在文件的最后添加
export JAVA_HOME=/home/master/opt/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
java -version
配置ssh免登录
$ ssh-keygen -t rsa (四个回车)
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ ~/.ssh/authorized_keys //查看rsa 4. 安装hadoop2.6.0
首先将hadoop解压缩到opt文件夹
4.1 配置hadoop
4.1.1 配置hadoop-env.sh
将 JAVA_HOME 修改为刚才配置的位置 export JAVA_HOME=/home/master/opt/jdk1.7.0_79
4.1.2 配置core-site.xml
添加下面的内容:
4.1.3 配置hdfs-site.xml
添加下面的内容:
4.1.4 配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
添加下面的内容:
4.1.5 配置yarn-site.xml
添加下面的内容:
4.2 将hadoop添加到环境变量
export HADOOP_HOME=/home/master/opt/hadoop-2.6.0 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
4.3 格式化namenode
hdfs namenode -format
4.4 启动hadoop
先启动HDFS：
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
4.4 验证是否启动成功
jps
2871 ResourceManager 3000 Jps 2554 NameNode 2964 NodeManager 2669 DataNode
以上是“hadoop伪集群怎么搭建”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！
网页标题：hadoop伪集群怎么搭建
转载来源：http://6mz.cn/article/pjdgdj.html