hadoop2.5.2的安装过程

本篇内容介绍了“hadoop2.5.2的安装过程”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

我们提供的服务有：网站制作、成都网站建设、微信公众号开发、网站优化、网站认证、汝阳ssl等。为近千家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的汝阳网站制作公司

安装之前，想好自己的安装顺序，我的安装顺序

1 确定安装集群的数量和namenode,datanode分配，然后修改对应的osts配置文件

2 让集群之间实现ssh无密码登陆（hadoop集群中，namenode节点需要能够ssh无密码访问datanode节点）

3 配置详细环境，主要为jdk包和hadoop包

本章主要介绍安装过程，详细的配置文档请点击 --》http://my.oschina.net/u/259463/blog/514008

1 修改/etc/hosts 文件
          192.168.1.100 nameNode
          192.168.1.101 dataNode1
          192.168.1.102 dataNode2
将集群中的机器添加到hosts中

2 实现SSH无密码验证配置
          注：1 hadoop 集群中，nameNode节点，需要能够ssh 无密码访问dataNode节点
                 2 多台机器需要重复操作 2),3) ,4)过程
      1）首先 nameNode节点生成公钥
              输入： ssh-keygen -t rsa
                生成过程中有三次要求回车（基本全部回车不用设置）
                        1 采用默认文件保存钥匙
                        2 键入密码短语，如果建立至少5个字符
                        3 重复密码短语
      2）将生成的密钥拷贝到daataNode节点中（如果是非root用户，就是/home下该用户的主目录）
               输入： cd /root/.ssh
                          scp ./id_rsa.pub root@192.168.1.101:/root/.ssh/authorized_keys
        中间要求输入对应机器的密码，输入就行
   3）检查datanode机器authorized_keys的权限，确保为644（-rw-r--r--），如果不是，则修改权限，命令如下 chmod 644 authorized_keys
4）测试 ssh 192.168.1.101

3 安装Jdk
   1）这是格式为.bin的jdk
       jdk-6u45-linux-i586.bin复制到/usr/java文件夹下,在/usr/java文件夹下执行./jdk-6u45-linux-i586.bin
   2）常见安装包为 jdk-7-linux-i586.tar.gz
        tar zvxf jdk-7-linux-i586.tar.gz /usr/java

打开/etc/profile，在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_23
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
可以执行source profile（在/etc/文件夹下）快速生效
输入java -version测试

4 安装hadoop
          hadoop-2.5.2
    同jdk安装，将下载好的hadoop压缩包解压
               例：tar -zxvf hadoop-2.5.2.tar.gz /home/hadoop
   同样在环境变量文件中添加对应的环境变量
      打开/etc/profile，在文件最后添加
###set hadoop_env
export HADOOP_HOME=/home/hadoop/hadoop-2.5.2
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=\"-Djava.library.path=$HADOOP_HOME/lib\"

   执行source profile（在/etc/文件夹下）快速生效

5 配置hadoop需要的配置文件

详情请看 http://my.oschina.net/u/259463/blog/514008

5 用scp 命令将hadoop文件夹拷贝到所有的节点机器相同路径上。

例子: scp -r hadoop-2.5.2/ root@dataNode01:/home/hadoop

-r 为文件夹里面所有文件 root为复制电脑的用户名，后面接的为IP请见上面hosts配置文件，后面跟的是复制到的路径

6 要确认防火墙的配置，或者直接关闭

/etc/init.d/iptables status 本次关闭为 /etc/init.d/iptables stop 其他请百度

7 启动测试

先格式化 namenode 方法为: ./bin/hadoop namenode -format

如果格式化因为其他问题报错，或者不是第一次格式化请将core-site.xml 配置文件中hadoop.tmp.dir tmp文件夹删除。

如果输出出现（基本倒数几行里面）： /hadoop-2.5.2/hdfs/name has been successfully formatted 说明成功，报错就需要自己百度google查找问题

8 然后将hdfs yarn启动

sbin/start-dfs.sh
sbin/start-yarn.sh

9 启动成功后可进行浏览器访问

http://192.168.1.100:50070/

http://192.168.1.100:8088/ 都没有问题就说明hadoop和jdk安装成功。。然后开搞吧

“hadoop2.5.2的安装过程”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！

标题名称：hadoop2.5.2的安装过程
浏览路径：http://6mz.cn/article/piiise.html

网站建设知识

hadoop2.5.2的安装过程

其他资讯