快上网专注成都网站设计 成都网站制作 成都网站建设
成都网站建设公司服务热线：028-86922220

网站建设知识

十年网站开发经验 + 多家企业客户 + 靠谱的建站团队

量身定制 + 运营维护+专业推广+无忧售后，网站问题一站解决

Hadoop安装1.0（简版）-创新互联

前提：

成都创新互联公司专注为客户提供全方位的互联网综合服务，包含不限于成都网站制作、做网站、茶陵网络推广、小程序定制开发、茶陵网络营销、茶陵企业策划、茶陵品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们大的嘉奖；成都创新互联公司为所有大学生创业者提供茶陵建站搭建服务，24小时服务热线：18982081108，官方网址：www.cdcxhl.com

一定要保证iptables是关闭的并且selinux是disabled

1、准备硬件

1台namenode和3台datanode

namenode 192.168.137.100

datanode1 192.168.137.101

datanode2 192.168.137.102

datanode3 192.168.137.103

2、在4台机器上建立hadoop用户（也可以是别的用户名）

useradd hadoop

3、在4台机器上安装JDK 1.6

安装后的JAVA_HOME放在/jdk

配置环境变量

vim /etc/bashrc

export JAVA_HOME=/jdk

scp -r /jdk* datanode1:/

scp -r /jdk* datanode2:/

scp -r /jdk* datanode3:/

4、配置4台机器的多机互信

一定记得将各个节点的

/home/hadoop/.ssh

和其以下的所有文件都设成700权限位

5、安装hadoop

tar zxvf hadoop-1.0.4.tar

安装在/hadoop

将/hadoop权限位置为755

vim /hadoop/conf/hadoop-env.sh

export JAVA_HOME=/jdk

vim /hadoop/conf/core-site.xml

hadoop.tmp.dir

/home/hadoop/tmp

fs.default.name

hdfs://namenode:9000

vim /hadoop/conf/mapred-site.xml

mapred.job.tracker

namenode:9001

vim /hadoop/conf/hdfs-site.xml

dfs.name.dir

/home/hadoop/name

dfs.data.dir

/home/hadoop/name

dfs.replication

2

vim /hadoop/conf/masters

192.168.137.100

vim /hadoop/conf/slaves

192.168.137.101

192.168.137.102

192.168.137.103

把配置好的HADOOP拷贝到datanode上去

cd /

scp -r hadoop datanode1:/hadoop

scp -r hadoop datanode2:/hadoop

scp -r hadoop datanode3:/hadoop

6、安装zookeeper

tar zxvf zookeeper-3.3.4.tar

安装在/zookeeper

cd /zookeeper/conf

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

加入

dataDir=/zookeeper-data

dataLogDir=/zookeeper-log

server.1=namenode:2888:3888

server.2=datanode1:2888:3888

server.3=datanode2:2888:3888

server.4=datanode3:2888:3888

建立/zookeeper-data

mkdir /zookeeper-data

建立/zookeeper-log

建立文件/zookeeper-data/myid

vim /zookeeper-data/myid

1

（datanode1里对应写入2）

（datanode2里对应写入3）

（datanode3里对应写入4）

10、安装hive

tarzxvf hive-0.8.0.tar

到/hive

vim /hive/bin/hive-config.sh

export HADOOP_HOME=/hadoop

export PATH=.$HADOOP_HOME/bin:$PATH

export HIVE_HOME=/hive

export PATH=$HIVE_HOME/bin:$PATH

export JAVA_HOME=/jdk

export JRE_HOME=/jdk/jre

export CLASSPATH=.$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=.$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

vim /etc/bashrc

export HIVE_HOME=/hive

11、启动hadoop

格式化并启动系统

su hadoop

cd /usr/local/hadoop/bin

./hadoop namenode -format

./start-dfs.sh

./start-mapred.sh

http://192.168.137.100:50070查看HDFS namenode

http://192.168.137.100:50030 查看MAPREDUCE JOB TRACKERS

http://192.168.137.101:5006查看datanode1上的TASK TRACKER

12、相关命令

hadoop fs -mkdir direc

hadoop fs -ls

hadoop fs -cp file:///tmp/test.file /user/hadoop/direc

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


网站题目：Hadoop安装1.0（简版）-创新互联
文章网址：http://6mz.cn/article/degojh.html

其他资讯