十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
如果是集群的话,我考虑需要流畅运行的话,2核4G配置是可以满足的。因为这个集群形式,用于适用于物联网、车联网、监控、安全风控、即时通讯、消息存储等行业场景,所以数据量是比较大的,所以配置太低了跑不动,会卡死的。
成都创新互联公司专注于企业网络营销推广、网站重做改版、郎溪网站定制设计、自适应品牌网站建设、HTML5建站、商城网站制作、集团公司官网建设、外贸营销网站建设、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为郎溪等各大城市提供网站开发制作服务。
因为hadoop是海量数据的处理能力,所以服务器一定不能太小配置了,跑不动了就没实际用途了。最好使用4核8G内存及以上配置。
因为这方面内容较多,这里也写不开那么多内容,所以你可以留言或到我的博客上搜索相关内容,老魏有写过教程,还不止一篇,都挺详细的内容,可以帮助你入门。
通过命令行下载Hadoop ,我下载的版本是1.2.1,版本稳定且方便学习。
[plain] view plain copy
wget
下载完成后,将hadoop安装包转移至要安装的目录
[plain] view plain copy
mv hadoop-1.2.1.tar.gz /usr/hadoop/
cd /usr/hadoop/
解压
[plain] view plain copy
tar -zxvf hadoop-1.2.1.tar.gz
配置Hadoop
配置文件在 hadoop的conf文件夹下
首先修改 hadoop-env.sh 文件
[plain] view plain copy
vim hadoop-env.sh
找到 # export JAVA_HOME=…..
修改为 export JAVA_HOME=/usr/Java/java8
注意 // 如果忘记java的路径,可以通过命令 echo $JAVA_HOME查看
其次修改 core-site.xml 文件
其实 修改 hadoop-env.sh
[plain] view plain copy
vim hadoop-env.sh
修改内容为
[html] view plain copy
configuration
property
namehadoop.tmp.dir/name
value/hadoop/value
/property
property
namedfs.name.dir/name
value/hadoop/name/value
/property
property
namefs.default.name/name
valuehdfs://canghong:9000/value
/property
/configuration
然后修改 hdfs-site.xml
[html] view plain copy
configuration
property
namedfs.data.dir/name
value/hadoop/data/value
/property
/configuration
最后修改 mapred-site.xml
[html] view plain copy
configuration
property
namemapred.job.tracker/name
valuecanghong:9001/value
/property
/configuration
配置完成后,告诉系统hadoop的安装目录
[plain] view plain copy
vim ~/.bashrc
export HADOOP_HOME=/usr/hadoop/hadoop-1.2.1
在 export PATH 中 加入 HADOOP_HOME
export PATH=${JAVA_HOME}/bin:$HADOOP_HOME/bin:$PATH
测试
在命令行输入 hadoop
出现
10015 JobTracker
9670 TaskTracker
9485 DataNode
10380 Jps
9574 SecondaryNameNode
9843 NameNode
则表示成功
格式化文件系统
[plain] view plain copy
cd /usr/hadoop/hadoop-1.2.1/bin
hadoop namenode -formate
启动
启动 bin下的 start-all.sh
start-all.sh
测试
在命令行 输入 jps 查看hadoop是否正常运行
按照小鸟云计算官方工程师给出的步骤:
集群安装配置Hadoop
集群节点:node4、node5、node6、node7、node8。
操作系统为:CentOS release 5.5 (Final)
安装步骤
一、创建Hadoop用户组。
二、安装JDK。下载安装jdk。安装目录如下:
三、修改机器名,修改文件/etc/hosts。如下:
四、安装ssh服务。命令:yum install openssh-server。
五、建立ssh无密码登陆。