Hadoop集群怎么构建
今天就跟大家聊聊有关Hadoop集群怎么构建，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。
网站建设哪家好，找创新互联！专注于网页设计、网站建设、微信开发、小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了鄞州免费建站欢迎大家使用！
建立一个集群的安装选项
Apache tarball 二进制包 安装灵活，工作量大
Packages 各个Linux 发行版提供的包
集群管理工具 Cloudera Manager 和Apache Ambari
集群规范
Hadoop 运行在商业硬件上
商业硬件并不等同于低端硬件
也不推荐使用大型的数据库级别的机器，性价比太低。
一般使用多核CPU和多磁盘
HDFS namenode 节点采用RAID, datanode 不建议使用RAID
集群规模
你的集群需要增长得多快？
网络拓扑
DNSToSwitchMapping
集群的构建和安装
安装Java
创建Unix 用户账号
解压，额，最好不要放在home 目录，因为home目录可能挂载在NFS上
SSH 配置（分布式shell，公钥共享）
配置Hadoop
格式化HDFS文件系统
启动和停止守护进程
创建用户目录
在本地机器上启动一个资源管理器
在slaves 文件列举的每台机器上启动一个节点管理器
在每台机器上启动一个namenode， 这些机器由执行hdfs getconf -namenodes 得到的返回值所缺东
在slaves 文件列举的每台机器上启动一个datanode
在每台机器上启动一个辅助namenode,这些机器由执行 hdfs getconf -secondarynamenodes 得到的返回值所确定
start-dfs.sh
start-yarn.sh
此时是给目录设置空间限制的好时机
最好创建特定的Unix 用户账号以区分各Hadoop进程，及区分同一机器上的其他服务
HDFS，MapReduce 和YARN服务通常作为独立的用户运行，分别命名为hdfs,mapred 和yarn.他们都属于同一hadoop组
安装hadoop
Hadoop配置
hadoop 分发包 etc/hadoop
HADOOP_CONF_DIR
hadoop-env.sh mapred-env.sh yarn-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slaves hadoop-metrics2.properties log4j.properties hadoop-policy.xml
配置管理
集群的每个节点都各自保存一系列配置文件，推荐使用控制
环境设置
fs.defaultFS dfs.namenode.name.dir dfs.datanode.data.dir dfs.namenode.checkpoint.dir
守护进程1000MB yarn.nodemanager.resource.memory-mb
每个进程占用一个核
Hadoop守护进程的地址和端口号
yarn 和MapReduce 中的CPU设置
默认情况下，HDFS存储目录放在 hadoop.tmp.dir 属性设置的目录下（/tmp/hadoop-${user.name}）,需要手动更改
yarn 和MapReduce中的内存设置
内存堆大小 默认各个守护进程分配1000MB内存
系统日志文件
SSH设置
hadoop 守护进程的一些关键属性
hadoop其他属性
缓冲区 大小 4kB
HDFS 块 128MB
回收站（额，神奇的东东）
安全性
kerberos
委托令牌
看完上述内容，你们对Hadoop集群怎么构建有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注创新互联行业资讯频道，感谢大家的支持。
当前标题：Hadoop集群怎么构建
标题链接：http://6mz.cn/article/ijgspo.html