Hadoop优化与调整-创新互联

【io.file.buffer.size】(core-site.xml)

创新互联公司云计算的互联网服务提供商,拥有超过13年的服务器租用、西信服务器托管、云服务器、网站空间、网站系统开发经验，已先后获得国家工业和信息化部颁发的互联网数据中心业务许可证。专业提供云主机、网站空间、域名注册、VPS主机、云服务器、香港云服务器、免备案服务器等。

用来设置缓存的大小，较大的缓存提供更高效的数据传输，但也意味着更大的内存消耗和延迟

默认值为4KB，一般情况下设置为64KB(65536)

【dfs.balance.bandwidthPerSec】

HDFS平衡器检测集群中使用过度或者使用不足的DataNode，并在这些DataNode之间转移数据块来保证负载均衡。该参数定义了每个DataNode平衡操作所允许的大使用带宽，单位是byte，网络带宽单位一般是bit

【dfs.block.size】

默认值为67108864，即64MB；参考值为134217728(128M)

【dfs.DataNode.du.reserved】

由于mapred.local.dir经常与DataNode共享可用的硬盘资源，因此我们需要为MapReduce任务保留一些硬盘资源。建议每个硬盘都为map任务保留最小10GB的资源，即10737418240.

【dfs.NameNode.handler.count】

NameNode有一个工作线程池用来处理客户端的远程过程调用及集群守护进程的调用。默认值为10，一般讲该值设置为集群大小的自然对数乘以20，即20logN。

该值设置过小明显的症状就是DataNode在连接NameNode的时候总是超时或者连接被拒

【dfs.DataNode.failed.volumes.tolerated】

当DataNode的任意一个本地磁盘故障时，默认认定整个DataNode失效。该参数默认值为0，意味着只要有一个磁盘出现故障就会导致整个DataNode 不可用。参考值为1

【dfs.hosts】

通过含有DataNode主机名列表的文件来确认允许连接并加入集群的DataNode

【dfs.host.exclude】

把相关节点排除在HDFS外，可卸载DataNode

【fs.trash.interval】(core-site.xml)

定义.Trash目录下文件被永久删除前保留的时间(分钟数)，默认为0，即垃圾回收站功能关闭，参考值为1440(24小时)

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

名称栏目：Hadoop优化与调整-创新互联
当前路径：http://6mz.cn/article/dpiges.html