怎么安装配置MapReduce
这篇文章主要介绍“怎么安装配置MapReduce”，在日常操作中，相信很多人在怎么安装配置MapReduce问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”怎么安装配置MapReduce”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
专注于为中小企业提供网站建设、网站制作服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业静乐免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了成百上千企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。
MapReduce 的优势在于处理大规模数据集
win10 安装hadoop 3.1.2
win10 安装hadoop 3.1.2
hadoop Linux安装配置(ubuntu 18.04 hadoop3.1.2)
解压 tar.gz
配置JAVA_HOME
配置HADOOP_HOME ,PATH等
tar -zxvf hadoop-3.1.2.tar
vim .bashrc
export JAVA_HOME
export PATH=$PATH:${JAVA_HOME}/bin
export HADOOP_HOME
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbinhdoop version 验证是否成功
三种模式
独立（或本地）模式，无需运行任何守护进程，所有程序都在同一个JVM上执行。适合测试和调试MapReduce 程序
伪分布式，运行在本地机器上，模拟一个小规模的集群
全分布式
修改配置文件，参照代码 -- hdoopconfig
配置ssh
ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ssh localhost #测试
格式化HDFS hdfs namenode -format
启动和终止守护进程
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
终止服务
mr-jobhistory-daemon.sh stop historyserver
stop-yarn.sh
stop-dfs.sh
创建用户目录
hadoop fs -mkdir -p /user/$USER
api 版本差异
新api 位于 org.apache.hadoop.mapreduce
新api 大量使用了 Context
新api 通过Job来完成作业控制
示例代码 github
hadoop 权威指代码
横向扩展
数据流
输入数据 MapReduce 程序 配置信息
Hadoop 将作业分成若干个任务来执行,并通过 YARN进行调度。如果一个任务失败，它将在另一个不同的节点上自动重新调度运行
Hadoop将MapReduce 的输入数据划分成等长的小数据块，成为输入分片。每个分片构建一个map任务
分片大小要合适，一个合理分片大小趋向于HDFS一个块的大小默认128MB
Hadoop 在存储有输入数据（HDFS中的数据）的节点上运行map任务，可获得最佳性能，因为不需要使用带宽资源
map任务将输出写入本地硬盘而非HDFS，因为是中间结果
混洗？
combiner 函数
combiner 函数输出作为reduce 函数的输入，可以减少map和reduce任务之间的数据传输
combiner的规则制约着可用的函数类型
不能取代reduce ,例如求平均值得程序就不能用combiner
hadoop Streaming
允许使用非java 语言开发MapReduce
到此，关于“怎么安装配置MapReduce”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！
网页标题：怎么安装配置MapReduce
本文来源：http://6mz.cn/article/joccps.html