十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
本篇内容介绍了“如何使用Maven创建Hadoop2项目 ”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
苏家屯网站建设公司创新互联,苏家屯网站设计制作,有大型网站制作公司丰富经验。已为苏家屯成百上千家提供企业网站建设服务。企业网站搭建\成都外贸网站制作要多少钱,请找那个售后服务好的苏家屯做网站的公司定做!
使用Maven创建Hadoop2项目
jdk.tools jdk.tools 1.7 system Java_Home/lib/tools.jar org.apache.hadoop hadoop-common 2.5.2 jdk.tools jdk.tools org.apache.hadoop hadoop-hdfs 2.5.2 org.apache.hadoop hadoop-client 2.5.2
连接到Hadoop2环境,例如:
import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.conf.Configuration; public class IPStarter { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); //连接到hadoop2集群调试 conf.set("fs.defaultFS","hdfs://localhost:9000"); conf.set("mapreduce.framework.name", "yarn"); conf.set("yarn.resourcemanager.address", "localhost:8032"); conf.set("yarn.resourcemanager.scheduler.address", "localhost:8030"); //conf.set("mapred.remote.os", "Linux"); Job job = new Job(conf, "JobName"); job.setJar("/home/grid/study/hadoopDev2/target/hadoopDev2-1.0-SNAPSHOT.jar"); //开发环境调试时使用 job.setMapperClass(IPMap.class); job.setReducerClass(IPReduce.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(Text.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("hdfs://localhost:9000/dev2/in/access.20120104.log")); FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/dev2/out/ip")); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
PS:复制 HADOOP_HOME/etc/hadoop/log4j.properties 到程序的 src 目录下,这样调试时才能在控制台看到 Job 执行的详细日志
“如何使用Maven创建Hadoop2项目 ”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!