快上网专注成都网站设计 成都网站制作 成都网站建设
成都网站建设公司服务热线:028-86922220

网站建设知识

十年网站开发经验 + 多家企业客户 + 靠谱的建站团队

量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决

如何使用Maven创建Hadoop2项目

本篇内容介绍了“如何使用Maven创建Hadoop2项目 ”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

苏家屯网站建设公司创新互联,苏家屯网站设计制作,有大型网站制作公司丰富经验。已为苏家屯成百上千家提供企业网站建设服务。企业网站搭建\成都外贸网站制作要多少钱,请找那个售后服务好的苏家屯做网站的公司定做!

使用Maven创建Hadoop2项目

    
        
            jdk.tools
            jdk.tools
            1.7
            system
            Java_Home/lib/tools.jar
        
        
            org.apache.hadoop
            hadoop-common
            2.5.2
            
                
                    jdk.tools
                    jdk.tools
                
            
        
        
            org.apache.hadoop
            hadoop-hdfs
            2.5.2
        
        
            org.apache.hadoop
            hadoop-client
            2.5.2
        
    


连接到Hadoop2环境,例如: 

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.conf.Configuration;

public class IPStarter {
    public static void main(String[] args)  throws Exception {
        Configuration conf = new Configuration();
        //连接到hadoop2集群调试
        conf.set("fs.defaultFS","hdfs://localhost:9000");
        conf.set("mapreduce.framework.name", "yarn");
        conf.set("yarn.resourcemanager.address", "localhost:8032");
        conf.set("yarn.resourcemanager.scheduler.address", "localhost:8030");
        //conf.set("mapred.remote.os", "Linux");
        Job job = new Job(conf, "JobName");
        job.setJar("/home/grid/study/hadoopDev2/target/hadoopDev2-1.0-SNAPSHOT.jar"); //开发环境调试时使用
        job.setMapperClass(IPMap.class);
        job.setReducerClass(IPReduce.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.addInputPath(job, new Path("hdfs://localhost:9000/dev2/in/access.20120104.log"));
        FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/dev2/out/ip"));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

PS:复制 HADOOP_HOME/etc/hadoop/log4j.properties 到程序的 src 目录下,这样调试时才能在控制台看到 Job 执行的详细日志 

“如何使用Maven创建Hadoop2项目 ”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!


网站标题:如何使用Maven创建Hadoop2项目
URL分享:http://6mz.cn/article/pjheds.html

其他资讯