hive执行spark任务的示例分析
这篇文章主要为大家展示了“hive执行spark任务的示例分析”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“hive执行spark任务的示例分析”这篇文章吧。
站在用户的角度思考问题，与客户深入沟通，找到安庆网站设计与安庆网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：网站设计制作、网站建设、企业官网、英文网站、手机端网站、网站推广、主机域名、网络空间、企业邮箱。业务覆盖安庆地区。
public static void main(String[] args) throws Exception{
if (args.length < 1) {
System.err.println(" Usage: JavaWordCount
System.out.println(" examle: ./bin/spark-submit --name \"WorktrendJob\" "+ "--master spark://192.168.0.61:7077 --executor-memory 1G "
+ "--class et.theme.vis.job.WorktrendJob spark-1.jar "+ "/data/china/china.txt file:///data/china ");
System.exit(1);
}
SimpleDateFormat sdf = new SimpleDateFormat( "yyyy-MM-dd" );
DATE_MATH = sdf.format(new Date());
System.out.println("--------****WorktrendJob*****----------------");
System.out.println("-----------------------------------------------");
System.out.println("-----------spark开始计算------------------------");
//job name
SparkConf sparkConf = new SparkConf().setAppName("MyCustomerJob");
//spark连接
JavaSparkContext ctx = new JavaSparkContext(sparkConf);
//创建hive连接
HiveContext hiveContext = new HiveContext(ctx);
//MySQL 配置
Properties connectionProperties = new Properties();
connectionProperties.setProperty("user", MYSQL_USER);
connectionProperties.setProperty("", MYSQL_PASSWORD);
//查询所有
DataFrame queryall = queryAll(hiveContext,null);
//注册临时表
queryall.registerTempTable("first");
//查询临时表计算1
String sql = "";
//查询 计算2
String sql1 = "";
//将计算结果转化DataFrame
DataFrame sql_a = hiveContext.sql(sql);
DataFrame sql_b = hiveContext.sql(sql1);
// 合并2个DataFrame 相当与 left join
DataFrame join = sql_a.join(sql_b,sql_b.col(DATE_END).equalTo(sql_a.col(DATE_END)),"left_outer");
//在mysql建表
sql_a.write().mode(SaveMode.Append).jdbc(MYSQL_JDBC_URL, "test", connectionProperties);
//关闭
ctx.stop();
}
public static DataFrame queryAll(HiveContext hiveContext, String arg){
String sql = "";
DataFrame queryAll = hiveContext.sql(sql);
//查询结果转化成RDD抽象数据集
JavaRDD
@Override
public WorktrendInfo call(Row v1) throws Exception {
//将RDD抽象数据集放入vo.class
CustomerInfo customerInfo = new CustomerInfo();
customerInfo.setCity(v1.getString(0));
return null;//将customerInfo返回
}
});
//将结果vo转化成DataFrame ~return
DataFrame df = hiveContext.createDataFrame(name, WorktrendInfo.class);
return df;
}
以上是“hive执行spark任务的示例分析”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！
分享文章：hive执行spark任务的示例分析
文章网址：http://6mz.cn/article/gdpcde.html