sparkonhive如何配置

小编给大家分享一下spark on hive如何配置，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

为涉县等地区用户提供了全套网页设计制作服务，及涉县网站建设行业解决方案。主营业务为成都网站设计、做网站、涉县网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

1. 添加依赖

    
        2.4.0
        2.11
    

    
        
        
            org.apache.spark
            spark-core_${scala.version}
            ${spark.version}
        

        
            org.apache.spark
            spark-sql_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-hive_${scala.version}
            ${spark.version}
        

        
            net.jpountz.lz4
            lz4
            1.3.0
        

    

    
        
            
            
                net.alchim31.maven
                scala-maven-plugin
                3.2.0
                
                    
                        
                        
                            compile
                        
                    
                
            
            
                org.apache.maven.plugins
                maven-assembly-plugin
                3.0.0
                
                    
                        jar-with-dependencies
                    
                
                
                    
                        make-assembly
                        package
                        
                            single
                        
                    
                
            
        
    

2. 将hive-site.xml拷贝到项目资源路径下

3. 创建SparkSession对象，直接读取hive表中的数据

    val session: SparkSession = SparkSession.builder.appName("etl")
         .master("local[*]")
         .enableHiveSupport.getOrCreate

    val frame: DataFrame = session.sql("select * from warningplatform.ini_current_frequency")
    frame.show()

以上是“spark on hive如何配置”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！

本文标题：sparkonhive如何配置
分享网址：http://6mz.cn/article/iighcc.html