快上网专注成都网站设计 成都网站制作 成都网站建设
成都网站建设公司服务热线:028-86922220

网站建设知识

十年网站开发经验 + 多家企业客户 + 靠谱的建站团队

量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决

spark中读取elasticsearch数据的方法

本篇内容介绍了“ spark中读取elasticsearch数据的方法”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

为桓台等地区用户提供了全套网页设计制作服务,及桓台网站建设行业解决方案。主营业务为成都网站建设、网站建设、桓台网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!

在spark中读取es的数据

pom.xml


     4.0.0
  
     com.test
     spark
     0.0.1-SNAPSHOT
     jar
  
     
         UTF-8
         2.11.6
         2.11.6
     
  
     
         
             org.apache.spark
             spark-core_2.10
             1.3.1
         
         
         
             org.elasticsearch
             elasticsearch-spark_2.10
             2.1.0.Beta4
         
     
  
     
         src/main/scala
         src/test/scala
         
             
                 org.scala-tools
                 maven-scala-plugin
                 2.15.2
                 
                     
                         
                             compile
                             
                         
                     
                 
                 
                     ${scala.version}
                 
             
             
                 maven-assembly-plugin
                 2.4
                 
                     true
                     
                         jar-with-dependencies
                     
                 
                 
                     
                         make-assembly
                         package
                         
                             single
                         
                     
                 
             
         
     
 


esRDDTest.scala

package spark
  
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.elasticsearch.spark._
 
object esRDDTest {
    def main(args: Array[String]) {
        val conf = new SparkConf().setAppName("esRDDtest")
        conf.set("es.nodes", "127.0.0.1")
        conf.set("es.port", "8200")
        val sc = new SparkContext(conf)
        val resource = args(0)
        val query = args(1)
        val eslogs = sc.esRDD(resource, query)
        //……
    }
}

“ spark中读取elasticsearch数据的方法”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!


分享名称:spark中读取elasticsearch数据的方法
文章出自:http://6mz.cn/article/ppegse.html

其他资讯