在单机环境下SparkHistoryServer如何配置

这篇文章主要介绍在单机环境下Spark History Server如何配置，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

创新互联是一家集网站建设,苏家屯企业网站建设,苏家屯品牌网站建设,网站定制,苏家屯网站建设报价,网络营销,网络优化,苏家屯网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

在单机环境下Spark History Server配置

首先修改两个配置文件

vim spark-env.sh

export SPARK_MASTER_IP=***.***.***.***
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=10 -Dspark.history.fs.logDirectory=file:///home/zzx/spark-1.1.0-bin-hadoop1/historylogs"
export SPARK_CONF_DIR=/home/zzx/spark-1.1.0-bin-hadoop1/conf

vim spark-defaults.conf

spark.eventLog.enabled true
spark.eventLog.dir file:///home/zzx/spark-1.1.0-bin-hadoop1/historylogs
spark.history.fs.logDirectory file:///home/zzx/spark-1.1.0-bin-hadoop1/historylogs

配置完后记得source一下  这里文件路径原本是HDFS路径 但是在后面测试过程中无论运行多少次程序，History Server页面一直是空白状态，后面改成本地文本路径就行了

然后启动spark，以及Spark History Server

sbin/start-all.sh
sbin/start-history-server.sh

jps查看状态

在CLI命令行界面测试运行spark自带的例子SparkPi

bin/run-example SparkPi

运行多次程序后，根据SPARK_MASTER_IP加上端口号18080即可访问页面

在eclipse运行程序的时候，记得加上一段代码，因为eclipse提交程序不像CLI会查看spark的conf文件，所以这里需要手动加入，注意程序最后记得关闭sc，如下：

val conf = new SparkConf().setAppName("SparkWordCount")
           .setMaster("local")
           .set("spark.eventLog.enabled","true")
           .set("spark.eventLog.dir","/home/zzx/spark-1.1.0-bin-hadoop1/historylogs")
val sc = new SparkContext(conf) //设置sc


sc.stop  //关闭sc

在配置的文件路径下也可以查看到历史记录信息：

以上是“在单机环境下Spark History Server如何配置”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！

分享文章：在单机环境下SparkHistoryServer如何配置
浏览地址：http://6mz.cn/article/gejgss.html