spark怎么查看jobhistory日志
这篇文章主要介绍“spark怎么查看job history日志”，在日常操作中，相信很多人在spark怎么查看job history日志问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”spark怎么查看job history日志”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
大安市ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为创新互联公司的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：18980820575（备注：SSL证书合作）期待与您的合作！
SPARK_HOME/conf 下:
spark-defaults.conf 增加如下内容
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:8020/var/log/spark
spark.eventLog.compress true
spark-env.sh 增加如下内容
export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master.et2:8020/var/log/spark”
启动start-history-server.sh
SPARK_HOME/conf 下: 执行 ./start-history-server.sh
spark job history web: master:18080
这样在spark任务运行完成之后,就可以通过web页面查看日志了
history server相关的配置参数描述
spark.history.updateInterval
默认值：10
以秒为单位，更新日志相关信息的时间间隔spark.history.retainedApplications
默认值：50
在内存中保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，当再次访问已被删除的应用信息时需要重新构建页面。spark.history.ui.port
默认值：18080
HistoryServer的web端口spark.history.kerberos.enabled
默认值：false
是否使用kerberos方式登录访问HistoryServer，对于持久层位于安全集群的HDFS上是有用的，如果设置为true，就要配置下面的两个属性spark.history.kerberos.principal
默认值：用于HistoryServer的kerberos主体名称spark.history.kerberos.keytab
用于HistoryServer的kerberos keytab文件位置spark.history.ui.acls.enable
默认值：false
授权用户查看应用程序信息的时候是否检查acl。如果启用，只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则，不做任何检查spark.eventLog.enabled
默认值：false
是否记录Spark事件，用于应用程序在完成后重构webUIspark.eventLog.dir
默认值：file:///tmp/spark-events
保存日志相关信息的路径，可以是hdfs://开头的HDFS路径，也可以是file://开头的本地路径，都需要提前创建spark.eventLog.compress
默认值：false
是否压缩记录Spark事件，前提spark.eventLog.enabled为true，默认使用的是snappy
以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS，以spark.eventLog开头的配置在spark-defaults.conf
到此，关于“spark怎么查看job history日志”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！
网页名称：spark怎么查看jobhistory日志
标题路径：http://6mz.cn/article/ihhpgi.html