快上网专注成都网站设计 成都网站制作 成都网站建设
成都网站建设公司服务热线:028-86922220

网站建设知识

十年网站开发经验 + 多家企业客户 + 靠谱的建站团队

量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决

如何安装spark依赖yarn执行

这篇文章将为大家详细讲解有关如何安装spark依赖yarn执行,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

创新互联是一家集网站建设,新建企业网站建设,新建品牌网站建设,网站定制,新建网站建设报价,网络营销,网络优化,新建网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。

由于之前安装hadoop版本是3.30  所以这里下载spark3 

spark下载地址      包含了对应hadoop3的jar包   http://archive.apache.org/dist/spark/spark-3.0.1/spark-3.0.1-bin-hadoop3.2.tgz

完成之后解压  tar -zxvf spark-3.0.1-bin-hadoop3.2.tgz   mv   spark-3.0.1-bin-hadoop3.2   spark-3 

修改hadoop配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发

修改hadoop配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发


     yarn.nodemanager.pmem-check-enabled
     false




     yarn.nodemanager.vmem-check-enabled
     false

修改配置文件 spark-env.sh 

#jdk路径
export JAVA_HOME=/bigdata/jdk1.8.0_161
#yarn路径
YARN_CONF_DIR=/bigdata/hadoop-3.3.0/etc/hadoop
#历史服务配置
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop1:9000/directory 
-Dspark.history.retainedApplications=30"

修改 spark-defaults.conf

spark.eventLog.enabled          true
#hdfs地址  路径是先建好的  hdfs dfs -mkdir /directory
spark.eventLog.dir               hdfs://hadoop1:9000/directory
#历史服务的web地址
spark.yarn.historyServer.address=hadoop1:18080
spark.history.ui.port=18080
#jar包托管在hdfs中的地址
spark.yarn.jars hdfs://hadoop1:9000/hadoop/spark_jars/*

将spark整合hadoop3的jar包传到hdfs上

hdfs dfs -mkdir /hadoop
hdfs dfs -mkdir /hadoop/spark_jars
hdfs dfs -put /usr/local/spark-3/jars/* /hadoop/spark_jars

如何安装spark依赖yarn执行

启动历史服务        sbin/start-history-server.sh

访问ui没有问题后创建一个测试任务

/bigdata/spark/bin/spark-submit --class mapTest --master yarn    --driver-memory 512m  --executor-memory 512m  --deploy-mode cluster   /spark-demo.jar

如何安装spark依赖yarn执行

完成

关于“如何安装spark依赖yarn执行”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。


网站标题:如何安装spark依赖yarn执行
转载注明:http://6mz.cn/article/jggdoc.html

其他资讯