Spark实践-客户端使用spark-submit提交-创新互联

一、客户端提交spark应用程序

创新互联公司是一家专注于做网站、网站制作与策划设计,玉龙网站建设哪家好?创新互联公司做网站,专注于网站建设10多年,网设计领域的专业建站公司;建站业务涵盖:玉龙等地区。玉龙做网站价格咨询:13518219792

是指在spark集群之外的机器，提交spark应用程序到spark集群运行。

二、spark-submit提交程序语法

使用spark-submit工具提交Spark应用程序的语法：

./bin/spark-submit \

--class \

--master \

--deploy-mode \

--conf = \

... # other options

\

[application-arguments]

--class 应用程序的入口类名；

--master spark 集群的url；

--deploy-mode 部署方式；

--conf 应用程序的sparkContext配置选项；

--application-jar 外部依赖；

--application-arguments 应用程序参数； 

三、在客户端使用spark-submit提交spark应用程序时需要注意的事项

1）、客户端机器与spark集群必须互相知道，即相互ping得通；

2）、如果应用程序中用到了本地文件，那么集群中的worker机器都必须有该文件，否则会报找不到文件；

3）、windows客户端，如果应用程序中用到本地文件，那么无法提交到linux环境下的spark集群；

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

当前文章：Spark实践-客户端使用spark-submit提交-创新互联
转载来于：http://6mz.cn/article/jggde.html