Spark工作流程是怎样的呢-创新互联

本篇文章给大家分享的是有关Spark工作流程是怎样的呢，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。

成都创新互联专注于会宁企业网站建设,成都响应式网站建设公司,商城开发。会宁网站建设公司,为会宁等地区提供建站服务。全流程按需设计网站，专业设计，全程项目跟踪，成都创新互联专业和态度为您提供的服务

一、Spark架构组成图：

Spark工作流程是怎样的呢

The following table summarizes terms you’ll see used to refer to cluster concepts:

Term	Meaning
Application	基于Spark的用户程序(创建了一个SparkContext).由一个driver 进程和N个executor 进程on the cluster模式下.
Application jar	Spark包含的jar包
Driver program	一个Driver进程运行 main()方法,创建一个SparkContext
Cluster manager	提交集群(--master local/standalone/on yarn)模式下的资源管理(提交设置code memory....)
Deploy mode	区分Driver进程在什么地方cluster or client,主要区别是Driver在本地还是集群的Container里
Worker node	运行Spark代码的应用程序的节点(standalone模式概念),在(on yarn)模式下是NodeManager
Executor	一个Executor进程,运行在Container里,能够运行我们Task,保存数据到内存里或者磁盘上，每一个应用程序有自己独立的Executor
Task	最小的工作单元,Driver发送代码到Executor然后Task执行
Job	每一个Action就会产生job(map,conllect)
Stage	每个Job被拆成Task集合,遇到shuffle会stage+1

以上就是Spark工作流程是怎样的呢，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联-成都网站建设公司行业资讯频道。

网页标题：Spark工作流程是怎样的呢-创新互联
链接URL：http://6mz.cn/article/dhsdho.html

网站建设知识