IT星球论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 98|回复: 0

spark机制理解(一)

[复制链接]

2004

主题

1

好友

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

优秀会员 助人为乐 辛勤工作 技术精英 多才多艺 优秀班竹 灌水天才 星球管理 宣传大使 灌水之王 财富勋章 版主勋章 动漫勋章 勤奋会员 论坛精英 PS高手 心 8 闪游皮肤 双鱼座 8★8➹ 志愿者 乖

发表于 2017-3-22 12:27:48 |显示全部楼层
spark机制理解(一)
一 基本术语

  application: 基于Spark的用用户程序,包含了Driver程序和集群上的Executor.

  Driver Program: 运行行main函数并且新建SparkContext的程序.

  Cluster Manager:在集群上获取资源的外部服务(例如:standalone,Mesos,Yarn ).

  Worker Node:集群中任何可以运行行应用用代码的节点.

  Executor:是在一一个Worker Node上为某应用用启动的一一个进程,该进程负责运行行任务,并且负责将数据存在内存或者磁盘上。每个应用用都有各自自独立立的executors.

  Task:被送到某个executor上的工工作单元.

  Job:包含很多任务的并行行计算,可以看做和Spark的action对应.

  Stage:一一个Job会被拆分很多组任务,每组任务被称为Stage(就像Mapreduce分map任务和reduce任务一一样).

二 RDD介绍

  RDD是spark最根本的数据抽象, 它是一个数据集合, Spark的运行过程就是创建RDD, 并从一种RDD向另一种新的RDD转换, 最后将这些RDD上的数据收集, 从而得到我们想要的结果. RDD有以下五种属性(可以将RDD计算存储模型图):

  (1) 分区属性: 每个RDD包好多个分区, 这既是RDD的数据单位, 也是计算粒度, 每个分区在由一个Task线程处理. 在RDD创建的时候可以指定分区的个数, 如果没有指定, 那么, 默认分区的个数是CPU的核数. 每一块的分区对应一个内存上的bloak, 由BlockManager分配.

  (2) 计算属性: RDD不仅包含有数据, 还有在数据上的计算, 每个RDD以分区为计算粒度, 每个RDD会实现compute函数, compute函数会和迭代器(RDD之间转换的迭代器)进行复合, 这样就不需要保存每次compute函运行的结果.

  (3) 依赖属性: Spark的运行过程就是RDD之间的转换, 因此, 必须RDD之间的生成关系(新RDD是由哪个或哪几个RDD生成), 这就是所谓的依赖关系, 这样既有助于阶段和任务的划分, 也有助于在某个分区出错的时候, 只需要重新计算与当前出错的分区的有关的分区,而不需要计算所有的分区.

  (4)分片属性: 这个属性指的是RDD的partitioner函数(分片函数), 分区函数就是将数据元分配到指定的分区, 这个目前实现了HashPartitioner和RangePartitioner, 只有key-value的RDD才会有分片函数, 否则为none. 分片函数不仅决定了当前分片的个数, 同时决定parent shuffle RDD的输出的分区个数.

  (5)列表属性: 也就是说, 每个RDD会报粗一个列表, 而这个列表保存着分片优先分配给哪个Worker节点计算, spark坚持移动计算而布移动数据的原则. 也就是尽量在存储数据的节点上进行计算.

图 1 RDD的计算模型和存储模型三 spark运行机制  

  Spark运行主要分为三部分:RDD的创建和转换DAGScheduler划分任务并生成TaskSetTaskScheduler将任务调度给Worker运行

  具体的分为下面四个过程, 可以结合图 2一起看, 这部分主要来自这篇骗博客, 这篇博客有例子,很详细,:

  (1) SparkContext(RDD相关操作): 在这个过程, 每次转换(transform)会创建一个新的RDD.

    →通过(提交RDD集合)

  (2)DAGScheduler(遍历RDD拆分Stage,生成作业):这个过程会创建执行计划, Spark会尽可能地管道化, 并基于是否要重新组织数据来划分阶段(Stage).

    →通过(提交任务集TaskSet)

  (3)TaskScheduler: (任务调度管理):这个过程调度任务, 将各阶段划分成不同的任务(Task), 每个任务都是数据和计算的合体, 在进行下一阶段前, 当前阶段的所有任务都要执行完成, 因为下一阶段的第一个转换一定是重新组织数据的, 所以必须等当前阶段所有结果数据都计算出来了才能继续.

    →通过(按照资源获取任务)

  (4)TaskSetManager: (任务调度管理)

  Task管理和序列化:

  Task的运行要解决的问题不外乎就是如何以正确的顺序, 有效地管理和分派任务. 如何将Task及运行所需相关数据有效地发送到远端,以及收集运行结果

  Task的调度源起于DAGScheduler调用TaskScheduler.submitTasks将一个Stage相关的任务集合(TaskSet)一起提交给TaskScheduler调度.

  TaskSchedulerImpl是TaskSchedulerImpl的实现, 在TaskSchedulerImpl中, 这一组Task被交给一个新的TaskSetManager实例进行管理, 所有的TaskSetManager经由SchedulableBuilder根据特定的调度策略进行排序,

  TaskSchedulerImpl的resourceOffers函数中,当前被选择的TaskSetManager的ResourceOffer函数被调用并返回包含了序列化任务数据的TaskDescription,最后这些TaskDescription再由SchedulerBackend派发到ExecutorBackend去执行

  序列化的过程中,App依赖文件相关属性URL等通过DataOutPutStream写出,而Task本身通过可配置的Serializer来序列化,当前可配制的Serializer包括如JavaSerializer,KryoSerializer等

  Task的运行结果在Executor端被序列化并发送回SchedulerBackend,由于受到Akka Frame Size尺寸的限制,如果运行结果数据过大,结果会存储到BlockManager中,这时候发送到SchedulerBackend的是对应数据的BlockID,TaskScheduler最终会调用TaskResultGetter在线程池中以异步的方式读取结果,TaskSetManager再根据运行结果更新任务状态(比如失败重试等)并汇报给DAGScheduler等


图 2 任务调度过程

参考资料

1.Spark RDD简介与运行机制概述

2.Spark技术内幕 深入解析Spark内核架构设计与实现原理[M]


摘自:http://www.yjs001.cn/bigdata/spark/40589766453968030236.html
spark机制理解(一)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博账号登陆

该会员没有填写今日想说内容.
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

回顶部