IT星球论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 54|回复: 0

Spark Transformations

[复制链接]

1996

主题

1

好友

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

优秀会员 助人为乐 辛勤工作 技术精英 多才多艺 优秀班竹 灌水天才 星球管理 宣传大使 灌水之王 财富勋章 版主勋章 动漫勋章 勤奋会员 论坛精英 PS高手 心 8 闪游皮肤 双鱼座 8★8➹ 志愿者 乖

发表于 2017-3-22 12:38:03 |显示全部楼层
Spark Transformations

We all know the following fact:

1, RDD are immutable

2, Never modify RDD in place

3, Transform RDD to another RDD

There are 2 different transformations for RDD, one is narrow transformation:

transformations like map, flatMap, filter all are narrow transformation, which means shuffle won't happen, so it's fast, it's speed just depends on:

1, availability of local memory

2, CPU speed

another is wide transfomration:

transformations like groupByKey, reduceByKey, repartition all are wide tranformation, the network speed in shuffle is the key to it's speed, so it's slower

the final comparison:

摘自:http://www.yjs001.cn/bigdata/spark/40455850856940820301.html
Spark Transformations
该会员没有填写今日想说内容.
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

回顶部