IT星球论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 86|回复: 0

Spark standalone HA

[复制链接]

2000

主题

1

好友

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

优秀会员 助人为乐 辛勤工作 技术精英 多才多艺 优秀班竹 灌水天才 星球管理 宣传大使 灌水之王 财富勋章 版主勋章 动漫勋章 勤奋会员 论坛精英 PS高手 心 8 闪游皮肤 双鱼座 8★8➹ 志愿者 乖

发表于 2017-3-22 12:35:06 |显示全部楼层
Spark standalone HA

配置Spark standalone HA


主机:node1,node2,node3

master: node1,node2

slave:node2,node3


修改配置文件:

node1,node3: spark-env.sh

export SPARK_MASTER_IP=node1export SPARK_MASTER_PORT=7077export SPARK_WORKER_CORES=1export SPARK_WORKER_INSTANCES=1export SPARK_WORKER_MEMORY=1024mexport SPARK_LOCAL_DIRS=/data/spark/dataDirexport SPARK_DAEMON_Java_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181 -Dspark.deploy.zookeeper.dir=/sparkHA"

node2: spark-env.sh

export SPARK_MASTER_IP=node2

node2与node1的差别仅在此


启动脚本:

ZooKeeper已经启动完毕,这里没有说明ZooKeeper的配置和启动。

spark启动脚本

node1:

/sbin/start-all.sh

node2:

/sbin/start-master.sh


测试HA

停掉node1 master

/sbin/stop-master.sh


访问node2的master

没有停掉node1的master,访问node2

停掉node1的master之后,访问node2



摘自:http://www.yjs001.cn/bigdata/spark/24262537393501817043.html
Spark standalone HA

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博账号登陆

该会员没有填写今日想说内容.
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

回顶部