IT星球论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 91|回复: 0

spark 单机版安装

[复制链接]

2004

主题

1

好友

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

优秀会员 助人为乐 辛勤工作 技术精英 多才多艺 优秀班竹 灌水天才 星球管理 宣传大使 灌水之王 财富勋章 版主勋章 动漫勋章 勤奋会员 论坛精英 PS高手 心 8 闪游皮肤 双鱼座 8★8➹ 志愿者 乖

发表于 2017-3-22 12:43:46 |显示全部楼层
spark 单机版安装

jdk-8u73-linux-x64.tar.gz

hadoop-2.6.0.tar.gz

scala-2.10.6.tgz

spark-1.6.0-bin-hadoop2.6.tgz

1.安装jdk

解压jdk安装包到任意目录:

cd /home/tom$ tar -xzvf jdk-8u73-linux-x64.tar.gz$ sudo vim /etc/profile

编辑/etc/profile文件,在最后加上Java环境变量:

export JAVA_HOME=/home/tom/jdk1.8.0_73/export JRE_HOME=/home/tom/jdk1.8.0_73/jreexport PATH=$JAVA_HOME/binJRE_HOME/binPATHexport CLASSPATH=.JAVA_HOME/libJRE_HOME/libCLASSPATH

保存并更新/etc/profile:

$ source /etc/profile

查看是否成功:

$ java -version2.配置ssh localhost

确保安装好ssh:

$ sudo apt-get update$ sudo apt-get install openssh-server$ sudo /etc/init.d/ssh start

生成并添加密钥:

$ ssh-keygen -t rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys

如果已经生成过密钥,只需执行后两行命令。测试ssh localhost

$ ssh localhost$ exit3.安装hadoop2.6.0

解压hadoop2.6.0到任意目录:

$ cd /home/tom$ wget http://apache.claz.org/hadoop/co ... hadoop-2.6.0.tar.gz$ tar -xzvf hadoop-2.6.0.tar.gz

编辑/etc/profile文件,在最后加上java环境变量:

export HADOOP_HOME=/home/tom/hadoop-2.6.0export HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATHHADOOP_HOME/sbinHADOOP_HOME/bin

编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件

$ vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

在最后加上:

export JAVA_HOME=/home/tom/jdk1.8.0_73/

修改Configuration文件:

$ cd $HADOOP_HOME/etc/hadoop

修改core-site.xml:

<configuration><property>  <name>fs.default.name</name>    <value>hdfs://localhost:9000</value></property></configuration>

修改hdfs-site.xml:

<configuration><property> <name>dfs.replication</name> <value>1</value></property><property>  <name>dfs.name.dir</name>    <value>file:///home/tom/hadoopdata/hdfs/namenode</value></property><property>  <name>dfs.data.dir</name>    <value>file:///home/tom/hadoopdata/hdfs/datanode</value></property></configuration>

第一个是dfs的备份数目,单机用1份就行,后面两个是namenode和datanode的目录。

修改mapred-site.xml:

<configuration> <property>  <name>mapreduce.framework.name</name>   <value>yarn</value> </property></configuration>

修改yarn-site.xml:

<configuration> <property>  <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value> </property></configuration>

修改hosts配置文件

vi /etc/hosts在最末尾加上
127.0.0.0.1    $hostname

初始化hadoop:

cd $hadoop_home/bin

$ hdfs namenode -format

启动

$ $HADOOP_HOME/sbin/start-all.sh

停止

$ $HADOOP_HOME/sbin/stop-all.sh

检查WebUI,浏览器打开端口:http://localhost:8088

port 8088: cluster and all applications

port 50070: Hadoop NameNode

port 50090: Secondary NameNode

port 50075: DataNode

hadoop运行后可使用jps命令查看,得到结果:

10057 Jps9611 ResourceManager9451 SecondaryNameNode9260 DataNode9102 NameNode9743 NodeManager4.安装scala

解压scala安装包到任意目录:

$ cd /home/tom$ tar -xzvf scala-2.10.6.tgz$ sudo vim /etc/profile

在/etc/profile文件的末尾添加环境变量:

export SCALA_HOME=/home/tom//scala-2.10.6export PATH=$SCALA_HOME/binPATH

保存并更新/etc/profile:

$ source /etc/profile

查看是否成功:

$ scala -version5.安装Spark

解压spark安装包到任意目录:

$ cd /home/tom$ tar -xzvf spark-1.6.0-bin-hadoop2.6.tgz$ mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0$ sudo vim /etc/profile

在/etc/profile文件的末尾添加环境变量:

export SPARK_HOME=/home/tom/spark-1.6.0export PATH=$SPARK_HOME/binPATH

保存并更新/etc/profile:

$ source /etc/profile

在conf目录下复制并重命名spark-env.sh.template为spark-env.sh:

$ cp spark-env.sh.template spark-env.sh$ vim spark-env.sh

在spark-env.sh中添加:

export JAVA_HOME=/home/tom/jdk1.8.0_73/export SCALA_HOME=/home/tom//scala-2.10.6export SPARK_MASTER_IP=localhostexport SPARK_WORKER_MEMORY=4G

启动

$ $SPARK_HOME/sbin/start-all.sh

停止

$ $SPARK_HOME/sbin/stop-all.sh

测试Spark是否安装成功:

$ $SPARK_HOME/bin/run-example SparkPi

得到结果:

Pi is roughly 3.14716

检查WebUI,浏览器打开端口:http://localhost:8080


在spark上执行task

spark-submit --master spark://10.10.5.246:7077 --name WordCountByscala --class luozt_scala.spark.wordcount --executor-memory 1G --total-executor-cores 2 /home/luozt/spark/spark0824.jar /home/luozt/spark/README.md

spark 单机版安装
该会员没有填写今日想说内容.
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

回顶部