IT星球论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 345|回复: 0

CentOS 下 Hadoop+Hbase 安装手册

[复制链接]

2000

主题

1

好友

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

优秀会员 助人为乐 辛勤工作 技术精英 多才多艺 优秀班竹 灌水天才 星球管理 宣传大使 灌水之王 财富勋章 版主勋章 动漫勋章 勤奋会员 论坛精英 PS高手 心 8 闪游皮肤 双鱼座 8★8➹ 志愿者 乖

发表于 2016-3-3 18:22:55 |显示全部楼层
Centoshadoop+HBase 安装手册
安装前必看
因为Hadoop本身的优势的将 文件的存储 和 任务处理 分布化,Hadoop分布式架构中有如下两种负责不同功能的服务器,master服务器 和 slave服务器。所以,本安装手册将从二者 的 共体到个体的说明。
安装假定
安装时假设要为2台服务 器安装Hadoop架构,那么我们假设:
1、两台服务器名称为master和slave;
2、两台服务器操作系统均为CentOS5.* 且版本数大于等于 5.4;
3、Master将作为master主服务器使用,slave将作为slave从服务器使用;
4、Master和slave均正常运行 且 正常联网;
5、Master和slave的wget命令均可正常使用;
6、Master和slave空间足够;
7、Master和slave均已获取root权限;
8、Master ip地址为 192.168.229.133;slave的ip地址为 192.168.229.134;
安装&配置
说明:此部分将安装master和slave共同的部分,以下操作请在master和slave上分别进行。
1、设置Hosts 和 Hostname
在Master和slave的/etc/hosts下共同增加:
192.168.229.133 master
192.168.229.134 slave
修改master的hostname文件:
vi /etc/hostname
master
修改slave的hostname文件:
vi /etc/hostname
slave
2、下载安装jdk 1.6, 并配置,命令为
wget  'http://download.Oracle.com/otn-pub/Java/jdk/6u26-b03/jdk-6u26-linux-i586-rpm.bin'
./jdk-6u26-linux-i586-rpm.bin
[等待jdk正常安装完成,www.oschina.net假设安装后jdk的路径为 /usr/java/jdk1.6.0-26]
ln -s /usr/java/jdk1.6.6-26 /usr/java/jdk
[配置java环境变量]
vi  /etc/profile
[在文件末添加]
export JAVA_HOME=/usr/java/jdk
export CLASSPATH=$CLASSPATHJAVA_HOME/libJAVA_HOME/jre/lib
export PATH=$JAVA_HOME/binJAVA_HOME/jre/binPATHHOME/bin
[保存退出,使设置生效]
source  /etc/profile
3、安装openssh,命令为:
yum install openssh
[设置ssh无密码连接]
ssh-keygen -t rsa -P '' -f /root/.ssh/id_dsa
cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys
[将master的id_dsa.pub 传给slave,命名为master_id_dsa ]
[在slave 上执行操作 cat master_id_dsa.pub >> /root/.ssh/authorized_keys ]
4、下载安装 Hadoop,命令为:
wget  'http://labs.renren.com/apache-mirror//hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz'
tar zxvf hadoop-0.20.2.tar.gz
cp -r  hadoop-0.20.2  /opt/hadoop
[配置hadoop环境变量
vi  /etc/profile
[在文件末添加
export HADOOP_HOME=/opt/hadoop
[配置
cd  /opt/hadoop/conf
vi  hadoop-env.sh
[在末尾添加
export JAVA_HOME=/usr/java/jdk
vi core-site.xml
[<configuration>节点下添加
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
<property>
  
  <name>hadoop.tmp.dir</name>
  
  <value>/home/hadoop-${user.name}</value>
  
</property>
  
<property>
  
  <name>fs.default.name</name>
  
  <value>hdfs://master:9000</value>
  
</property>



vi mapred-site.xml
[<configuration>节点下添加
?
1
2
3
4
<property>
  <name>mapred.job.tracker</name>
  <value>master:9001</value>
</property>



  vi master
[将内容改为以下内容,注意:不是添加是更改
master
vi slaves
[将内容改为以下内容,注意:不是添加是更改
slave
5、下载安装Hbase, 命令为:
wget  'http://labs.renren.com/apache-mirror//hbase/hbase-0.90.3/hbase-0.90.3.tar.gz'
tar zxvf hbase-0.90.3.tar.gz
cp -r  hbase-0.90.3  /opt/hbase
[编辑hbase配置文件
cd /opt/hbase/conf
vi hbase-env.sh
[在文件的末尾添加
?
1
2
3
4
5
6
7
8
9
10
11
12
13
export JAVA_HOME=/usr/java/jdk
  
export HADOOP_CONF_DIR=/opt/hadoop/conf
  
export HBASE_HOME=/opt/hbase
  
export HBASE_LOG_DIR=/var/hadoop/hbase-logs
  
export HBASE_PID_DIR=/var/hadoop/hbase-pids
  
export HBASE_MANAGES_ZK=true
  
export HBASE_CLASSPATH=$HBASE_CLASSPATH:/opt/hadoop/conf



vi hbase-site.xml
[<configuration>节点下添加
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
<property>
  
    <name>hbase.rootdir</name>
  
    <value>hdfs://master:9000/hbase</value>
  
</property>
  
<property>
  
    <name>hbase.tmp.dir</name>
  
    <value>/home/hbase-${user.name}</value>
  
</property>
  
<property>
  
    <name>hbase.cluster.distributed</name>
  
    <value>true</value>
  
</property>
  
<property>
  
    <name>hbase.cluster.distributed</name>
  
    <value>true</value>
  
</property>
  
<property>
  
      <name>hbase.zookeeper.quorum</name>
  
      <value>slave</value>
  
</property>
  
<property>
  
      <name>hbase.zookeeper.property.dataDir</name>
  
      <value>/home/hbase-data</value>
  
</property>



vi regionservers
[ 替换其中内容
slave
rm /opt/hbase/lib/hadoop-core-0.20-*
cp  /opt/hadoop/hadoop-0.20.2-core.jar  ./
http://www.oschina.net/question/54100_24054
CentOS 下 Hadoop+Hbase 安装手册

该会员没有填写今日想说内容.
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

回顶部