IT星球论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 336|回复: 0

在CentOS上安装HBase 0.96

[复制链接]

2004

主题

1

好友

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

优秀会员 助人为乐 辛勤工作 技术精英 多才多艺 优秀班竹 灌水天才 星球管理 宣传大使 灌水之王 财富勋章 版主勋章 动漫勋章 勤奋会员 论坛精英 PS高手 心 8 闪游皮肤 双鱼座 8★8➹ 志愿者 乖

发表于 2016-3-3 18:26:23 |显示全部楼层
在Centos上安装HBase 0.96
环境:CentOS 6.5, jdk 1.7, HBase 0.96.1.1
(可选)创建新用户,并配置好SSH无密码登录一般我倾向于把需要启动daemon进程,对外提供服务的程序,即服务器类的程序,安装在单独的用户下面。这样可以做到隔离,运维方面,安全性也提高了。
创建一个新的group,
$ sudo groupadd hbase创建一个新的用户,并加入group,
$ sudo useradd -g hbase hbase给新用户设置密码,
$ sudo passwd hbase在每台机器上创建hbase新用户,并配置好SSH无密码,参考我的另一篇博客,SSH无密码登录的配置
1. 单机模式(Standalone mode)1.1 下载,解压$ wget wget http://mirror.esocc.com/apache/h ... -hadoop2-bin.tar.gz$ tar zxf hbase-0.96.1.1-hadoop2-bin.tar.gz -C ~/local/opt1.2 hbase-env.sh在这个文件中要指明JDK 安装在了哪里
$ echo $Java_HOME/usr/lib/jvm/java$ vim conf/hbase-env.sh取消JAVA_HOME那一行的注释,设置正确的JDK位置
export JAVA_HOME=/usr/lib/jvm/java1.3 修改 conf/hbase-site.xml内容如下
<configuration>  <property>    <name>hbase.rootdir</name>    <value>/home/hbase/local/var/hbase</value>  </property>  <property>    <name>hbase.zookeeper.property.dataDir</name>    <value>/home/hbase/local/var/zookeeper</value>  </property></configuration>hbase.rootdir目录是用来存放HBase的相关信息的,默认值是/tmp/hbase-${user.name}/hbase; hbase.zookeeper.property.dataDir目录是用来存放zookeeper(HBase内置了zookeeper)的相关信息的,默认值是/tmp/hbase-${user.name}/zookeeper。
1.4 启动$ ./bin/start-hbase.shstarting Master, logging to logs/hbase-user-master-example.org.out1.5 试用一下HBase shell$ ./bin/hbase shell    2014-02-09 23:56:28,637 INFO  [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available    HBase Shell; enter ‘help’ for list of supported commands.    Type “exit” to leave the HBase Shell    Version 0.96.1.1-hadoop2, rUnknown, Tue Dec 17 12:22:12 PST 2013
hbase(main):001:0>创建一张名字为test的表,只有一个列,名为cf。为了验证创建是否成功,用list命令查看所有的table,并用put命令插入一些值。
hbase(main):003:0> create 'test', 'cf'0 row(s) in 1.2200 secondshbase(main):003:0> list 'test'..1 row(s) in 0.0550 secondshbase(main):004:0> put 'test', 'row1', 'cf:a', 'value1'0 row(s) in 0.0560 secondshbase(main):005:0> put 'test', 'row2', 'cf:b', 'value2'0 row(s) in 0.0370 secondshbase(main):006:0> put 'test', 'row3', 'cf:c', 'value3'0 row(s) in 0.0450 seconds用scan命令扫描table,验证一下刚才的插入是否成功。
hbase(main):007:0> scan 'test'ROW        COLUMN+CELLrow1       column=cf:a, timestamp=1288380727188, value=value1row2       column=cf:b, timestamp=1288380738440, value=value2row3       column=cf:c, timestamp=1288380747365, value=value33 row(s) in 0.0590 seconds现在,disable并drop掉你的表,这会把上面的所有操作清零。
hbase(main):012:0> disable 'test'0 row(s) in 1.0930 secondshbase(main):013:0> drop 'test'0 row(s) in 0.0770 seconds 退出shell,
hbase(main):014:0> exit1.6 停止$ ./bin/stop-hbase.shstopping hbase...............2 伪分布式模式(Pseudo-distributed mode)前提HBase集群需要一个正在运行的zookeeper集群,要么用自带的,要么用外部的。
用自带的很方便,不需要任何IT论坛操作。
如果用外部的,要先安装并启动一个ZK集群,参考我的这篇博客,在CentOS上安装ZooKeeper集群。并在 conf/hbase-env.sh 里,设置HBASE_MANAGES_ZK=false。这个值默认为true,HBase自带了一个zk,启动HBase的时候也会先启动zk,如果把这个值设置为false,那么HBase就不会自己管理zk集群了。
一般用外部的zk。因为一般情况下,公司会在集群上安装好zookeeper集群,然后多个项目共用一个zk集群,有利于提高资源利用率。
HBase还需要一个正在运行的HDFS集群,如何搭建请参考我的这篇博客,在CentOS上安装Hadoop 2.x 集群
2.1 设置SSH无密码登录localhost先检查一下是能够无密码登录本机,
ssh localhost如果提示输入密码,说明不能,按如下步骤设置。
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys2.2 下载,解压$ wget wget http://mirror.esocc.com/apache/h ... -hadoop2-bin.tar.gz$ tar zxf hbase-0.96.1.1-hadoop2-bin.tar.gz -C ~/local/opt2.3 hbase-env.sh在这个文件中要指明JDK 安装在了哪里
$ echo $JAVA_HOME/usr/lib/jvm/java$ vim conf/hbase-env.sh取消JAVA_HOME那一行的注释,设置正确的JDK位置
export JAVA_HOME=/usr/lib/jvm/java2.4 conf/hbase-site.xml内容如下
<configuration>  <property>    <name>hbase.rootdir</name>    <value>/home/hadoop/local/var/hadoop/hbase</value>  </property>  <property>    <name>hbase.cluster.distributed</name>    <value>true</value>  </property>    <property>    <name>hbase.zookeeper.property.clientPort</name>    <value>2181</value>  </property>  <property>    <name>hbase.zookeeper.quorum</name>    <value>zk01, zk02, zk03</value>  </property>  <property>    <name>hbase.zookeeper.property.dataDir</name>    <value>/home/zookeeper/local/var/zookeeper</value>  </property></configuration>hbase.rootdir是HBase存放数据的目录,这个值应该从Hadoop集群的core-site.xml里的fs.defaultFS或fs.default.name拷贝过来。
接下来关于ZooKeeper的三项配置都是从ZooKeeper集群的zoo.cfg里拷贝过来的。
2.5 启动$ ./bin/start-hbase.shstarting Master, logging to logs/hbase-user-master-example.org.out查看一下进程,
$ jps26142 HMaster26255 HRegionServer26360 Jps启动了一个HMaster和一个HRegionServer。
2.6 试用一下HBase shell见第1.5节。
2.7 停止$ ./bin/stop-hbase.shstopping hbase...............3 完全分布式模式(Fully-distributed mode)3.1 准备3台机器跟这篇文章在CentOS上安装Hadoop 2.x 集群的第2.1节很类似。
设3台机器的hostname分别是master, slave01, slave02, master作为HMaster,而slave01,slave02作为HRegionServer。
3.2 配置 master 无密码登陆到所有机器(包括master自己登陆自己)参考我的另一篇博客,SSH无密码登录的配置
3.3 把HBase压缩包上传到所有机器,并解压将 hbase-0.96.1.1-hadoop2-bin.tar.gz 上传到所有机器,然后解压。注意,所有机器的hbase路径必须一致,因为master会登陆到slave上执行命令,master认为slave的hbase路径与自己一样。
下面开始配置,配置好了后,把conf/目录scp到所有IT论坛机器。
3.4 修改配置文件在第2节的基础上,增加下列修改。
3.4.1 conf/regionservers在这个文件里面添加slave,一行一个。
slave01slave013.4.2 将conf/目录拷贝到所有slaves$ scp -r conf/ hbase@slave01HBASE_HOME/$ scp -r conf/ hbase@slave02HBASE_HOME/3.5 启动HBase集群3.5.1 启动在master上执行:
$ ./bin/start-hbase.sh3.5.2 检查是否启动成功用jps查看java进程。
在master上,应该有一个HMaster进程,在每台slave上,应该有一个HRegionServer进程。
3.5.3 Web UI4 客户端想要在另一台机器,或者另一个用户下访问HBase,怎么办?把hbase的安装目录整个拷贝过来即可,不用任何配置(跟Hadoop想比简单多了)。
运行./bin/hbase shell,就可以使用HBase集群了。
参考资料
http://cn.soulmachine.me/blog/20140208/
在CentOS上安装HBase 0.96

该会员没有填写今日想说内容.
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

回顶部