IT星球论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 124|回复: 0

Linux系列之solr集群版环境搭建(六)

[复制链接]

2002

主题

1

好友

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

优秀会员 助人为乐 辛勤工作 技术精英 多才多艺 优秀班竹 灌水天才 星球管理 宣传大使 灌水之王 财富勋章 版主勋章 动漫勋章 勤奋会员 论坛精英 PS高手 心 8 闪游皮肤 双鱼座 8★8➹ 志愿者 乖

发表于 2016-10-12 18:44:38 |显示全部楼层
linux系列之solr集群版环境搭建(六)

SolrCloud简介

SolrCloud是solr提供的分布式搜索方案,当需要大规模容错、分布式索引和检索能力时使用。当一个系统的索引数量少时,不需要使用SolrCloud;当索引量很大,搜索请求并发很高时,需要使用SolrCloud。

SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心。

它有几个特色功能:

1) 集中式的配置信息

2) 自动容错

3) 近实时搜索

4) 查询时自动负载均衡

Zookeeper简介

顾名思义zookeeper就是动物园管理员,他是用来管理hadoop(大象)、Hive(蜜蜂)、pig(小猪)的管理员,apache HBase和Apache Solr的分布式集群都用到了zookeeper。Zookeeper是一个分布式的、开源的程序协调服务,是hadoop项目下的一个子项目。

zookeeper:集群管理工具,集群入口。

集群管理

主从的管理、负载均衡、高可用的管理。集群的入口。Zookeeper必须是集群才能保证高可用。Zookeeper有选举和投票的机制。集群中至少应该有三个节点。

配置文件的集中管理

搭建solr集群时,需要把Solr的配置文件上传zookeeper,让zookeeper统一管理。每个节点都到zookeeper上取配置文件。

分布式锁

SolrCloud结构

SolrCloud为了降低单击的处理压力,需要由多态服务器共同来完成索引的搜索任务。实现的思路是将索引数据进行Shard(分片)拆分,每个分片由多态服务器共同完成,当一个索引或搜索请求过来时,会分别从不同的shard的服务器中操作索引。

SolrCloud需要Solr基于Zookeeper部署,Zookeeper是一个集群管理软件,由于SolrCloud需要由多台服务器组成,由zookeeper来进行协调管理。



搭建步骤

Zookeeper集群搭建

第一步:需要把zookeeper-3.4.6.tar.gz的安装包上传到服务器。

第二步:把zookeeper解压:tar –zxvfzookeeper-3.4.6.tar.gz

第三步:把zookeeper向/usr/local/solr-cloud目录下复制三份。



第三步:配置zookeeper。

1.在zookeeper01目录下创建一个data文件夹。

2.在data目录下创建一个myid的文件

3.myid的内容为1(02对应“2”,03对应“3”)



在data文件夹下建立一个myid文件,并在myid文件中,写入内容1



4.zookeeper02、03以此类推。

5.进入conf文件,把zoo_sample.cfg文件改名为zoo.cfg;或者复制zoo_sample.cfg一份,并命名为zoo.cfg



6.修改zoo.cfg,把dataDir=属性指定为刚创建的data文件夹。

(本demo路径:/usr/local/solr-cloud/zookeeper01/data/)

7.修改zoo.cfg,把clientPort指定为不冲突的端口号(01:2181、02:2182、03:2183)

(2181:这个端口是客户端连接端口

8.在zoo.cfg中添加如下内容:

server.1=192.168.33.10:2881:3881

server.2=192.168.33.10:2882:3882

server.3=192.168.33.10:2883:3883

(这个端口是服务器连接端口,不能重复)



第四步:启动zookeeper。

Zookeeper的目录下有一个bin目录。使用zkServer.sh启动zookeeper服务。

启动命令:./zkServer.sh start

另一种启动zookeeper的方式:./zkServer.sh start-foreground //这种启动方式,能够查看zookeeper的日志

关闭命令:./zkServer.sh stop

查看服务状态:./zkServer.sh status



Solr集群搭建

第一步:安装四个tomcat,修改其端口号不能冲突。8080~8083



端口号分别修改为:8005-8006-8007-8008

8080-8081-8082-8083

8009-8010-8011-8012







第二步:向tomcat下部署solr。把单机版的solr工程复制到tomcat下即可。

(将单机版的solr/tomcat/webapps下的solr复制到solr-cloud/tomcat01/webapps/下面)

第三步:为每个solr实例创建一solrhome。

将单机版的solr/下的solrhome复制到solr-cloud/目录下,分别命名为solrhome01-solrhome04

第四步:为每个solr实例关联对应的solrhome。修改web.xml(为tomcat关联solrhome)

修改solr-cloud/tomcat01/webapps/solr/WEB-INF/web.xml文件



第五步:修改每个solrhome下的solr.xml文件。修改host、hostPort两个属性。分别是对应的ip及端口号。

host:当前实例运行的ip地址

port:当前实例运行的端口号,是当前tomcat的端口号



第六步:把配置文件上传到zookeeper。需要使用

/root/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh命令上传配置文件。

把/usr/local/solr-cloud/solrhome01/collection1/conf目录上传到zookeeper。

需要zookeeper集群已经启动。

(上传任意一个)

./zkcli.sh -zkhost 192.168.33.10:2181,192.168.33.10:2182,192.168.33.10:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf

第七步:查看是否上传成功。

使用zookeeper的zkcli.sh命令。

zkcli.sh存在位置:/usr/local/solr-cloud/zookeeper01/bin

(注:zookeeper只要连接上任意节点,就行了)

第八步:告诉solr实例zookeeper的位置。需要修改tomcat的catalina.sh添加 (tomcat/bin/catalina.sh)

Java_OPTS="-DzkHost=192.168.33.10:2181,192.168.33.10:2182,192.168.33.10:2183"



在使用JAVA_OPTS之前添加这句话:

每个节点都需要添加。

第九步:启动每个solr实例。

使用脚本,启动所有solr实例

vi start-all.sh



查看启动日志 :tail -f tomcat01/logs/catalina.out

查看solrCloud搭建是否成功,使用浏览器查看solr,点击Cloud可以看到solr集群



第十步:集群分片。

将集群分为两片,每片两个副本。(numShards:分成两片;replicationFactor:两个副本)

在浏览器中运行下面的链接:

http://192.168.33.10:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

看到success,就说明成功了。



拆分结果:



第十一步:删除不用collection1

在浏览器中打开下面的链接:

http://192.168.33.10:8080/solr/admin/collections?action=DELETE&name=collection1

看到success,就说明成功了。



删除之后的效果:



问题解决

问题一:查看zookeeper服务状态时,报错:Error contacting service. It is probably not running.

启动没有问题,但是查看solr集群状态时,总是报错。solr明明显示已经起来了,但是查看solr状态时,却提示没有启动:



解决办法:可能是真的没有启动,虽然显示成功,但是成功之后,就马上关闭了。可以关闭之后,再重新启动。

在网上搜索到的解决办法:

打开zkServer.sh找到status,即找到下面的这句话:

STAT='echo stat | nc localhost$(grep clientPort "$ZOOCFG" | sed -e 's/.*=//') 2> /dev/null| grep Mode'

在nc与localhost之间加上 -q 1(是数字1而不是字母l),如果已存在,则去掉。如果没有这句话,则加上。

问题二:用日志方式启动zookeeper时,报错:

Unexpected exception, exiting abnormally

java.net.BindException: Address already in use

原因:端口被占用

解决方法:1、如果使用ps aux|grep 2181,查看不到端口被占用。

2、使用lsof -i:2181命令查看端口占用情况

3、若执行lsof -i:2181命令提示:-bash: lsof: command not found

4、执行yum install lsof命令

5、再查看端口占用情况,停调被占用的端口,即可。

问题三:启动solr集群后,浏览器打开solr链接,报错:



原因:正如问题一一样,显示zookeeper已经启动成功了,但实际,没有真正启动成功。

解决办法:重新启动


http://www.2cto.com/os/201608/543462.html
Linux系列之solr集群版环境搭建(六)
该会员没有填写今日想说内容.
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

回顶部