IT星球论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 340|回复: 0

论全文检索实现方式lucene Sphinx solr以及比较

[复制链接]

2004

主题

1

好友

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

优秀会员 助人为乐 辛勤工作 技术精英 多才多艺 优秀班竹 灌水天才 星球管理 宣传大使 灌水之王 财富勋章 版主勋章 动漫勋章 勤奋会员 论坛精英 PS高手 心 8 闪游皮肤 双鱼座 8★8➹ 志愿者 乖

发表于 2016-3-3 12:24:36 |显示全部楼层
论全文检索实现方式lucene sphinx solr以及比较
paip.;论全文检索实现方式lucene  Sphinx  solr以及比较

[url=]1.   1lucene(solr,elasticsearch 都是基于它).....................................................................1[/url]
[url=]2.   Lucene缺点...............................................................................................................1[/url]
[url=]3.   ////////////////Sphinx,...................................................................................................2[/url]
[url=]3.1.      Sphinx 跟 RDBMS (特别是MySQL) 绑定的特别紧密...........................2[/url]
[url=]3.1.      性能非常出色..............................................................................................2[/url]
[url=]3.2.      数据库集成性很好...................................................................................2[/url]
[url=]3.3.      可以做MySQL的全文检索..........................................................................2[/url]
[url=]4.   Sphinx缺点...............................................................................................................4[/url]
[url=]5.   ElasticSearch..............................................................................................................4[/url]
[url=]6.   solr...........................................................................................................................4[/url]
[url=]7.   中文全文检索............................................................................................................5[/url]
[url=]8.   比较..........................................................................................................................5[/url]
[url=]9.   结论: lucene+sphinx协同使用。。来得到更好的搜索结果。......................................5[/url]
[url=]10.         参考:..................................................................................................................5[/url]


作者Attilax  EMAIL:1466519819@qq.com
来源:attilax的专栏
地址:http://blog.csdn.net/attilax

全文检索功能很多系统中都有用到,但我有个疑问:到底是用数据库中提供的全文检索功能,还是选用如 Lucene 之类的东西来实现?我主要想知道,这两种方式有什么区别?各自适用于什么样的场合?对中文的支持都怎么样?效率呢?请高人指点!


[url=]1.   1lucene(solr, elasticsearch[/url]都是基于它) 检索时它对CPU和内存的需求很小, 建立索引时却不小,不过估计你每天重建索引的次数也不多,所以估计问题不大。


[url=]2.   Lucene[/url]缺点性能较差
使用Lucene有一定的挑战性。想要用好它的话,你需要时刻留心很多东西。而且它只是一个jar包,不支持分布式。
4incrementalfetchlucene不支持从中间取索引。例如:用户取第十页,lucene需要把前面所有的内容都要检索出,然后所有的排序,过滤掉前面的然后返回。虽然说,这个从用户行为来说(因为大多数用户还是看前面的,不会跳着来),不是什么大问题。但是,这个毕竟可以解决。
3.    [url=]////////////////Sphinx[/url],一个能够被各种语言(PHP/Python/Ruby/etc)方便调用的全文检索系统
一般而言,Sphinx是一个独立的搜索引擎,意图为IT论坛应用提供高速、低空间占用、高结果相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。

Sphinx是一个俄国人开发的搜索引擎,
[url=]3.1.  Sphinx[/url]跟 RDBMS (特别是MYSQL) 绑定的特别紧密[url=]3.1.  性能非常出色[/url] 150万条记录一两分钟就索引完毕,2-4GB以内的文本检索速度不到0.1秒钟。ferret也望尘莫及,更不要说lucene了

[url=]3.2.  和数据库集成性很好[/url] Sphinx通过配置文件可以自行读取数据库信息做索引,不依赖任何外部的应用程序,并且可以作为一个daemon进程启动,支持分布式检索,并发响应性能很好。因此很多过去使用ferret的人因为并发检索的问题都改用Sphinx了。

[url=]3.3.  可以做MySQL[/url]的全文检索
MySQL的数据库引擎是可插拔的结构,Sphinx开发了一个SphinxSE数据库引擎,可以在编译MySQL的时候直接编译到MySQL里面去,这样的话,可以在数据库级别支持高性能的全文检索,那么你可以以如下SQL方式去全文检索了:

select * from xxxxwhere query='test;sort=attr_asc:group_id' AND ....;

很棒吧

当前系统内置MySQL和PostgreSQL 数据库数据源的支持,也支持从标准输入读取特定格式的XML数据。通过修改源代码,用户可以自行增加新的数据源(例如:IT论坛类型的DBMS的原生支持)。支持原生的mysql数据源,也支持xml数据。

搜索API支持PHP、Python、Perl、Rudy和Java,并且也可以用作MySQL存储引擎。搜索API非常简单,可以在若干个小时之内移植到新的语言上。

Sphinx建索引速度是最快的,比Lucene快9倍以上。因此,Sphinx非常适合做准实时搜索引擎。
. sphinx用C++编写,调用native api,s
Sphinx支持高速建立索引(可达10MB/秒,而Lucene建立索引的速度是1.8MB/秒)
高性能搜索(在2-4 GB的文本上搜索,平均0.1秒内获得结果)
高扩展性(实测最高可对100GB的文本建立索引,单一索引可包含1亿条记录)
支持分布式检索
支持基于短语和基于统计的复合结果排序机制
支持任意数量的文件字段(数值属性或全文检索属性)
支持不同的搜索模式(“完全匹配”,“短语匹配”和“任一匹配”)
支持作为Mysql的存储引擎(可以只改变sql就能实现全文搜索)
coreseek就是基于sphinx的实现

对于中文搜索,国内有coreseek和sphinx-for-chinese两个版本,内部使用了mmseg这个分词器。用户可以自定义分词库。

sphinx-for-chinese是一款专门为中文优化的全文搜索软件,在sphinx的基础上添加了中文分词模块,极大的提高了中文搜索的性能和效果


·        高速的建立索引(在当代CPU上,峰值性能可达到10MB/);
·        高性能的搜索(2–4GB的文本数据上,平均每次检索响应时间小于0.1);
·        可处理海量数据(目前已知可以处理超过100GB的文本数据,在单一CPU的系统上可处理100M文档);
·        提供了优秀的相关度算法,基于短语相似度和统计(BM25)的复合Ranking方法;
·        支持分布式搜索;
·        提供文件的摘录生成;
·        可作为MySQL的存储引擎提供搜索服务;
·        支持布尔、短语、词语相似度等多种检索模式;
·        文档支持多个全文检索字段(最大不超过32);
·        文档支持多个额外的属性信息(例如:分组信息,时间戳等);
·        停止词查询;
·        支持单一字节编码和UTF-8编码;
·        原生的MySQL支持(同时支持MyISAMInnoDB);
·        原生的PostgreSQL支持.


扩展性: 我对它了解的不多。但是很容易把一份索引COPY到多个服务器上,然后再跑多个搜索进程。  从IT论坛人那里了解的情况是:在高压高并发下,单极表现就足够好了!所以没必要考虑把它做成分布式。。

[url=]4.   Sphinx[/url]缺点有一点比较重要: sphinx不支持 live index update. 支持的话也非常有限。
2. sphinx的索引是几乎静态的,(不能动态添加,删除新item),solr是动态索引,可以实时修改添加.要做到这点,需要加锁, 这是"慢"的最根本的原因

5.  ////////////[url=]ElasticSearch[/url]分布式Lucene解决方案的核心是:  数据库需要水平分区的。(sharded, 词条见:shard  )  同时,还要使用 HTTP 和JSON 的形式来做为API。这样的优势是:不论什么语言,都可以轻易的调用它。


这就是我建立ElasticSearch的原因。  它用有先进的分布式模型, 本地语言是JSON, 还提供了很多查询特性。 这些都使用JSON形式的DSL来访问。
Solr 也是一个通过HTTP访问的检索/查询解决方案,但是我觉得ElasticSearch 提供了更好的分布式模型,也更容易使用(尽管目前看来, ElasticSearch还缺少某些检索特性,但是在不远的将来,我保证,会把Compass所有的特性都移植到ElasticSearch中去)
当然了,除了更好的分布式模型,ElasticSearch 还提供了很多IT论坛的特性。 因为它的诞生就是基于 分布式的理念(built with cloud in mind),你可以试一下 站点中的特性里面所列举的特性。

[url=]6.   solr[/url]支持分布式。 Solr 是基于Lucene 的
Solr 可以检索 WORD, PDF。 Sphinx不行
Sphinx中,所有的document id 必须是 unique , unsigned, non-zero 整数(估计是用C语言的名词来解释)。Solr的很多操作,甚至不需要unique key。 而且unique key 可以是整数,也可以是字符串。
Solr 支持fieldcollapsing 来避免相似搜索结果的重复性。 Sphinx没这个功能。
Sphinx只是查询documentid, 而solr则可以查询出整个的document.
7.  //////////////[url=]中文全文检索[/url]不支持中文全文检索,但是支持英文全文检索,可以将“中文全文检索”转变为“英文全文检索”,然后再变回“中文全文检索”。那么中文又如何转换成英文呢?思路可以是:中文全文检索→拼音全文检索→中文全文检索。所以转换的思路如图1所示。
中文字词存在同音现象,重码问题要解决。


8.  /////////////////[url=]比较[/url]没有人推荐solr吗?基于lucence的企业级搜索,虽然也是java,但提高xml,json等http服务,php操作也很方便的。
lucene功能强大,和消息队列结合会很好,唯一的缺点就是索引难维护,特别是多个索引的情况下。
sphinx不需要太注重索引维护,但是它的缺点就是不太能实时的更新索引,支持的功能没有LUCENE强大,但是足够一个中小型网站使用。
sphinx相比lucence,配置简单,易用,功能没有lucencename完善和强大。
sphinx虽然简陋,但性能好几倍
lucene可以实时增删索引,而sphinx只能通过定时任务实现,我不知道现在新版的实现没。反正这个是硬伤,速度再快也决定了它与实时性要求较高的web应用相去甚远
大型网站除非有自己的搜索研发团队,否则不会使用sphinx,sphinx的扩展性很差,分词就是一难题,要么使用sphxin_for_chinese,但是这个玩意N年不更新了


[url=]9.   结论: lucene+sphinx[/url]协同使用。。来得到更好的搜索结果。[url=]10.         参考:[/url] 让MySQL支持中文全文检索 - 独家评论 - 中国软件网-中国企业级选型门户.htm
Sphinx(狮身人面)比lucene还牛的搜索引擎 - minothing的专栏 - 博客频道 - CSDN.net.htm

[原创]使用postgreSQL+bamboo搭建比lucene方便N倍的全文搜索第二部分
主流全文索引工具的比较( Lucene, Sphinx, solr, elastic search) - sg552 - ITeye技术网站.htm
lucene缺点汇总_inJava_百度空间.htm
【转】Sphinx在windows下安装使用[支持中文全文检索] - 真爱无悔 - 博客园.htm
(Lucene讲的详细,ati注)全文检索系统与Lucene简介 - 水上漂的专栏 - 博客频道 - CSDN.NET.htm
   

论全文检索实现方式lucene Sphinx solr以及比较

该会员没有填写今日想说内容.
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

回顶部