阿哥论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 712|回复: 0

solr中文分词

[复制链接]

2019

主题

1

好友

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

优秀会员 助人为乐 辛勤工作 技术精英 多才多艺 优秀班竹 灌水天才 星球管理 宣传大使 灌水之王 财富勋章 版主勋章 动漫勋章 勤奋会员 论坛精英 PS高手 心 8 闪游皮肤 双鱼座 8★8➹ 志愿者 乖

发表于 2014-11-22 01:50:55 |显示全部楼层
我在solr中尝试了以下三种开源中文分词器,其中两种都因为solr版本过高不能用,郁闷,后来将JAR包反编译,找到了原因,下面先简要说明一下三种开源中文分词器

庖丁解牛:google code上最后一次代码提交是2008.6月,不是很活跃,但用的人还很多
mmseg4j:google code上最后一次代码提交是2010.12月,应该还算活跃,采用MMSeg算法,有两种分词方法:Simple和Complex
IKAnalyzer:最近很活跃,2011.3月在google code上提交了一个版本

lucene于今年5月份出了3.2版,solr也对应出了3.2版,高版本有个不好的地方,就是开源的中文分词库,跟不上相应的更新速度,本人用的是3.1 版,在lucene中加入庖丁解牛中文分词器和IKAnalyzer最新版,都会报错。

错误原因如下(以IKAnalyzer为例说明):
不论是庖丁解牛还是IKAnalyzer,要把分词器放到solr中,需要经承solr中的BaseTokenizerFactory这个类,
  1. import Java.io.Reader;

  2. import org.apache.lucene.analysis.TokenStream;
  3. import org.apache.solr.analysis.BaseTokenizerFactory;
  4. import org.wltea.analyzer.lucene.IKAnalyzer;

  5. public class ChineseTokenizerFactory extends BaseTokenizerFactory {

  6.         @Override
  7.         public TokenStream create(Reader reader) {
  8.                 return new IKAnalyzer().tokenStream("text", reader);
  9.         }
  10.        
  11. }
复制代码
这个基类中实现TokenizerFactory接口,create就定义在这个接口中,但返回的类型是Tokenizer,而在solr3.1版本中Tokenizer是继承TokenStream的,所以这里需要强制转换才不会报错。而庖丁解牛就没那么简单了,需要修改源码才可以,庖丁解牛现在只支持到solr1.4版本

还有庖丁解牛都不能直接在lucene3.1中使用,代码不提示任何错误,但一运行就报错,不知道为什么原因,估计原因同上,需要修改源代码,有知道的,请转告

mmseg4j也要下最新版本,否则也会报错,具体配置如下:
把 mmseg4j-all-1.8.4.jar 放到 tomcat/webapps/solr/lib下,mmseg4j1.84包中的字典解压出来,放在solr.home/data目录下,修改solr配置文件:
  1. <fieldType name="textComplex" class="solr.TextField" positionIncrementGap="100" >  
  2.     <analyzer>  
  3.         <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="C:/apache/apache-solr-3.1.0/example/solr/data"/>  
  4.         <filter class="solr.LowerCaseFilterFactory"/>  
  5.     </analyzer>  
  6. </fieldType>  
  7. <fieldType name="textMaxWord" class="solr.TextField" positionIncrementGap="100" >  
  8.     <analyzer>  
  9.         <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="C:/apache/apache-solr-3.1.0/example/solr/data"/>  
  10.         <filter class="solr.LowerCaseFilterFactory"/>  
  11.     </analyzer>  
  12. </fieldType>  
  13. <fieldType name="textSimple" class="solr.TextField" positionIncrementGap="100" >  
  14.     <analyzer>  
  15.         <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="C:/apache/apache-solr-3.1.0/example/solr/data"/>  
  16.         <filter class="solr.LowerCaseFilterFactory"/>  
  17.     </analyzer>  
  18. </fieldType>  
复制代码
mmseg4j 在 solr 中主要支持两个参数:mode、dicPath。mode 表示是什么模式分词。dicPath 是词库目录,网上说可以默认在当前data目录下寻找,经测试好像不行,必须人工给出绝对路径,或许是高版本的问题吧,或许是我哪里设置错了,然后在 http://localhost:8080/solr/admin/analysis.jsp 可以看 mmseg4j 的分词效果,在Field的下拉菜单选择type,然后输入textComplex,特别是和CJK分词器作对比,很明显,CJK是solr官方自带的支持中日韩的分词器,它对中文是采用的二元分词


其实中文分词一直以来是很多人在研究的东西,怎么提高分词效率和匹配正确率是目标,里面的算法实现是它的核心,把它完全吃透,估计都可以写论文了,呵呵,由于时间有限,只是粗略拿来体验了一下。还有就是关于solr/lucene的搜索效率,优化索引,也是一个值得研究的课题。

参考资料:
1.http://blog.chenlb.com/2009/04/solr-chinese-segment-mmseg4j-use-demo.html
2.http://lianj-lee.iteye.com/blog/464364
3.http://www.blogjava.net/RongHao/archive/2007/11/06/158621.html
4.http://www.iteye.com/news/9637
5.http://blog.csdn.net/foamflower/archive/2010/07/09/5723361.aspx
突然发现IKAnalyzer在3.1.5版本中,已经实现了对solr的TokenizerFactory接口配置的支持,详见下面这篇文章:
http://linliangyi2007.iteye.com/blog/501228

庖丁解牛分词器支持Lucene3.0.2,需要修改源代码:
http://blog.csdn.net/foamflower/archive/2010/07/09/5723361.aspx

摘自:http://blog.csdn.net/aidayei/article/details/6526986


该会员没有填写今日想说内容.
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

回顶部