在应用中加入全文检索功能
sZokiFJ ——基于Java的全文索引引擎Lucene简介
b+BX >$ 作者: 车东 Email: chedongATbigfoot.com/chedongATchedong.com
:m(" oC@} !
n?j)p. 写于:2002/08 最后更新: 11/29/2006 17:23:30
prxmDI Feed Back >> (Read this before you ask question)
zf^@f%R 6|1#Prj 版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本声明
O)r>AdLGn http://www.chedong.com/tech/lucene.html pf0uwXo /ZSdY_%s 关键词:Lucene java full-text search engine Chinese word segment
_3gF~qr PU\@^)$ 内容摘要:
>k
u7{1) <Q.-WV]Z Lucene是一个基于Java的全文索引工具包。
nm<S#i* ^X<ytOd5 基于Java的全文索引引擎Lucene简介:关于作者和Lucene的历史
3N{
ZX{} 全文检索的实现:Luene全文索引和数据库索引的比较
;giT[KK 中文切分词机制简介:基于词库和自动切分词算法的比较
K]i2$M 具体的安装和使用简介:系统结构介绍和演示
td2bL4 Hacking Lucene:简化的查询分析器,删除的实现,定制的排序,应用接口的扩展
q -^Z=,< 从Lucene我们还可以学到什么
}5"19
Go? 基于Java的全文索引/检索引擎——Lucene
T9gQq
7(l iLFhm4.PO Lucene不是一个完整的全文索引应用,而是是一个用Java写的全文索引引擎工具包,它可以方便的嵌入到各种应用中实现针对应用的全文索引/
xCm`g{ AdRt\H < 检索功能。
|CjdmQ u +@#-S Lucene的作者:Lucene的贡献者Doug Cutting是一位资深全文索引/检索专家,曾经是V-Twin搜索引擎(Apple的Copland操作系统的成就之一)的
J_XbtCmt bJ6v5YA% 主要开发者,后在Excite担任高级系统架构设计师,目前从事于一些INTERNET底层架构的研究。他贡献出的Lucene的目标是为各种中小型应用
Umk ! m] q , pr ",= 程序加入全文检索功能。
PPNZ(j [0n&?<< Lucene的发展历程:早先发布在作者自己的
www.lucene.com,后来发布在SourceForge,2001年年底成为APACHE基金会jakarta的一个子项目:
fOO[`"'Pq \"A~ks~ http://jakarta.apache.org/lucene/ 'gz@UE1 @nF#\ 已经有很多Java项目都使用了Lucene作为其后台的全文索引引擎,比较著名的有:
_"[O=h: fkr;
a`<W Jive:WEB论坛系统;
<1E*wPm8 Eyebrows:邮件列表HTML归档/浏览/查询系统,本文的主要参考文档“TheLucene search engine: Powerful, flexible, and free”作者就是
Gt?ckMB mg4:N EyeBrows系统的主要开发者之一,而EyeBrows已经成为目前APACHE项目的主要邮件列表归档系统。
zMN4cBL9m Cocoon:基于XML的web发布框架,全文检索部分使用了Lucene
skfFj&_T Eclipse:基于Java的开放开发平台,帮助部分的全文索引使用了Lucene
+JL"Z4b@R} e@{8G^o>D 对于中文用户来说,最关心的问题是其是否支持中文的全文检索。但通过后面对于Lucene的结构的介绍,你会了解到由于Lucene良好架构设计
L+"5g@ ZD]5"oHY ,对中文的支持只需对其语言词法分析接口进行扩展就能实现对中文检索的支持。
XZ&q5]PJI ,0[h`FN 全文检索的实现机制
G( y@Tor+ x BMhk9b^0 Lucene的API接口设计的比较通用,输入输出结构都很像数据库的表==>记录==>字段,所以很多传统的应用的文件、数据库等都可以比较方便的
las|ougLy dD"o~iEC 映射到Lucene的存储结构/接口中。总体上看:可以先把Lucene当成一个支持全文索引的数据库系统。
(g]J hG uEkUK| 比较一下Lucene和数据库:
gkNvvuQXc o@G
<[X|ke Lucene 数据库
_zj}i1!E" 索引数据源:doc(field1,field2...) doc(field1,field2...) \ indexer / _____________
LP:C9Ol\ D'+kzb@ | Lucene Index| -------------- / searcher \ 结果输出:Hits(doc(field1,field2) doc
zi}dQsy6 KA$l.6&d (field1...))
Y>[u(q&09O 索引数据源:record(field1,field2...) record(field1..) \ SQL: insert/ _____________
w`Js"_\ ~*h` ?A0 | DB Index | ------------- / SQL: select \结果输出:results(record(field1,field2..) record
h+h`0(z p,+$7f1S (field1...))
w">p
8 QA&BNG Document:一个需要进行索引的“单元”
8z,|N# 一个Document由多个字段组成 Record:记录,包含多个字段
?yt" Field:字段 Field:字段
mam2]St" Hits:查询结果集,由匹配的Document组成 RecordSet:查询结果集,由多个Record组成
"J%/xj 3EKqXXzOB 全文检索 ≠ like "%keyword%"
(""1[XURQK ~?n)1Vr| 通常比较厚的书籍后面常常附关键词索引表(比如:北京:12, 34页,上海:3,77页……),它能够帮助读者比较快地找到相关内容的页码。
2@S{e$YK` ]`x\Oj& 而数据库索引能够大大提高查询的速度原理也是一样,想像一下通过书后面的索引查找的速度要比一页一页地翻内容高多少倍……而索引之所
rTjV/~ !&D&Gs 以效率高,另外一个原因是它是排好序的。对于检索系统来说核心是一个排序问题。
JY tM1d sX,oJIt 由于数据库索引不是为全文索引设计的,因此,使用like "%keyword%"时,数据库索引是不起作用的,在使用like查询时,搜索过程又变成类
ye)CfP=ID\ 6uf+,F 似于一页页翻书的遍历过程了,所以对于含有模糊查询的数据库服务来说,LIKE对性能的危害是极大的。如果是需要对多个关键词进行模糊匹
e&(Di,%: RHGs(d7- 配:like"%keyword1%" and like "%keyword2%" ...其效率也就可想而知了。
438+zU 9RoN,e8! 所以建立一个高效检索系统的关键是建立一个类似于科技索引一样的反向索引机制,将数据源(比如多篇文章)排序顺序存储的同时,有另外
BJI
R !J PuhFbgxy 一个排好序的关键词列表,用于存储关键词==>文章映射关系,利用这样的映射关系索引:[关键词==>出现关键词的文章编号,出现次数(甚至
:n&n"`D~ .q1OT> 包括位置:起始偏移量,结束偏移量),出现频率],检索过程就是把模糊查询变成多个可以利用索引的精确查询的逻辑组合的过程。从而大大
NK+iLXC xA9{o+ 提高了多关键词查询的效率,所以,全文检索问题归结到最后是一个排序问题。
,IW$XD :8bz+3p 由此可以看出模糊查询相对数据库的精确查询是一个非常不确定的问题,这也是大部分数据库对全文检索支持有限的原因。Lucene最核心的特
Q1Sf7) JYB<};, 征是通过特殊的索引结构实现了传统数据库不擅长的全文索引机制,并提供了扩展接口,以方便针对不同应用的定制。
<tbsQ3 /CAi%UH,F 可以通过一下表格对比一下数据库的模糊查询:
#eT{?_wM &