流　　浪　　的　　枫　　之　　羽: 搜索引擎

讲述Lucene相关站点和书籍- -

Sun, 09 Dec 2007 04:01:19 GMT

Introduction to Text Indexing with Apache Jakarta Lucene
http://www.onjava.com/pub/a/onjava/2003/01/15/lucene.html

Advanced Text Indexing with Lucene
http://www.onjava.com/pub/a/onjava/2003/03/05/lucene.html

关于Chedong的blog(非常著名,汉语)
http://www.chedong.com/tech/lucene.html

Lucene全文检索实践
http://www.infor96.com/~nio/comments.php?id=84_0_1_0_C

关于Lucene的基本概念
http://www.cnblogs.com/lucene/archive/2004/12/20/79804.html

Lucene使用者沙龙(为Chedong和一些朋友的沙龙,有ppt和http://blog.cnblog.org/archives/2005/07/luceneaecee.html

Lucene研究之一——起源、现状及初步应用http://jalorsoft.com/holen/holen_lucene_01.html

Lucene研究之二——系统结构分析初步(已阅)
http://jalorsoft.com/holen/holen_lucene_02.html

系统讲了Lucene架构(英文)
http://www-igm.univ-mlv.fr/~dr/XPOSE2003/lucene/node1.html

Doug Cutting(Lucene作者)做的关于Lucene的架构解说
http://lucene.sourceforge.net/talks/pisa/

English StopWords列表
http://www.onjava.com/onjava/2003/01/15/examples/EnglishStopWords.txt

书籍:

Lucene in action

介绍个知识点：什么叫倒排索引?

Thu, 25 Oct 2007 17:01:28 GMT

在多篇文章中寻找一个词有两种方法，一种是字符串匹配，即在每篇文章中做字符串匹配，查找该字符串是否存在。字符串匹配有多种方法，可以参见《算法导论》的32章《String Matching》，这里就不细表了。

另一种方法就是先做倒排索引，再查找。什么是倒排索引呢？请看下面的例子：
假设文章1的内容是：aaa bbb ccc ddd
文章2的内容是：bbb ddd yyy

上面的对应关系是：“文章号”对“文章中所有关键词”。倒排索引把这个关系倒过来，变成：“关键词”对“拥有该关键词的所有文章号”。文章1，2经过倒排后变成：
aaa 1
bbb 1,2
ccc 1
ddd 1,2
yyy 2

当建好了上面所示的倒排索引后，一旦我们要查找哪些文章中含有某个关键字时，只需取出该关键词所对应的文章号就行了。
比如我们查找aaa，返回1.查找ddd,返回1，2

一个使用倒排索引的经典例子是：但凡英文的技术书籍，书的最后面都有一个index，你可以通过它找到一个关键词出现在哪些页面里。这个就是关键词对拥有该关键词的页面的索引。

web搜索引擎中所用的倒排索引就是这样的。首先对一篇文章分词，去掉“的、啊、哦”等等停用词，然后对剩下的关键词建立倒排索引。

Lucene的学习2(转)

Mon, 22 Oct 2007 16:36:05 GMT

3 索引的建立

我们从索引的建立入手：

我们建立一个 lucene 的索引时必须先建立该索引文件存放的位置，看一下代码：

IndexWriter writer = null;

writer = new IndexWriter("c:\\index", new CJKAnalyzer(), true);

这段代码就时建立一个索引前所必须的操作，先声明这个 IndexWriter ，实例化它你必须传入三个参数。他们分别代表：你要建立索引文件的存放位置、你要使用索引建立的分词方法、是否重新建立索引。这样你就告诉 lucene 我要在 c 盘的 index 目录下建立索引文件，我要使用车东老师的二分词算法做分析器、我要在这个目录下删除以前的索引或任何文件创立我的索引文件。

索引的建立有三种方式，让我一一道来：

1 、 new IndexWriter(new RAMDirectory(), new StandardAnalyzer(), true);

在内存中建立索引，速度最快但是耗资源，而且重启就没了。

2 、 new IndexWriter(FSDirectory.getDirectory(path, true), new StandardAnalyzer(), true);

在文件系统中建立索引，这里有两个参数，分别是：建立索引的路径、是否要删除当前目录下的文件重新建立索引。

3 、 new IndexWriter("c:\\index", new CJKAnalyzer(), true);

最常见的一种，在制定目录下建立索引，看了源码你就知道这种方法也是用的第二种方式。 Lucene 的源码：

public IndexWriter(String path, Analyzer a, boolean create)

throws IOException {

this(FSDirectory.getDirectory(path, create), a, create, true);

}

我想的没错。

Indexwriter 性能调整参数：

第一个优化的参数 ： mergeFactor 这个参数用于控制 lucene 在把索引从内存写入到磁盘上的文件系统时内存最大的 Document 对象的数量。这个数要根据你的计算机设置，默认情况下是 10 。

第二个优化的参数 ： maxMergeFactor 这个参数用来设置当有多少个 Segment 时进行合并操作。当然我们知道当索引文件太多的话其检索的速度就会很慢，所以我们要当文件数量一定时让它进行索引的合并。这样就可以加快索引速度，但是这个值要根据你的情况而定。当文档数量较多时我们将值设大些，当文档数量较少时我们将值设小些。

第三个优化的参数 ： minMergeDocs 这个参数用于控制内存中文档的数量。

这样我们建立索引已经完成，接下来我们要建立 Document 对象，因为你必须告诉我要搜索什么吧！好了，看看源码：

File file = new File("1.txt");

Document doc = new Document();

doc.add(Field.UnIndexed("filename", file.getName()));

FileInputStream fis = new FileInputStream(file);

byte[] b = new byte[fis.available()];

fis.read(b);

String content = new String(b);

doc.add(Field.Text("content", content));

fis.close();

以上我们就完成了将 1.txt 文件放到我们的 Document 对象了。这里我们用了 Field.Text(); 这样的操作和 doc.add(); 这样的方法建立的。这也是建立索引的必须。

稍微介绍一下 Field ，它就是你要建立索引的字段。它分别有

类型 / 方法	是否分词	是否索引	是否存储	常用实例
Keyword(String,String) Keyword(String,Date)	否	是	是	电话号码，身份证，人名，地名，日期
Unindexed(String,String)	否	否	是	文档类型，文档名称
UnStored(String,String)	是	是	否	文档的标题和内容
Text(String,String)	是	是	是	文档的标题和内容
Text(String,Reader)	是	是	否	文档的标题和内容

这样我们要建什么样的索引就对号入座吧，只要最后我们使用 doc.add(Field.Text("content", content)); 把它添加到 Document 中就可以了。

这时我们的文档已经建立好了，现在就开始向索引中添加文档吧！这里我们使用

writer.addDocument(doc); 来向 Indexwriter 索引中添加构造好的文档。

这样我们是不是就可以说我们已经建立完了索引呢，其实不然，我们还要优化优化，这样才快嘛！对不对？

writer.optimize(); 这样一句话就可以实现索引优化了，具体的优化过程我就不说了，是不是很简单。但是一定不要忘了哦。调用这个方法时最好建立一个合适的周期。定期进行优化。

好了，这样我们就完成了索引的建立了。

下面我们看看缩影的合并吧！

当我们在很多地方建立了很多的索引后，想要合并这些索引我们怎么办呢？

使用 IndexWriter.assIndexs(New Directory[]{path});

就可以对 path 路径下的索引合并到当前的索引中了。

下面再看看索引的删除吧！

有一些过时的索引我们需要删除，怎么办呢？

IndexReader reader = IndexReader.open("c:\\index");

reader.delete(0);

这样我们就可以按照文档的顺序删除对应的文档了，但是这样不太现实，不对吗？我们怎么会知道文档的顺序呢？

下面我们看看第二中方法：

IndexReader reader = IndexReader.open("c:\\index");

reader.delete(new Term("name","word1"));

reader.close();

按照字段来删除对应的文档，这样合理多了。以后要删除时就按照词条的方式去删除吧 !

索引锁： write.lock , commit.lock.

write.lock 是为了避免几个线程同时修改一个索引文档而设置。当实例一个 indexwrite 时建立和使用 indexReader 删除文档时建立。

Commit.lock 该锁主要在 segment 在建立，合并或读取时生成。

Lucene 的学习1（转)

Mon, 22 Oct 2007 16:33:56 GMT

通过这几天的看书和学习，对 Lucene 有了更进一步的认识，所以总结一下这些天的学习成果把 Lucene 的学习心得也学出来。

1 Lucene 的认识

提到 Lucene 很多人都知道这个开源的搜索工具，其魅力也是很大的。它让我们对搜索引擎的认识不在那么神秘，也不会在觉得百度和 google 的技术多么的高深没测，其实其原理都是一样的，只是他们要做的更好，走的更远罢了。

Lucene 可以对任何的数据做索引和搜索，说这样的话其实不过分，真的就是这样，只要你能处理好这些数据，交给 Lucene 去建立索引它都可以帮你把这些数据给检索出来，是不是很好玩了。真正好玩的地方还在后面呢。

2 Lucene 的学习

前面已经对 Lucene 有了一些了解，现在我们想象它怎么去搜索这些数据呢，如果知道倒排索引，你就知道了，其实 lucene 检索的是它自己建立的索引，从索引中的到数据的指针，从而得到数据。其实就这么简单。

提到索引，现在的索引技术中有：倒排索引、后缀数组和签名文件这三种，其中后缀数组这种技术虽然检索速度也很快，但是它的数据结构构造和维护都是相当麻烦的所以不可取了。我也懒得去看了。至于签名文件嘛，那是 80 年代的玩意了，现在已经过时了。现在可是倒排索引的天下啊！相信百度和 google 都是这种技术。

StandardAnalyzer和simpleAnalyzer的比较

Mon, 22 Oct 2007 16:11:05 GMT

StandardAnalyzer和simpleAnalyzer是lucene自带的两个分词器，simpleAnalyzer其实是简单的划分为短句，而simpleAnalyzer是把句子拆分为一个字！写了个小demo演示了一下，这两个都没有与词库有关联！

代码地址：http://free5.ys168.com/?feng5166

补一副搜索引擎架构的图

Sun, 21 Oct 2007 16:54:39 GMT

分析百度的中文分词结果（转）

Thu, 18 Oct 2007 16:35:41 GMT

本结果是基于20000次以上的搜索分析百度而的来的，如有不当请指正，希望我们能够一起来揭开百度分词的面纱。

在大家的心目中可能百度的分词是极其复杂的，他代表了中国分词领域的最高水平，其实不然，简单最好，裸体最美，当我们拨下百度的衣服，既然会发现百度的分词是如此的简单，可能正应了一个名人的某一句话：当用户输入查询关键字的时候我们要准确的知道用户在想什么！这正是百度所追求的，他把所有的工作都放在了处理用户查询关键字的时候。

本分析结果也是无意得到的。www.sj110.com搜价110是Handsome man Eunge带领下的一个项目，因我是pwqzc老鼠，老鼠吗，就是打点小洞，所以我负责词库这一块，为了词库的精确，在处理词库的时候经常查询百度，查多了，想多了，问题就出来了，竟然发现对百度的分词稍微有了点了解，这个是我无意撞上的，就如一个送水的汉子，碰上了一个要水的少妇，而这个少妇的男人三年前出门至今未归，此MM鸡渴难耐，于是和那个送水的汉子发生了不该发生的事，呵呵，都是撞上的。

下面是我的一些分析结果，凡是我可以肯定的，我都注明了。

1．百度的蜘蛛爬到的文档索引入库的时候是只进行了简单的分词处理（我可以肯定），也就是只是简单的把中文单个字单个字的分开，要证明这点很简单，你只需要搜索“地”或者“书”或者“脑”。。。。。。等单个词就可以了，当然，你也可以找一些莫名其妙的两个字或者三个字组合在一起搜索百度看，你就会明白他入库的时候只进行了简单的把单个中文分开的处理。他把复杂的分词逻辑放到了处理用户输入查询关键字的时候。仔细一想，其实这样做能够最大限度的消除歧义！！！

2．当用户输入两个字和三个字的词进行搜索的时候百度也没有进行任何处理的（我可以肯定），也只是把他们简单的按照单个字分开，然后查询的时候条件是这两个字或者这三个字必须连接在一起，中间没有任何其他的字。要证明这点也很简单，大家只要输入任意两个字的词或者三个字的词进行搜索就可以了，甚至你可以搜索“甘新哦”，“春天气”，“哦人无”等毫无意义的词进行查询，看是不是出来的搜索结果要么是没有找到任何内容，要么是包括你输入了的任何字，而且这些字都是连接在一起的，虽然这些字他们之间的组合是毫无意义，这也同时证明了百度在索引入库的时候是只进行了简单的按照单个中文分开。

3．百度如何处理四个字？我们输入“李宇春天”搜索，结果是被分成了“李宇”和“春天”，这给我们带来了两个疑问：第一，如果李宇春已经收录到了词典里面，那么肯定肯定百度是正向分词。第二，如果李宇春没有被收录到词典里面，那么可能是正向分词也可能是逆向分词。那么到底是那种呢？我们先判断百度处理查询关键子的时候是逆向分词还是正向分词。我们再输入“笔畅通行”来搜索他被分成了“畅通”，我想笔畅应该不会被收进词典，按此分析应该是正向分词；我们再输入“笔畅通知”，很明显被分成了“笔畅”和“通知”，这看起来是逆向分词的结果，如果是正向的话那也会被分成“畅通”的；我们再输入“桃李宇春”搜索，结果被分成了“桃李”和“宇春”，这看起来象正向分词，当然这也不能够证明就是逆向，因为如果李宇春没有收进词典，这逆向分词也会得到同样的结果。那么百度到底是正向还是逆向呢？我们抛开名字吧，因为我们还不感肯定象李宇宙春之类的词是不是在百度的词典里面，现在我们输入“神彩票啊”，很明显被分成了“彩票”，再输入“光彩票啊”，很明显也被风成了“彩票”，再输入“啊中国家”，结果被分成了“国家”，再搜索“啊国家庭”，被风成了“家庭”，我们再输入“风岁月亮”搜索，被分成了风岁和月亮，再输入“风岁月球”，被分成了“分”，“岁月”和“球”，再输入“风岁月份”，被分成了“分色”和“月份”，这样的结果看起来真的很让我们郁闷！！！极度郁闷！！更郁闷的是还在后头啊，我输入“笔畅通过”搜索，第一次的所有结果是全部把这四个字搜索出来，而且他们都是连接在一起的，而且这四个字之间没有任何其他的字！！但是我们过几分钟再次搜索，结果竟然截然不同！！！“笔畅通过”被分成了“畅通”！！！！这里我不敢乱下结论，如果是我，那我应该怎么样去处理四个字的关键字呢？

一，首先取这四个字去匹配词典，如果匹配成功，则查询条件如ABCD，返回的结果必须包含ABCD，且ABCD必须连接在一起，中间没有任何其他字，在这里我首先假设索引入库的时候是只进行了简单的按照单个字切分，且搜索的时候能够判断索引文件里的A/B/C/D等文字中间有没有其他的文字。

二，如果一匹配不成功，则截取前面两个字匹配词典，如果匹配成功，则如ABCD分成AB/CD，查询结果必须包含AB和CD，AB之间不能够有其他文字，CD之间也不能够有其他文字，AB和CD之间可以出现其他文字；查询结果可以包含ABCD全部连接在一起四个字之间没有其他文字的结果，且其排序优先于AB/CD。

三，如果二匹配不成功，则截取最后面两个字匹配字典，如果匹配成功，采取和上面二一样的做法。

四，如果三匹配不成功，则截取中间两个字匹配词典，如果匹配成功，则如ABCD查询的结果里面必须BC，且BC之间没有其他文字，结果也可以包含BCD，结果也可以包含ABC，结果也可以包含ABCD，结果排序优先规则（从最优开始）：ABCD全部连接在一起的结果------BCD全部连接在一起的结果或ABC全部连接在一起的结果------BC全部连接在一起的结果。

五，如果四匹配不成功，则可以肯定他是地名人名或者其他专有名词或者这四个字连起来没有任何意义，则采用一的方法。

暂时写到这吧，其他的慢慢来 b6a03e3e

DotLucene笔记(1)----Lucene.Net.Analysis

Wed, 17 Oct 2007 16:41:10 GMT

本系列笔记将以DotLucene的命名空间组织行文，阅读的DotLucene版本是1.9.RC1,并且以更好的使用而非研究为目的阅读。也就是说要避难就易拉。

0）, DotLucene主要命名空间概览：

命名空间	功能说明
Lucene.Net.Analysis	语言分析器，主要用于切词，支持中文主要是扩展此类
Lucene.Net.Documents	索引存储时的文档结构管理，类似关系型数据库的表结构
Lucene.Net.Index	索引管理，包括索引建立、删除等
Lucene.Net.QueryParsers	查询分析器，实现查询关键词间的运算，如与、或、非等
Lucene.Net.Search	检索管理，根据查询条件，检索得到结果
Lucene.Net.Store	数据存储管理，主要包括一些底层的I/O操作
Lucene.Net.Util	一些公用类

1), Lucene.Net.Analysis命名空间分析。

在Lucene.Net.Analysis下，类的关系，可以看成有三个继承体系:

词法分析器(Analyzer) ：词法过滤和分析的类，实际上是对分词器, 过滤器的综合包装类。

分词器(Tokenizer)：对文本进行分词，可能是单字，词，二元切分等等。

过滤器(TokenFilter)：对由分词器分词后的Token进行过滤，比如无意词(a ,是，的等等)或者其他的指定的需要过滤的词

下面看看每一个继承体系都有那些相关类：

词法分析器(Analyzer)的相关类类关系图：

分词器(Tokenizer) 的相关类类关系图：

过滤器(TokenFilter) 的相关类类关系图：

上面的三个类关系体系里涉及到的主要类(概念)的简单说明：

类名	功能说明
Analyzer	分析器基类，词法过滤和分析的类,即把文本分解成TokenStream,即Token的序列。Analyzer只是做包装，主要还是Tokenizer在起作用
StopAnalyzer	Analyzer扩展类之一，SimpleAnalyzer功能基础上加上过滤词功能
StandardAnalyzer	Analyzer扩展类之一，也是最常用的分析器，支持中文，日文等，单字切分。
SimpleAnalyzer	Analyzer扩展类之一，将除去字符之外的符号全部过滤掉,并且将所有的字符小写(大写)化
Token	DotLucene最基本的单位，以单字切分则每个单字为一个Token,如果以中文分词来切分则每个词为一个Token
TokenStream	Token的序列
Tokenizer	继承于TokenStream，用于分词。一般扩展的自定义的分词都应该继承这个类

StandardTokenizer	Tokenizer扩展类之一，也是最常用的，支持中文，基于单字切分
TokenFilter	继承于TokenStream的子类,用于过滤。一般拓展的自定义的过滤类都应该继承该类
StandardFilter	TokenFilter拓展类之一，过滤英文字符的复数和dot（.）号.
LowerCaseFilter	对所有英文小写化
StopFilter	过滤掉指定的过滤词

在所有上面这个类之中，我们经常用的也是所有Analyzer中最复杂的就是StandardAnalyzer(本身不复杂，其调用的分词器复杂)，下面对这个类做一个简单的分析:
StandardAnalyzer最核心，最主要的方法：

public override TokenStream TokenStream(System.String fieldName, System.IO.TextReader reader)

{

TokenStream result = new StandardTokenizer(reader);

result = new StandardFilter(result);

result = new LowerCaseFilter(result);

result = new StopFilter(result, stopSet);

return result;

}

就是调用StandardTokenizer分词器对文本分词。然后调用三个过滤器(作用表格有写)，其中的StandardTokenizer类及相关的类比较复杂，目前还没有完全理解。所以下面的文字是需要用批判眼光来阅读的。说白了，我是一边猜，一边看源码。以求的最准确的理解。

先做个简单的测试，通过结果来分析：

string sTemp = "我们是中国人,We are chinese";

Analyzer analyzer = new StandardAnalyzer() ;

StringReader sr = new StringReader(sTemp);

TokenStream ts = analyzer.TokenStream(sr);

Lucene.Net.Analysis.Token token = null;

while ((token = ts.Next()) != null)

{

this.txtResult.Text += token.ToString();

}

txtResult是Winform的TextBox，输出结果如下：

(我,0,1,type=<CJ>)(们,1,2,type=<CJ>)(是,2,3,type=<CJ>)(中,3,4,type=<CJ>)(国,4,5,type=<CJ>)(人,5,6,type=<CJ>)(we,7,9,type=<ALPHANUM>)(chinese,14,21,type=<ALPHANUM>)

拿(我,0,1,type=<CJ>)来分析，因为是单字切分，所以分解成了一个一个的字。其中0,1表示”我”这个字在文本中StartOffset，EndOffset，最后的type表示文字的类型是英文,数字,还是是中文等等。在rc1.9中支持的type可以在Lucene.Net.Analysis.Standard下的StandardTokenizerConstants类看到。而CJ代表的是中文和日文的集合。不仅仅代表中文哦。

分析到这里，我有一个疑问。DotLucene是怎么区别不同的文字的呢？那就是根据unicode编码的范围区别不同的文字。不过这句话，是我猜出来，但我始终没能在DotLucene源码中找到能支持我这句话的原代码。所以猜测始终还是猜测。鉴于本次阅读DotLucene的目的是为了更好的使用，而非研究，所以对Lucene.Net.Analysis命名空间的分析只能就此打住。

后记：

据我所知，现在已经有很多种第三方的Analyzer。SourceForce上的有一个ChineseAnalyzer,基于二元分词算法实现中文分词。还有基于词库实现中文分词的Analyzer,一般认为。使用针对中文优化过的Analyzer可以提高搜索准确度，但是对于大多数的搜索应用，StandardAnalyzer 绝对够用，好用。为什么呢？打个比方，拿”国际经济”四个字来说，如果是StandardAnalyzer的话，无论搜索国际，经济，还是国际经济都能搜索到。但是如果用中文分词，那就难说。那就看你的中文分词怎么分 “国际经济’拉(二元分词算法的Analyzer不需要考虑这个问题)。我在给CS做的搜索系统，也是用StandardAnalyzer，绝对不用其他的Analyzer。以上纯属个人拙见。

搜索引擎的基础知识

Tue, 16 Oct 2007 12:38:55 GMT

最近在看lucene,现在写一下搜索引擎的实现原理，可以看作四步：从互联网上抓取网页→建立索引数据库→在索引数据库中搜索→对搜索结果进行处理和排序。

从互联网上抓取网页. 利用能够从互联网上自动收集网页的网络蜘蛛程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集到服务器中。
建立索引数据库 . 由索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。
在索引数据库中搜索 . 当用户输入关键词搜索后，分解搜索请求，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。
对搜索结果进行处理排序 . 所有相关网页针对该关键词的相关信息在索引库中都有记录，只需综合相关信息和网页级别形成相关度数值，然后进行排序，相关度越高，排名越靠前。最后由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。

流 浪 的 枫 之 羽: 搜索引擎