ITeye博客

javasky

wanglihu · 共 209 篇文章

lucene3.5创建索引

从lucene3.0之后的版本,创建索引的过程如下实例所示。现将代码贴出了,分享给大家,希望对你学习lucene有所帮助。

2011-12-31 10:19 · lucene · 评论(3)

lucene3.x中Query子类集合介绍与实例

Query有很多子类,分别完成不同类型的查询任务: TermQuery MultiTermQuery BooleanQuery WildcardQuery PhraseQuery PrefixQuery MultiPhraseQuery FuzzyQuery TermRangeQuery NumericRangeQuery SpanQuery

2011-12-31 10:14 · lucene · 评论(0)

lucene3.x中QueryParser的语法规则

lucene提供的QueryParser,他就能够理解用户,通过一系列复杂的过程构建一个合理的Query类型给Searcher进行搜索。 QueryParser是用javaCC生成的一个语法解析工具(应该也算是一种编译器)。

2011-12-31 10:13 · Linux实践 · 评论(0)

lucene3.x的目录结构

lucene包括core和sandbox两部分,其中core是lucene稳定的核心部分,sandbox包含了一些附加功能,例如highlighter、各种分析器。 Lucene core有七个包:analysis,document,index,messages,queryParser,search,store,collation,util。 **1 analysis ** Analysis包含一些内建的分析器,例如按空白字符分词的WhitespaceAnalyzer,添加了stopwrod过滤的StopAnalyzer,最常用的StandardAnalyzer。 **2 document …

2011-12-30 09:27 · lucene · 评论(0)

lucene3.x的工作方式

lucene提供的服务实际包含两部分:一入一出。 所谓入是写入,即将你提供的源(本质是字符串)写入索引或者将其从索引中删除; 所谓出是读出,即向用户提供全文搜索服务,让用户可以通过关键词定位源。 1)写入流程 源字符串首先经过analyzer处理,包括:分词,分成一个个单词;去除stopword(可选)。 将源中需要的信息加入Document的各个Field中,并把需要索引的Field索引起来,把需要存储的Field存储起来。 将索引写入存储器,存储器可以是内存或磁盘。 2)读出流程 用户提供搜索关键词,经过analyzer处理。 对处理后的关键词搜索索引找出对应的Document。 用户根…

2011-12-30 09:02 · lucene · 评论(0)

lucene3.x核心类介绍

:) 索引核心类 :o Directory :描述Lucene索引存放的位置,是一个抽象类,由子类负责指定索引存在位置:内存或者磁盘; IndexWrite r:负责创建或者打开新索引,以及对索引做增删改操作; Analyzer :文本文件在被索引前需要经过它进行分析,把它的对象在IndexWriter构造时传入,是抽象类;Analyzer 是分析器,它的作用是把一个字符串按某种规则划分成一个个词语,并去除其中的无效词语,这里说的无效词语是指英文中的“of”、 “the”,中文中的 “的”、“地”等词语,这些词语在文章中大量出现,但是本身不包含什么关键信息,去掉有利于缩小索引文件、提高效率、…

2011-12-29 18:12 · lucene · 评论(0)

使用PinYin4j.jar将汉字转换为拼音使用实例

package com.wlh.lucene.test2; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; import java.util.regex.Matcher; import java.util.regex.Pattern; import net.sourceforge.pinyin4j.PinyinHe…

2011-12-29 18:11 · java · 评论(1)

solr搜索服务器配置mmseg4j分词

为solr搜索服务器配置mmseg4j分词 , 并使用搜狗词库。 mmseg4j分词下载地址:http://code.google.com/p/mmseg4j/ , 搜狗词库下载地址:http://code.google.com/p/mmseg4j/downloads/detail?name=data.zip&can=2&q 下载最新更新:mmseg4j-1.8.5.zip(它是基于lucene/solr 3.1版本)和data.zip 配置过程与操作过程如下: 1.把下载的mmseg4j分词mmseg4j-1.8.5.zip解压缩 , 把里面的mmseg4j-all-1.8.5.jar 文…

2011-12-29 11:08 · solr · 评论(1)

Apache Lucene 3.5 发布的优化、改进和Bug修复

Apache Lucene 是一个基于Java的、高性能的全文检索工具包,你可以利用它来为你的应用程序加入索引和检索功能。Lucene目前是著名的 Apache Jakarta 家族中的一个开源项目,也是目前最为流行的基于 Java 开源全文检索工具包。 下载地址: http://www.apache.org/dyn/closer.cgi/lucene/java 该版本进行了大量优化、改进和Bug修复,包括: 大大降低了控制开放的IndexReader上的协议索引的RAM占用(3~5倍)。 新增IndexSearcher.searchAfter,可在指定ScoreDoc后返回结果(例如之前页…

2011-12-29 10:57 · lucene · 评论(0)

Solr相关学习链接

Solr http://lucene.apache.org/solr/ http://wiki.apache.org/solr/SolrResources http://lucene.apache.org/solr/features.html http://lucene.apache.org/solr/tutorial.html http://wiki.apache.org/solr https://issues.apache.org/jira/browse/SOLR http://wiki.apache.org/solr/FAQ http://wiki.apache.org/solr/So…

2011-12-29 10:57 · lucene · solr · 评论(0)

基于源码搭建solr搜索服务器

基于源码搭建的好处的就是,我们在开发过程中可以方便地进行调试跟踪,这样也能够便于更深入地了解Solr框架的执行机制。Solr是基于Lucene这个开源搜索引擎库开发的框架,通过了解Solr的源代码,你可以更深入地熟悉如何在Lucene之上构建适合自己的搜索应用,甚至你完全可以将Solr改造成自己需要的应用程序。一般来说,我们使用Solr搭建搜索服务器的时候,完全可以不需要熟悉Lucene是怎么样实现索引和全文检索的,但是在Solr上进行开发调试,如调试搜索的相关度时,就需要对Lucene有一定的了解,才能在调优的过程中事半功倍。 基于源码的搭建,我采用了一种Lucene和Solr的源代码都可…

2011-12-28 18:56 · lucene · solr · 评论(0)

基于jar搭建solr平台错误java.lang.NoClassDefFoundError: org/apache/lucene/search/spell/Ja

十二月 28, 2011 5:31:39 下午 org.apache.solr.common.SolrException log 严重: java.lang.NoClassDefFoundError: org/apache/lucene/search/spell/JaroWinklerDistance at org.apache.solr.search.ValueSourceParser. (ValueSourceParser.java:341) at org.apache.solr.core.SolrCore.initValueSourceParsers(SolrCore.java:152…

2011-12-28 17:47 · 评论(0)

基于jar包搭建sorl3.5搜索服务器

基于jar包搭建sorl3.5搜索服务器方式,这种搭建方式使得我们不再使用Solr默认提供,并对我们非常透明的WAR包来搭建,而是根据Solr发行包中的相关内容来搭建,更确切地说,我们把Solr在一个开发工具上搭建起来,暂且不考虑源码层面的内容。我使用的是MyEclipse6.5集成开发环境。 搭建步骤大体如下: **1.**创建一个Web Project,工程名称为solr3.5_test; **2.**将apache-solr-3.5.0-src\apache-solr-3.5.0\solr\example\multicore目录,拷贝到工程solr3.5_test下面; **3.**将…

2011-12-28 16:08 · java · lucene · solr · 评论(0)

基于WAR包搭建Solr 3.5搜索服务器

基于WAR包搭建Solr 3.5搜索服务器操作步骤如下:(需要基础环境jdk1.6+Tomcat5.5以上容器) 1.首先下载apache-solr-3.5.0.zip包,下载地址为: http://labs.renren.com/apache-mirror//lucene/solr/3.5.0/apache-solr-3.5.0.zip 2.解压apache-solr-3.5.0.zip文件,将apache-solr-3.5.0\apache-solr-3.5.0\dist\apache-solr-3.5.0.war复制到apache-tomcat-6.0.26\webapps目录下面,改…

2011-12-28 16:00 · lucene · solr · 评论(2)

solr介绍

Lucene/Solr的步伐可真快啊。3.4版本的东东还没学完,就又发布了新版 3.5,有点眼花缭乱啊。不过也很欣慰,看来该技术的使用者还真不少。自solr 与 lucene 合并到一起后,版本升级快。当然觉得 solr 脚步没有 lucene 快。 简单介绍下 3.2 到 3.5 以后的新功能。 1.lucene 3.2 支持 grouping 功能;新的合并代理 TieredMergePolicy;新目录 NRTCachingDirectory,它对实现实时功能不错。 2.solr 3.2 的亮点是 test-framework 框架,以后开发扩展功能就方便写单元测试了。 3.solr …

2011-12-28 15:30 · lucene · solr · 评论(1)