午夜咖啡 - 搜索引擎 category

搜索引擎URI编码的处理

Sun, 12 Apr 2009 19:22:00 GMT

做一个站内搜索遇到一个问题:

网站全站使用的是UTF-8编码，所以get请求的URL也用UTF-8编码，服务器端用UTF-8解码。这种情况下，用户直接在表单里输入提交过来搜索，是没有问题的。但如果用户直接在浏览器地址栏里把关键词给改了，提交过来，或者从浏览器地址栏的下拉提示列表里点击过来，URL编码就不确定了。这个和操作系统语言以及浏览器相关。

本文研究了一下google.cn是如何做到同时兼容gb2312和utf-8两种url编码的。虽然解决方法不是很巧妙，但也能完成一般需求。

阅读全文...

Lucene范围查询(RangeQuery)的几个问题

Wed, 03 Dec 2008 19:10:00 GMT

对要进行范围查询(RangeQuery)的字段创建索引的时候要按照储存不分词的方式创建索引。

new Field(name, value, Field.Store.YES, Field.Index.UN_TOKENIZED);

1.数字的范围查询

对数字进行范围查询，必须先把数字格式化为一样长度的字符串。位数不够的在前面补零。

如:

NumberFormat format = NumberFormat.getIntegerInstance();
//设置数字的位数 由实际情况的最大数字决定
format.setMinimumIntegerDigits(6);
//是否按每三位隔开,如:1234567 将被格式化为 1,234,567。在这里选择 否
format.setGroupingUsed(false); 

format.format(number);

这样 1 将被格式化为 000001

查询的时候也必须补零。

查询语法: fieldName:[000001 TO 000100]

演示:http://so.1ting.com/singer.do?q=singerIdRange%3A[000001+TO+000100]&sort=singerId

2:日期范围查询

日期范围查询必须需要用lucene的时间转换工具类(DateTools )的

static String dateToString (Date date, DateTools.Resolution resolution) 方法，先把时间转换为字符串进行索引。

查询语法: date:[6/1/2005 TO 6/4/2005]

还可以overwrites QueryParser类的getRangeQuery(String, String, String, boolean)方法实现自定义的范围搜索。

ThesaurusAnalyzer

Thu, 10 May 2007 11:04:00 GMT

一个基于词库的中文分词程序

阅读全文...