POSTGRESQL 全文检索测试
时间:2011-04-18
来源:互联网
如果要模糊检索,或者包含检索,采用普通的SQL 语句,都用 LIKE '%XXX%' 这样的类似写法,数据量不大,比如在几万条以下,可能
问题不大,如果超过几十万条,效率低下,就非常明显了,
所以,用全文检索技术,就是不二的选择,在POSTGRESQL中,提供了全文检索的功能,在8.3之后,已经内置TSEARCH2全文检索引擎,
通过TSVECTOR和TSQUERY二个类型,就可以轻松完成,
在我的电脑上,做对比测试中,使用全文检索比要比普通的SQL语句快1000倍以上,数据量为100万条,普通SQL语句要23375 ms,
全文检索仅仅为16MS。
需要注意的是:在做全文检索的时候,需要把做全文检索的字段合并到一个新的字段,或者另外一个表中,新的字段类型为TSVECTOR,
然后把新的字段建立全文索引,如果不合并到新的字段,就建全文索引表,那么在检索的时候,就非常的慢,本人开始就范了这样的错误,
搞的我开始还以为POSTGRESQL的全文检索系统很烂。
POSTGRESQL全文检索的缺点,就是没有内置的中文分词系统,所以,如果需要做中文全文检索,就需要另外的分词插件系统,但都有些缺陷,
集成度不太好,据说BAMBOO(项目地址:http://code.google.com/p/nlpbamboo/),可以集成到POSTGRESQL中,但我鼓捣了一天,没有成功,
可能它们的安装包都是LINUX下的,我的电脑是WINDOWS,下了它的源代码,重新编译安装,老是出错,没搞掂,不知道哪位能搞个WINDOWS下的安装包就好了。
问题不大,如果超过几十万条,效率低下,就非常明显了,
所以,用全文检索技术,就是不二的选择,在POSTGRESQL中,提供了全文检索的功能,在8.3之后,已经内置TSEARCH2全文检索引擎,
通过TSVECTOR和TSQUERY二个类型,就可以轻松完成,
在我的电脑上,做对比测试中,使用全文检索比要比普通的SQL语句快1000倍以上,数据量为100万条,普通SQL语句要23375 ms,
全文检索仅仅为16MS。
需要注意的是:在做全文检索的时候,需要把做全文检索的字段合并到一个新的字段,或者另外一个表中,新的字段类型为TSVECTOR,
然后把新的字段建立全文索引,如果不合并到新的字段,就建全文索引表,那么在检索的时候,就非常的慢,本人开始就范了这样的错误,
搞的我开始还以为POSTGRESQL的全文检索系统很烂。
POSTGRESQL全文检索的缺点,就是没有内置的中文分词系统,所以,如果需要做中文全文检索,就需要另外的分词插件系统,但都有些缺陷,
集成度不太好,据说BAMBOO(项目地址:http://code.google.com/p/nlpbamboo/),可以集成到POSTGRESQL中,但我鼓捣了一天,没有成功,
可能它们的安装包都是LINUX下的,我的电脑是WINDOWS,下了它的源代码,重新编译安装,老是出错,没搞掂,不知道哪位能搞个WINDOWS下的安装包就好了。
作者: tony_trh 发布时间: 2011-04-18
还是现在的源代码都是在L下的。
作者: renxiao2003 发布时间: 2011-04-18
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28