知识大全 使用OracleText构建全文搜索应用程序

Posted 2022-07-15 索引

篇首语：不担三分险，难练一身胆。本文由小常识网(cha138.com)小编为大家整理，主要介绍了知识大全 使用OracleText构建全文搜索应用程序相关的知识，希望对你有一定的参考价值。

使用OracleText构建全文搜索应用程序  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！

　　Oracle Text 是一种功能强大的搜索技术 它内置于 Oracle 数据库的所有版本(包括免费提供的快捷版 (XE))中 它所提供的开发 API 使软件开发人员能够轻松实现功能齐备的内容搜索应用程序

　　Oracle Text 可用于搜索结构化和非结构化文档 是对 SQL 通配符匹配的补充 Oracle Text 支持使用基本的布尔运算符(AND OR NOT NEAR 等)将多个搜索条目组合到一起 此外 它还具有更高级的功能 如 soundex 和模糊搜索 以及结果排序等 该技术支持数百种文件类型 包括 Microsoft Office 和 PDF Oracle Text 适合多种与搜索相关的使用情况和存储结构 Text 的应用领域包括电子商务 文档和记录管理 以及问题跟踪等 可检索的文本可以结构化形式驻留在数据库中 也可以非结构化形式驻留在本地文件系统中或 Web 上

　　Oracle Text 提供完整的基于 SQL 的搜索 API 该 API 包含自定义查询运算符 DDL 语法扩展 一组 PL/SQL 过程和数据库视图 通过 Text API 应用程序开发人员可完全控制索引 查询 安全 演示以及有时会需要的软件配置 在开发即需即用的非自定义软件时尤为如此 通过即需即用的软件产品 您希望使软件的配置尽可能简约 即使这意味着要在产品开发中多做一些前期工作也是如此 降低应用程序的复杂性通常会在产品生命周期的后期 尤其是在支持 维护和未来产品开发阶段中见到成效

　　Oracle Text 还支持文档级授权 而文档级授权通常很难在统一的同时保持高性能 借助 Text 组合了关系数据与非结构化数据的混和查询也得到了很好的支持 对于授权 这意味着您可以将全文搜索和授权合并到一个查询中 独立结果集和获得最终结果所需的过滤阶段的数量可最大程度地缩减 从而简化了应用程序的开发 Oracle Text 使应用程序开发人员从繁琐的开发中解脱出来 可以集中精力进行性能优化

　　Oracle Text 也是编程语言不可知的 并且也可以同样卓越的表现为 PHP 以及 Java 应用程序工作

　　前一段时间 我需要提高企业内容管理 (ECM) 系统的搜索功能 我首先对 Oracle Text 的使用进行了评估 评估证明 Oracle Text 是一种构建应用程序搜索非常可行的技术 它具有高级搜索功能 支持大量不同的文件类型 可高度自定义 同时高度可伸缩 原有搜索技术的一个缺点是 您需要在数据库外部运行文件内容搜索 然后运行数据库元数据搜索 对结果进行授权 最后 合并独立的结果集 使用 Oracle Text 所有这些操作都可以在数据库中进行 ECM 系统已经使用 Oracle 数据库来存储元数据 因为此项技术已经推出 因此客户自然会选择使用 而且它也不会给客户增加任何成本

　　在数据库中执行自由文本搜索查询的简单方法类似于

　　 　　SELECT * FROM issues 　　WHERE LOWER(author) LIKE  %word %  AND LOWER(author) LIKE  %word %  

　　使用这种方法 每一列都需要与每个关键字单独进行匹配 在每一列中 可以任何顺序与关键字进行匹配 然而 关系数据库的设计使得它不会像上面那样有效地执行查询 而且使用这种方法会产生极其不可伸缩的应用程序 当然 您可以设计自己的索引和搜索解决方案 但是 那样您可能不会优化使用您的资源 在您已经为将搜索技术作为数据库的一部分付出了成本的情况下尤为如此

　　本文讨论 Oracle Text 在虚拟的问题跟踪应用程序中的使用 在这个应用程序中 用户可以创建一些包含元数据和可选附加文件的问题 该应用程序利用 Oracle Text 实现元数据和可选附加文件内容的全文搜索功能

　　此处给出的示例已经在 Linux 的 Oracle 数据库 XE 上进行了测试 这些示例应该同样也可在其他 Oracle 平台上运行良好

　　索引进程与搜索

　　Oracle Text 为可检索的数据项建立索引之后 用户才能够通过搜索查找内容 编制索引是确保搜索性能的常用方法 Oracle Text 的索引进程是根据管道建模的 在这个管道中 从数据存储检索来的数据项经过一系列转换之后 其关键字会添加到索引中 该索引进程分为多个阶段 每个阶段都由一个单独的实体来处理 并可由应用程序开发人员来配置

　　Oracle Text 具有适合不同用途的不同索引类型 对于大型文档的全文搜索 适合使用 CONTEXT 索引类型 该索引进程包括以下几个阶段

　　索引构建完成后 应用程序即可通过普通的 SQL 查询执行最终用户输入的搜索

　　安装 Oracle Text

　　在默认情况下 Oracle Text 随 Oracle 数据库 XE 一起安装 如何使用的是其他数据库版本 您需要自己安装 Oracle Text 功能 安装了此功能后 您只需创建一个普通的数据库用户 并赋予该用户 CTXAPP 角色 这样 用户即可执行特定的索引管理过程

　　 　　CREATE USER ot  IDENTIFIED BY ot ; 　　GRANT connect resource  ctxapp TO ot ;

　　文件索引

　　此处 您要创建一个文本表 用于为存储在问题跟踪系统中的附加文件内容建立索引 附加文件存储在文件系统中 除了应用程序的数据模型所需的列之外 文本基表还包括一个绝对文件路径和一个格式列

　　 　　CREATE TABLE files ( 　　id NUMBER PRIMARY KEY 　　issue_id NUMBER 　　path VARCHAR( ) UNIQUE 　　ot_format VARCHAR( ) 　　); 　　INSERT INTO files VALUES (     /tmp/oracletext/found txt  NULL); 　　INSERT INTO files VALUES (     /tmp/oracletext/found doc  NULL); 　　INSERT INTO files VALUES (     /tmp/oracletext/notfound txt   IGNORE );

　　此处 ot_format 的值是 Oracle Text 在索引过程中解析出来的 NULL 值表明系统会为文件自动选择一个过滤器 而如果值为 IGNORE 系统会跳过整个文件

　　可以使用以下语句创建文本索引

　　 　　CREATE INDEX file_index ON files(path) INDEXTYPE IS ntext 　　PARAMETERS ( datastore ctxsys file_datastore format column ot_format );

　　该语句将启动索引进程 索引进程将通过存储在基表中的路径在文件系统中检索文件 然后对内容进行过滤并建立索引 这样便创建了一个区分大小写并具有精确匹配语义的 CONTEXT 索引 该索引进程可以多种方式进行自定义 例如支持前缀和后缀匹配

　　虽然大部分时间过滤阶段无需为每个文件指定文件格式即可很好地运行 但是 在基表中添加这一列可以对索引进程进行进一步控制 例如 使用格式列 您可以跳过某些文件类型不为其建立索引 当您只想正式支持应用程序中 Oracle Text 所支持的部分文件格式时 这一列非常有用

　　Oracle Text 还可用于元数据的全文搜索 在示例应用程序中 有一个名为 issues 用于存储问题元数据的表 该表的定义如下

　　 　　CREATE TABLE issues ( 　　id NUMBER 　　summary VARCHAR( ) 　　description CLOB 　　author VARCHAR( ) 　　ot_version VARCHAR( ) 　　);

　　ot_version 列为索引列 可用于强制为特定文档重新建立索引 该表可使用测试数据填充

　　 　　INSERT INTO issues VALUES (   Jane   Text does not make tea 　　 Oracle Text is unable to make morning tea   ); 　　INSERT INTO issues VALUES (   John   It es in the wrong color 　　 I want to have Text in pink   );

　　用户索引

　　Oracle Text 可为来自不同数据源的数据建立索引 Oracle Text 可用于问题跟踪系统 提供对问题元数据的全文搜索 在默认情况下 您可为单个列中的值建立索引 但是 如果要合并多个表的数据 您需要创建一个自定义的 PL/SQL 过滤器过程 我将演示如何创建这样的过程 这个过程将起到存储抽象的作用 然后 该索引进程将迭代文本表中所有的行 为每一行调用过滤器过程 过滤器过程将返回所有与问题相关的有待建立索引的文本

　　 　　  declare indexing procedure 　　CREATE PACKAGE ot_search AS 　　PROCEDURE issue_filter(rid IN ROWID  tlob IN OUT NOCOPY CLOB); 　　END ot_search; 　　/ 　　  define indexing procedure 　　CREATE PACKAGE BODY ot_search AS 　　PROCEDURE issue_filter(rid IN ROWID  tlob IN OUT NOCOPY CLOB) IS 　　BEGIN 　　FOR c  IN (SELECT author  summary  description FROM issues WHERE rowid = rid) 　　LOOP 　　dbms_lob writeappend(tlob  LENGTH(c summary)+  c summary ||    ); 　　dbms_lob writeappend(tlob  LENGTH(c author)+  c author ||    ); 　　dbms_lob writeappend(tlob  LENGTH(c description)  c description); 　　END LOOP; 　　END issue_filter; 　　END ot_search; 　　/ 　　  define datastore preference for issues 　　BEGIN 　　ctx_ddl create_preference( issue_store   user_datastore ); 　　ctx_ddl set_attribute( issue_store   procedure   ot_search issue_filter ); 　　ctx_ddl set_attribute( issue_store   output_type   CLOB ); 　　END; 　　/ 　　  index issues 　　CREATE INDEX issue_index ON issues(ot_version) INDEXTYPE IS ntext 　　PARAMETERS ( datastore issue_store );

　　搜索

　　CONTAINS 运算符用于搜索 CONTEXT 索引 虽然 CONTAINS 运算符语法的确支持 soundex 匹配等更高级的功能 但在这些示例中 我们只用了简单的布尔运算符来合并关键字 对于 Oracle Text 支持的语言 模糊匹配和词根还原都是默认启用的 要利用这些高级搜索功能 只需将 fuzzy() 或 $ 查询运算符分别与 CONTAINS 运算符结合使用即可 通配符字符可用于前缀和后缀匹配的 CONTAINS 查询 下面是一些简单的查询示例

　　 　　SELECT id FROM issues WHERE CONTAINS(ot_version   color AND pink   ) >  ; 　　SELECT id FROM issues WHERE CONTAINS(ot_version   jane OR john   ) >  ;

　　索引维护

　　由于基表数据是由索引复制的 因此这些数据需要定期与索引进行同步 在 CTX_DDL PL/SQL 程序包中可以发现索引维护过程 下面给出了一个示例 显示如何更新索引以反映基表更改

　　 　　EXECUTE ctx_ddl sync_index( issue_index   M );

　　该同步过程为操作提供了索引名称和使用的内存量 也可以让数据库定期自动执行此项任务 您也可以选择使用操作系统或其他计划工具来启动同步 例如 在 Unix 系统上 可安排以下 shell 脚本与 Cron 作业 使系统按计划执行同步

　　 　　#!/bin/sh 　　export ORACLE_SID=orcl 　　export ORAENV_ASK=NO 　　source /usr/local/bin/oraenv 　　sqlplus ot /ot @XE > synch log <  　　WHENEVER SQLERROR EXIT  ; 　　EXECUTE ctx_ddl sync_index( issue_index   M ); 　　EOF

　　CTX_DDL 程序包还包含其他有用的过程 例如索引优化 用于消除索引碎片和清除过期的数据

　　如果出现错误 可通过 CTX_USER_INDEX_ERRORS 视图跟踪索引错误

　　数据库根据索引列更改跟踪文档的变更 因此 如果您希望强制 Oracle Text 重新为某些文档建立索引 可以更新相应行的索引列 如下所示

　　 　　UPDATE files SET path=path WHERE id =  ;

相关参考

知识大全 构建网站:搜索引擎的实现

能够拥有强大的搜索引擎是每个网站的心愿而一个强大的搜索引擎的制作又是相当复杂和困难的它涉及到效率准确性和速度等诸多方面这里介绍的搜索引擎不会涉及到这么深的研究只是针对特定的内容进行精确的查询一个功能复

知识大全 用Java+MySQL+PHP轻松构建跨平台的搜索引擎

用Java+MySQL+PHP轻松构建跨平台的搜索引擎  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧

知识大全 请问，怎样在上海证券交易所的网站上查看上市公司的年报全文

请问，怎样在上海证券交易所的网站上查看上市公司的年报全文？请一步步列明，多谢！进入上交所网页，左上方有个搜索栏，可以输入股票代码，搜索公告，年报是定期公告，点击打开就可以了，是PDF格式的可以下载，另

知识大全 教你使用solr搭建你的全文检索

　　Solr是一个可供企业使用的基于Lucene的开箱即用的搜索服务器对Lucene不熟？那么建议先看看下面两篇文档　　实战Lucene第部分初识Lucenelolucene/　　用Lucene加速W

知识大全 构建多线程Java应用程序

构建多线程Java应用程序  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！　　大多数服务端应用程序都

知识大全 C#中构建多线程应用程序

C#中构建多线程应用程序  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！　　引言　　随着双核四核等多

知识大全 为 Web 服务构建 Struts 应用程序

为Web服务构建Struts应用程序  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！　　当您要将企业

知识大全 构建 P2P 应用程序框架

对等计算实践之：构建P2P应用程序框架  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！　　安装与执行

知识大全 用ActionMapping构建漂亮的Struts应用程序

用ActionMapping构建漂亮的Struts应用程序  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一

知识大全 用JFace和SWT构建简单的应用程序

用JFace和SWT构建简单的应用程序  以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！　　简介　　开