暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

文本列的性能优化?深入 Oracle 全文索引

kk的DBA随笔 2024-10-30
17

一. 什么是全文索引?

全文索引通过分析和处理文本,将文档中的单词分解为词条(tokens),然后存储词条与其所在文档的映射关系。这使得数据库可以快速定位包含特定关键字的记录,而不必对所有文本逐字匹配。

二. 实验

  1. CREATE TABLE test (

  2. TEST_ID NUMBER(6),

  3. TEST_NAME VARCHAR2(50),

  4. TEST_DESC VARCHAR2(4000)

  5. );

复制
  1. BEGIN

  2. FOR i IN 1..10000 LOOP

  3. INSERT INTO test (TEST_ID,TEST_NAME,TEST_DESC)

  4. VALUES (

  5. i,

  6. 'Product ' || i,

  7. DBMS_RANDOM.STRING('A', 2000)

  8. );

  9. END LOOP;

  10. COMMIT;

  11. END;

  12. /

复制

 创建一个普通索引

  1. create index idx_test on test(test_desc);

复制

查看执行计划,检查索引是否生效

  1. select * from test where test_desc like 'LRbwu%';

复制

 到此,是没有任何问题的,在这种情况中,我们知道 test_id 是以什么字符开头的

那么就会有这么一种情况,我们不知道这个内容开头是什么,只知道中间是什么,有什么关键字,那么这种情况 我们就需要 <% 内容 %>,那么这种情况还会走索引吗?

  1. select * from test where test_desc like '%AoaUR%';

复制

 这时候我们发现,走了全表扫描,所以普通的索引解决不了我们只知道关键字,而不知道以什么字符开头的情况。

这也可以理解,B Tree 索引只顺序存储了表中列值以及对应的 rowid,并且对于索引中字符串的排序,是根据该字符串第一个字符的 ASCⅡ 码,第一个字符的 ASCⅡ 码相同,再解析第二个。在这种情况中,我们不知道字符串前面的字符是什么,所以 B Tree 索引无法使用。

所以这种场景就需要我们今天介绍的内容 - 全文索引

三. 使用全文索引

在使用之前,数据库中必须要系统用户 CTXSYS,如果没有则有两种方式来配置

1.dbca 配置数据库,这里不做演示,配置后产生了 CTXSYS 用户

2. 跑脚本

  1. /u01/app/oracle/product/19.3.0/dbhome_1/ctx/admin

  2. ls -al catctx.sql

复制

在数据库中跑这个脚本就好。

创建全文索引

确认已存在的段

  1. col segment_name for a30

  2. col object_name for a30

  3. select segment_name ,segment_type from user_segments;

复制

  1. create index idx_ctx_test on test(test_desc) indextype is ctxsys.context;

复制

这里我们发现,全文索引可以建立在普通索引之上,意思是表中的一列有索引了,仍然可以建立全文索引,说明全文索引的结构和普通索引的结构肯定是有区别的。

  1. select * from test where contains(test_desc,'LRbwu') > 0;

复制

 可以看到 sql 语句走了全文索引。

再查看一下现在的段都有哪些

  1. col segment_name for a30

  2. col object_name for a30

  3. select segment_name ,segment_type from user_segments;

复制

可以看到段多了很多 TEST 是基本表,剩下的除了 IDX_TEST 是普通索引,剩下的全是全文索引,

但是我们刚才创建的索引名字是 idxctxtest,发现找不到,这是因为全文索引只是逻辑上的概念,他没有存储对象,它的实现都依赖这些表。

四. 深入全文索引

我们来看看这几张表

出现的 token 给他编一个号,并且存储了重复出现的次数(TOKEN_COUNT)

我们随机搜索一个字符串。

DR$IDXCTXTEST$I 这个表把 testdesc 这一列的值像字典一样保存出来,编一个号,并且总结出现的次数。但由于我是使用的 DBMSRANDOM.STRING 这个包随机创建的数据,所以这个表非常的大。

编了号之后,仍然不知道这些词在哪个地方,这时候就需要另外一张表 DR$IDXCTXTEST$K

 

 

这个 TEXTKEY 就是 rowid 了,我们可以根据 TESTKEY 找到数据了.

也就是说 DR$IDXCTXTEST$I  会生成 token 和编号,DR$IDXCTXTEST$K 表示对应的这些编号数据存放在哪里

五. 全文索引的维护

在 TEST 表上做 DML 操作,看索引与表是否同步 4

1.insert

  1. select * from test where test_desc like 'nihao';

复制

  1. insert into test values (999,'DBA','nihao');

复制

 

此时通过全文索引查找数据,查看是否更新  

  1. select * from test where contains(test_desc,'nihao') > 0;

复制

发现全文索引没有更新,这就说明表中的数据变了,而全文索引中的数据没有变。

使用 sys 查看 ctxsys.dR$pending 表

  1. select * from ctxsys.dR$pending;

复制

 这个表里面的数据就是我刚才插入的数据,只是没有更新到全文索引

这种情况需要重建全文索引。

  1. alter index idx_ctx_test rebuild;

复制

再次使用全文索引查询发现更新了

2.delete

 查看全文索引

 这里可以发现,delete 与 insert 语句不同,delete 后 全文索引也更新了。

3.update,可以自己做实验,update 也是不同步全文索引的。

六. 全文索引创建同步的方式

一遇到插入的场景就需要重建全文索引,这也太麻烦了,所以,我们可以在创建全局索引的时候指定同步的方式。

提交时同步

  1. create index idx_ctx_test on test(test_desc) indextype is ctxsys.context parameters('sync (on commit)');

复制

 指定时间同步(建议)

需要给用户 job 的权限

  1. grant create job to user1;

复制

 

 例如:每天晚上两点来同步全文索引

  1. create index idx_ctx_test on test(test_desc) indextype is ctxsys.context parameters ('sync (every "trunc(sysdate) + 2/24")');

复制


文章转载自kk的DBA随笔,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论