分类 Oracle 下的文章

重建索引-没那么简单

在ask tom看到一个很精彩的讨论,关于索引的重建,解释了很多问题,值得学习。

索引的“平衡”

贴子中的这句话引起了我的兴趣,因为之前习惯将重建索引安排到数据库定期维护中。

The time lag between index rebuilds should be approximate FOREVER. They would destroy the equilibrium that the system worked so hard to get to.

对于这个结论的解释是:

在对索引列进行反复更新时,这条记录在索引树上的位置也在不断变化移动,在这期间索引会不断的增大:当可移动的空间不够时,数据库会扩展空间(拆分block)。这将造成索引上有许多空闲的blocks(正常情况下这些空闲的Leaf blocks会在freelist上,在需要的时候会被重用),但这并不会造成问题,扩展到一定程度后,即便再插入新的数据,索引树也不需要再继续扩展,因为索引树上空闲空间已经足够多,可以被新数据重复利用了。

引用中的”平衡”就是指这:使用中Freelist上blocks共成的组成的索引。两者比例应该是最适合系统业务运行的(因为是通过实际业务操作一点一点形成的,就像HashMap一样,所占用空间并不能完全被利用,而是通过LoadFactor来控制),或者说是因为系统业务特点而造成了索引离散性,正常情况下这应该是索引的最佳状态

而当重建索引后,所有经过以上过程产生blocks清掉。但随着系统业务模块运行,反复的更新再次导致不断记录在索引的移动,而索引又重新开始尝试扩展到”最佳状态”的过程。

阅读全文

科普:事务隔离级别与误读

很久之前写的一篇文章,只是简单的叙述

先回顾一下事务的属性(ACID原则)

原子性 一个事务应该是一个原子操作,要么成功,要么失败,不能存在部分成功部分失败的中间状态。
一致性 事务无论成败不能破坏业务规则,必须是从一个一致性状态到另一个一致性状态。(如转帐:钱的总量不能变化/一致)
隔离性 每个事务必须独立于其它事务执行。
持久性 执行结果的值/状态持久。

 

数据并发操作的三种误读

脏读(Dirty Read)

打开一个”别人”正读写的资源的数据。既能读到未提交的数据。
不可重复读(Nonrepeatable Read)
在一个原子操作中,时间点t1去读取一个值与时间点t2再次读取这个值发生了变化,可以是更新,删除。
幻象读(Phantom Read)
在时间点t1执行一个查询,得到的结果集与在时间点t2执行相同查询的结果集不一样,与不可重复读有点类似,不过不可重复读强调的同一个数据在随时间变化,而幻象读强调的是两次查询[结果集行数]增加。而不是指[数据值]的变化。

根据三种读允许出现的情况,正好可以划分ANSI/ISO SQL规定的四种隔离级别

隔离级别 脏读 不可重复读 幻像读
Read Uncommit(未提交读) 允许 允许 允许
Read Commit(提交读) 禁止 允许 允许
Repeatable Read(可重复读) 禁止 禁止 允许
Serializable(串行读) 禁止 禁止 禁止

阅读全文

禁用高变更频率表的统计信息

前一段时间,稳定运行了两个月的系统,其中一个功能突然变得非常慢,平常只需要零点零几秒完成的操作,需要等上百秒。一度导致系统无法使用影响生产。通过查看AWR报告、查看历史执行计划,发现一条Oracle为一条SQL选用了完全错误的执行计划:连接方式、索引使用情况和数据量预判都完全错误。开始认为是由于统计信息过期,就手动收集了这张表的统计信息。系统也立即恢复了正常。我当时判断这是一个偶然事件,但没有料到刚过了一周,同样的问题再次发生了。

虽然解决方案简单但由于影响严重,决定跟踪一下代码。发现这个操作所涉及到关联一张变更频率非常高的表,仅几分钟到几十分钟,这张表里的数据就完全变样。Oracle默认的统计信息收集频率应该是一天一次,大大低于表的变更频率。对于这个问题有两种方案:

  • 一是等到表张表里的数据分布有代表性时,手动将这张表的统计信息锁住,之后每次查询都使用相同的统计信息。
  • 二是利用oracle动态样例收集(Dynamic Sampling)的特性:清空这张表中所有的统计信息、相关索引的统计信息并锁住。当oracle执行语句前,若发现这张表没有可用的统计信息,则会按照配置参数,对这张表数据做一次采集,以生成较优的执行计划。

阅读全文

数据库分页优化

线上发现一个分页页面较之前明显变慢,随即对这个功能进行了优化。优化的过程很简单,但从这个问题中引出一个较经典的分页问题,需要以培训听形式向组员传播、打疫苗,因为这个问题在开发阶段会往往被忽视掉,却能引发严重的后果。

“ 简单优化”

SELECT *
  FROM (SELECT WMMATDOCSA0_.*, ROWNUM R
           FROM (SELECT WMMATDOCSA0_.*
                    FROM TI_WM_MAT_DOC_SAP_WM WMMATDOCSA0_
                   WHERE NOT EXISTS (SELECT 1
                            FROM TT_WM_MAT_DOC_HEADER MATDOCHEAD1_
                           WHERE TO_CHAR(MATDOCHEAD1_.WM_YEAR_NO) || '-' ||
                                 MATDOCHEAD1_.WM_MAT_DOC_NO =
                                 WMMATDOCSA0_.WM_DOC_NO)
                   ORDER BY WMMATDOCSA0_.ID DESC) )
 WHERE R > 1 AND R < 15 

该SQL使用一个not exists子句作为主要的查询条件,这类SQL的性能严重依赖于exists内子句的性能(外层有多少条数据,exists子句就要执行多少次)。由于TT_WM_MAT_DOC_HEADER数据的增长,内层子句的性能已经明显降低,导致整个SQL效率急剧下降。系统中这条SQL的时间需要使用2秒左右。

方案一:增加索引,提升子句性能
注意SQL第7-9行:

TO_CHAR(MATDOCHEAD1_.WM_YEAR_NO)||'-'||MATDOCHEAD1_.WM_MAT_DOC_NO
              = WMMATDOCSA0_.WM_DOC_NO

这个过滤条件是一个没有索引的函数化列,随着数据量的增加这个过滤条件的效率会降低。可以在这里建立一个函数索引,提高exists子句的执行效率从而提高整个语句的效率。(若exists子句性能慢0.1秒,外层数据有1000条,则总共慢100秒,当然oracle会根据统计信息选择优化的执行计划,这里只是举个例子)

CREATE INDEX FX_MAT_DOC_NO_YEAR ON 
       TT_WM_MAT_DOC_HEADER(to_char(WM_YEAR_NO)||'-'||WM_MAT_DOC_NO);

此外exsit子句有“短路”的特性,一旦匹配到记录就中断返回。整个语句的执行效率相当不错。
阅读全文