暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

SQL优化之列裁剪和投影消除

叁金大数据 2019-02-16
1178


文章导读:

列裁减

投影消除

最大最小消除



本文对SQL优化的三种常见规则进行了介绍,分别为列裁减、投影消除和最大最小消除。一起来看一下把~~对逻辑算子还没有概念的可以看上一篇文章《SQL优化器执行过程之逻辑算子

列裁剪

对于没用到的列,则没有必要读取它们的数据去浪费无谓的IO

比如我们有一张表table1
,它含有四列数据(a,b,c,d)。当我们执行查询select a from table1 where c >10
时,我们可以清晰的看到,table1中只有a,c两列被用到了。分别是Selection算子用到c列和Projection算子用到a列。那么DataSource读取数据时,b,d两列则不需要读取,可以裁剪掉。

那么都有哪些算子与列有关系呢?综合我们多年来使用SQL的经验来看,Selection
(Where 条件)、Projection
(搜索的列)、Sort
(排序列)、Join
(等值连接)、Aggregation
(Group By及相关聚合操作)等。

列裁剪的算法就是自顶向下的把算子过一遍,某个节点需要用到的列就等于它自己需要用到的列加上它的父节点所需要用到的列。这样得到整个SQL语句所涉及到的列,从而再读取数据时只读取需要的列即可。

列裁剪通过只读取需要的数据减少IO操作来达到优化的目的

投影消除

投影消除是把不必要的Projection
给消除掉

那么问题来了,什么情况下,投影算子是可以被消除的呢?

  1. 如何Projection算子需要投影的列跟子节点的输出列一样,那么这个投影就是一个废操作,可以被消除掉。比如说:select a,b from table1
     如果再表table1中刚好只有a,b两列,也就是DataSource的输出和Projection需要投影的列一样,那么这时候就没必要在TableScan之后再做一次Projection操作了。

  2. 如果Projection的子节点还是Projection的话,那么子节点的Projection就没有意义了,可以干掉。如:select a from (select a,b,c from table2)
     这条语句里面有两个Projection,分别是最上层的Projection(a)和它的子节点Projection(a,b,c)。那么Projection(a,b,c)这个节点就是废操作,可以被消除掉。

  3. Aggregation在某种意义上也属于投影操作,因为从这个节点出来的都是列的概念,比如Max(a)
    Min(b)
    等。因此在Aggregation->Projection的过程中,这个Projection也是可以被消除掉的。

所以说,一个节点是否可以被消除,一方面是由它的父节点告诉它,它是否是一个冗余的Projection操作。另一方面是它自己和孩子节点做比较,看自身是否可以被消除。

 1public void eliminate(Plan plan, boolean canEliminate) {
2    //如果plan为Projection则判断是否需要被消除
3    if (plan is Projection) {
4        //如果父节点调用时指定canEliminate为true,则进行消除操作
5        if (canEliminate) {
6            doEliminate(plan);
7        }
8        //如果plan的输出和子节点的输出一样则消除plan
9        if (checkPlanOutEqualsNext(plan)) {
10            doEliminate(plan);
11        }
12    }
13    //递归调用,遍历子节点
14    eliminate(plan.next(), checkPlanNextCanEliminate(plan));
15}

复制

最大最小消除

最大最小消除严格上说不是标准逻辑优化里面需要做的事情

举个栗子:

语句1select min(a) from table1
可以转换为语句2select a from table1 order by a desc limit 1

语句1生成的逻辑执行计划是一个 TableScan 上面接一个 Aggregation,也就是说这是一个全表扫描的操作。

语句2生成的逻辑执行计划是TableScan + Sort + Limit,在某些情况,比如a
是主键或者是存在索引,数据本身是有序的, Sort 就可以消除,最终变成 TableScan 或者 IndexLookUp 加 Limit,这样子就不需要全表扫了,读到第一条数据就得到结果!全表扫跟只查一条数据,查询速度可是天壤之别。也许这一点点写法上的区别,就是几分钟甚至更长,跟毫秒级响应的差距。

最大最小消除就是SQL优化器自动把上面的操作实现了。比如说:

select max(id) from table1
 生成的查询计划会变成下面这种(最大消除):

select max(id) from (select id from table1 order by id desc limit 1 where id is not null) t

select min(id) from table1
生成的查询计划会变成下面这种(最小消除):

select min(id) from (select id from table1 order by id limit 1 where id is not null) t

然后转换后的语句再经过其他的转换规则最终得到最后的查询计划。


下篇文章是SQL优化规则谓词下推常量折叠的介绍,敬请期待~


参考资料:

http://zenlife.tk/sql-optimizer3.md


往期精彩回顾
SQL优化器执行过程之逻辑算子
Calcite 项目及使用介绍
SQL优化器简介


扶我起来,我还能更新~


文章转载自叁金大数据,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论