暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

MySQL性能调优利器-Explain详解

基础技术研究 2021-03-11
87


前言

“工欲善其事,必先利其器”,在日常数据库维护工作中,我们常常需要查看一个SQL在数据库中是如何运行的,例如表的加载顺序、连接关系、以及索引使用情况等。使用EXPLAIN指令可以模拟优化器执行SQL语句、分析查询语句的性能瓶颈,MySQL会返回执行计划信息,但并不实际执行SQL语句。

本文详细解释了EXPLAIN的用法并附以相关示例,希望能帮助大家更深层次地了解MySQL的执行计划。


01
Explain输出详解

EXPLAIN需要分析的SQL语句输出主要为以下几个部分:

输出列

说明

id

选择标识符

select_type

选择类型

table

输出行的表

partitions

匹配的分区

type

连接类型

possible_keys

可能用到的索引

key

实际用到的索引

key_len

用到索引的长度

ref

列对应的索引

rows

预测要检查的行数

filtered

表条件筛选行的百分比

extra

额外的信息


           id            

id列中的数据为一组数字,表示执行SQL语句或者操作表的顺序,id值相同时,执行顺序由上至下,id列数字越大越先执行,如果数字一样大,那么就从上往下依次执行。这是select请求的序列号,如果引用其他行的结果,这个值可以为null,在这种情况下,table列显示的值类似<union M,N>,表示该行的值在M和N之间。

  • id相同,从上到下依次执行
示例1:
-> explain select test2.*
-> from test1,test2,test3
-> where test1.id=test2.id2 and test1.id=test3.id3
-> and test1.name='';

  • 子查询,id越大,优先级越高,越先被执行
示例2:
-> explain select test1.id
-> from test1
-> where id=(select id2 from test2 where id2 = (select id3 from test3 where name3='') ) ;

     select_type    

select_type主要有以下几种输出:   

类型

说明

SIMPLE

简单查询(没有union和子查询)

PRIMARY

最外层查询

UNION

第二层,在select之后使用union

DEPENDENT UNION

union 语句中的第二个select,依赖于外部子查询

UNION RESULT

从一个union返回结果

SUBQUERY

子查询中的第一个select

DEPENDENT SUBQUERY

子查询中的第一个select依赖于外部子查询

DERIVED

派生表 select(from子句中的子查询)

DEPENDENT DERIVED

派生表 select依赖于另一张表

MATERIALIZED

物化子查询(具体化)

UNCACHEABLE SUBQUERY

子查询的结果不能被缓存,必须重新评估每行的外部查询

UNCACHEABLE UNION

union中的第二个或后面的select属于UNCACHEABLE SUBQUERY

这里需要注意,DEPENDENT SUBQUERY根据每组不同的值和不同的外部语境只会重新评估一次。对于UNCACHEABLE SUBQUERY根据每一行不同的外部语境评估。下面对常用类型结合测试实例加以说明:
  • SIMPLE是一个简单查询,不包含子查询或union操作的查询

示例:
-> explain select id from test1;

  • PRIMARY查询中如果包含任何子查询,那么最外层的查询则被标记为PRIMARY
示例:
-> explain select test1.id
-> from test1
-> where id =(select id2 from test2 where id2 = (select id3 from test3 where name3='') ) ;

  • SUBQUERY在SELECT或WHERE列表中包含了子查询,该子查询被标记为SUBQUERY
示例:
-> explain select test1.id 
-> from test1
-> where id =(select id3 from test3 where name3='');

  • UNIONUnion操作的第二个或是之后的查询值为union;若UNION包含在FROM子句的子查询中,外层SELECT将被标记为DERIVED

示例:
-> explain select id from test1 union select id2 from test2;

  • UNION RESULT从UNION表获取结果的查询

-> explain select name from test1 where id in (select id2 from test2 union select id3 from test3);

  • DERIVED出现在FORM子句中的子查询
-> explain select id,name2 from test1 t,(select name2 from test2) d where t.name=d.name2;

            table         

执行计划中输出引用行表的名称或者别名,也可能是以下几种情况:
  • <union M,N>: 由id为M,N查询union操作后参数的结果集,这个结果集其实是一个临时表,指联合查询中id值在M和N之间的行

  • <derived N>: 这行指出派生表结果集在这行中的id值为N,派生表可能来自from子句中的子查询

  • <subquery N>: 该行指物化查询在这行的id值为N

       partitions     

partitions 列代表给定表所使用的分区。在MySQL V5.5和V5.6版本中,只有在EXPLAIN 后面增加分区关键词PARTITIONS时,这列才会显示。未分区的表此列值为空。

           type          

表示MySQL在表中找到所需行的方式,又称为“访问类型”,依次从最优到最差分别为:system > const > eq_ref > ref > fulltext > ref_or_null> unique_subquery > index_subquery > range > index_merge > index> all,除了all之外,其他的type都可以使用到索引,除了index_merge之外,其他的type只可以用到一个索引,一般来说,得保证查询达到range级别,最好达到ref级别。常见类型如下:
  • all:这个就是全表扫描数据文件,然后再在server层进行过滤返回符合要求的记录

示例:
-> explain select amount from test1;

  • index:索引全表扫描,把索引从头到尾扫一遍,常见于使用索引列就可以处理,不需要读取数据文件的查询、可以使用索引排序或者分组的查询

示例:
-> explain select name from test1;

  • range:索引范围扫描,常见于使用>,<,is null,between ,in ,like等运算符的查询中

示例:
-> explain select amount from test1 where id in (1,2);

  •  ref:不像eq_ref那样要求连接顺序,也没有主键和唯一索引的要求,只要使用相等条件检索时就可能出现,常见与辅助索引的等值查找。或者多列主键、唯一索引中,使用第一个列之外的列作为等值查找也会出现,总之,返回数据不唯一的等值查找就可能出现

示例:
-> explain select amount from test1 where name='';

  • eq_ref:出现在要连接过个表的查询计划中,驱动表只返回一行数据,且这行数据是第二个表的主键或者唯一索引,且必须为not null,唯一索引和主键是多列时,只有所有的列都用作比较时才会出现eq_ref

示例:
-> explain select test2.*
-> from test1,test2,test3
-> where test1.id=test2.id2 and test1.id=test3.id3
-> and test1.name='';

  • NULL:MySQL在优化过程中分解语句,执行时甚至不用访问表或索引,例如从一个索引列里选取最小值可以通过单独索引查找完成

示例:
-> explain select id from test1 where amount='';

  • const:使用唯一索引或者主键,返回记录一定是1行记录的等值where条件时,通常type是const。其他数据库也叫做唯一索引扫描

示例:
-> explain select * from t_car_brand where id=1;

  • system:表中只有一行数据或者是空表,且只能用于myisam和memory表。如果是Innodb引擎表,type列在这个情况通常都是all或者index

  • fulltext:全文索引检索,要注意,全文索引的优先级很高,若全文索引和普通索引同时存在时,MySQL不管代价,优先选择使用全文索引

  • ref_or_null:与ref方法类似,只是增加了null值的比较,实际用的不多

  • unique_subquery:用于where中的in形式子查询,子查询返回不重复值唯一值index_subquery:用于in形式子查询使用到了辅助索引或者in常数列表,子查询可能返回重复值,可以使用索引将子查询去重

  • index_merge:表示查询使用了两个以上的索引,最后取交集或者并集,常见and ,or的条件使用了不同的索引,官方排序这个在ref_or_null之后,但是实际上由于要读取所个索引,性能可能大部分时间都不如range

    possible_keys   

指出MySQL可能使用哪个索引在表中找到行,查询涉及到的字段上若存在索引,则该索引将被列出。请注意,这列完全独立于explain输出列表,这意味着在possible_keys里面一些索引可能不会被实际应用到。如果这列为NULL,则表示没有相关的索引,为了提升请求性能,建议检查where子句是否引用了一些字段,创建一个合适的索引。

           key            

key这列标明了MySQL真实用到的索引。如果MySQL决定使用possible_keys 里面的索引去遍历行,这个索引作为key的值被列出。
key的值也可能不在 possible_keys 里。如果possible_keys里的索引都不适合遍历行,那么所有被查询的列会用其他索引。也就是说,查询的列用到了索引,即使它没有被用来决定检索哪些行,索引扫描也比直接扫描数据有效果。在InnoDB引擎下,即使请求查询主键列也可能用到二级索引,因为InnoDB在每一个二级索引里存储主键值。如果key 是空的,MySQL发现没有索引用来提高查询效率。

        key_len        

key_len显示的值为索引字段的最大可能长度(单位为字节),可通过该列计算查询中使用的索引的长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的。

如果是单列索引,那么整个索引长度会计算进去,如果是多列索引,那么查询不一定都能使用到所有的列,具体使用到多少个列的索引,这里就会计算进去。注意,MySQL的ICP特性(Index Condition Pushdown是MySQL V5.6提供的一种索引优化方式)使用到的索引不会计入其中。另外,key_len只计算where条件用到的索引长度,而排序和分组即使用到了索引,也不会计算到key_len中。

示例:
->desc test1;

-> explain select amount,name,amount from test1; 

-> explain  select name from test1;

          ref            

列与索引的比较,表示上述表的连接匹配条件,即哪些列或常量被用于查找索引列上的值。如果是使用的常数等值查询,这里会显示const;如果是连接查询,被驱动表的执行计划这里会显示驱动表的关联字段;如果是条件使用了表达式或者函数,或者条件列发生了内部隐式转换,这里可能显示为func。
示例:
-> explain select test1.id
-> from test1
-> where id = (select id3 from test3 where name3='');

         rows         

表示MySQL根据表统计信息及索引选用情况,估算的找到所需的记录所需要读取的行数。rows列显示MySQL查询请求必须检查的行数,对于InnoDB 表, 这个数字是个约数,并不精确。

未添加索引前:

添加索引后:

        filtered       

filtered 列给出了一个百分比的值,这个百分比值和rows列的值结合使用,可以估计出那些将要和执行计划[1] 中的前一个表(指id 列的值比当前表的id 小的表)进行连接的行的数目。这个字段表示存储引擎返回的数据在server层过滤后,剩下多少满足查询的记录数量的比例,注意是百分比,不是具体记录数。这一列在MySQL 5.7.3之前,只有在EXPLAIN EXTENDED 语句中才会出现,在后续版本扩展输出默认开启,扩展关键词不再必要。

          extra        

extra列提供了MySQL优化器路径的一系列额外信息。extra 列可以包含多个值,这个列可以显示的信息有几十种,以下是几种常见情况:
  • Using where不用读取表中所有信息,仅通过索引就可以获取所需数据,这发生在对表的全部的请求列都是同一个索引的部分的时候,表示MySQL服务器将在存储引擎检索行后再进行过滤

示例:
-> explain select name from test1 where name='alice';

  • Using temporary:表示MySQL需要使用临时表来存储结果集,常见于排序和分组查询,常见 group by ; order by


示例:
-> explain select name from test1 where id in (select id2 from test2 union select id3 from test3);
  • Using filesort:当Query中包含 order by 操作,而且无法利用索引完成的排序操作称为“文件排序”

示例:
-> explain select amount2 from test2 order by amount2;
  • Impossible where:这个值强调了where语句会导致没有符合条件的行(通过收集统计信息不可能存在结果)

示例:
-> explain select sum(amount) from test1 where id = -1;
02
补充说明

  • EXPLAIN不会展示关于触发器、存储过程的信息或用户自定义函数对查询的影响情况

  • EXPLAIN不考虑各种Cache

  • EXPLAIN不能显示MySQL在执行查询时所作的优化工作

  • EXPLAIN部分统计信息是估算的,并非精确值

  • MySQL V5.6.3之前只有 SELECT 可以生成执行计划,V5.6.3及之后的版本SELECT、DELETE、INSERT、REPLACE、UPDATE都可以生成执行计划

  • EXPLAIN可以使用DESC关键字代替
03
结束语

EXPLAIN的功能博大精深,本文仅通过几个例子给大家提供了一个惊鸿一瞥的机会,希望大家在以后的SQL调优工作中多用、活用EXPLAIN,充分发挥其价值,提升工作成效。
本文章内容参考MySQL Reference Manual,链接地址:
http://dev.mysql.com/doc/refman/5.7/en/explain-output.html


END








扫码关注
更多干货哟



文章转载自基础技术研究,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论