数据库

索引优化分析

2020-05-26  本文已影响0人  码农GG

性能下降sql慢,执行时间长,等待时间长

1.查询语句写的烂
2.索引失效(单值,复合)
3.关联查询太多join(设计缺陷或不得已的需求)
4.服务器调优及各个参数设置(缓存,线程数等)

常见通用的join查询
sql执行顺序

image.png

join图


image.png

是什么
1.MySQL官方对索引的定义为:索引(Index)是帮助MySQL高校获取数据的数据结构。可以得到索引的本质:索引是数据结构
2.你可以简单理解为"排好序的快速查找数据结构"。

image.png

总结:数据本身之外,数据库还维护着一个满足特定查找算法的数据结构,这些数据结构以某种方式指向数据,
这样就可以在这些数据结构的基础上实现高级查找算法,这种数据结构就是索引。

3.一般来说索引本身也很大,不可能全部存储在内存中,因此索引往往以文件形式存储在硬盘上

4.我们平时所说的索引,如果没有特别指明,都是指B树(多路搜索树,并不一定是二叉树)结构组织的索引。其中聚集索引,次要索引,覆盖索引,
复合索引,前缀索引,唯一索引默认都是使用B+树索引,统称索引。当然,除了B+树这种类型的索引之外,还有哈希索引(hash index)等。

优势
1.类似大学图书馆建书目索引,提高数据检索效率,降低数据库的IO成本
2.通过索引列对数据进行排序,降低数据排序成本,降低了CPU的消耗

劣势
1.实际上索引也是一张表,该表保存了主键和索引字段,并指向实体表的记录,所以索引列也是要占用空间的

2.虽然索引大大提高了查询速度,同时却会降低更新表的速度,如果对表INSERT,UPDATE和DELETE。
因为更新表时,MySQL不仅要不存数据,还要保存一下索引文件每次更新添加了索引列的字段,都会调整因为更新所带来的键值变化后的索引信息

3.索引只是提高效率的一个因素,如果你的MySQL有大数据量的表,就需要花时间研究建立优秀的索引,或优化查询语句

mysql索引分类
单值索引
唯一索引
复合索引

mysql索引结构
BTree索引

image.png image.png

Btree索引(或Balanced Tree),是一种很普遍的数据库索引结构,oracle默认的索引类型(本文也主要依据oracle来讲)。其特点是定位高效、利用率高、自我平衡,特别适用于高基数字段,定位单条或小范围数据非常高效。理论上,使用Btree在亿条数据与100条数据中定位记录的花销相同。

Hash索引
full-text全文索引
R-Tree索引

哪些情况需要创建索引
1.主键自动建立唯一索引
2.频繁作为查询的条件的字段应该创建索引
3.查询中与其他表关联的字段,外键关系建立索引
4.频繁更新的字段不适合创建索引,因为每次更新不单单是更新了记录还会更新索引,加重IO负担
5.Where条件里用不到的字段不创建索引
6.单间/组合索引的选择问题,who?(在高并发下倾向创建组合索引)
7.查询中排序的字段,排序字段若通过索引去访问将大大提高排序的速度
8.查询中统计或者分组字段

哪些情况不要创建索引
1.表记录太少
2.经常增删改的表
3.数据重复且分布平均的表字段,因此应该只为经常查询和经常排序的数据列建立索引。
注意,如果某个数据列包含许多重复的内容,为它建立索引就没有太大的实际效果。

image.png

性能分析
1.MySQL Query Optimizer

image.png

2.MySQL常见瓶颈
CPU:CPU在饱和的时候一般发生在数据装入在内存或从磁盘上读取数据时候
IO:磁盘I/O瓶颈发生在装入数据远大于内存容量时
服务器硬件的性能瓶颈:top,free,iostat和vmstat来查看系统的性能状态

3.Explain
是什么(查看执行计划)?
使用EXPLAIN关键字可以模拟优化器执行SQL语句,从而知道MySQL是如何处理你的SQL语句的。分析你的查询语句或是结构的性能瓶颈

能干嘛?
表的读取顺序
数据读取操作的操作类型
哪些索引可以使用
哪些索引被实际使用
表之间的引用
每张表有多少行被优化器查询

怎么玩?
Explain+SQL语句
执行计划包含的信息

各字段的意思
id:
select查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序,三种情况:
1)id相同,执行顺序由上至下
2)id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行
3)id有相同,不同

image.png

select_type:
1.SIMPLE:简单的select查询,查询中不包含子查询或者UNION
2.PRIMARY:查询中若包含任何复杂的子部分,最外层查询则被标记为
3.SUBQUERY:在SELECT或者WHERE列表中包含了子查询
4.DERIVED:
在FROM列表中包含的子查询被标记为DERIVED(衍生)MySQL会递归执行这些子查询,把结果放在临时表里。
5.UNION:
若第二个SELECT出现在UNION之后,则被标记为UNION;
若UNION包含在FROM子句的子查询中,外层SELECT将被标记为:DERIVED
6.UNION RESULT:从UNION表获取结果的SELECT

table:表
type:
访问类型排列:system>const>eq_ref>ref>range>index>all

image.png

显示查询使用了何种类型
从最好到最差依次是:
system>const>eq_ref>ref>range>index>ALL
system:
表只有一行记录(等于系统表),这是const类型的特例,平时不会出现,这个也可以忽略不计。
const:
表示通过索引一次就找到了,const用于比较primary key或者unique索引。因为只匹配一行数据,所以很快。如将主键至于where列表中,MySQL就能将该查询转换为一个常量
eq_ref:
唯一性索引,对于每个索引键,表中只有一条记录与之匹配,常见于主键或唯一索引扫描
ref:
非唯一索引扫描,返回匹配某个单独值的所有行。
本质上也是一种索引访问,它返回所有匹配某个单独值的行,然而,
它可能会找到多个符合条件的行,所以他应该属于查找和扫描的混合体
range:
只检索给定范围的行,使用一个索引来选择行。key列显示使用了哪个索引
一般就是在你的where语句中出现了between、<、>、in等的查询
这种范围扫描索引扫描比全表扫描要好,因为他只需要开始索引的某一点,而结束语另一点,不用扫描全部索引
index:
Full Index Scan,index与ALL区别为index类型只遍历索引树。这通常比ALL快,因为索引文件通常比数据文件小。
(也就是说虽然all和index都是读全表,但index是从索引中读取的,而all是从硬盘中读的)
ALL:
FullTable Scan,将遍历全表以找到匹配的行

possible_keys:
显示可能应用在这张表中的索引,一个或多个。
查询涉及的字段上若存在索引,则该索引将被列出,但不一定被查询实际使用.

key:
实际使用的索引。如果为null则没有使用索引
查询中若使用了覆盖索引,则索引和查询的select字段重叠

key_len:
表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下,长度越短越好
key_len显示的值为索引最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的

ref:
显示索引那一列被使用了,如果可能的话,是一个常数。那些列或常量被用于查找索引列上的值

rows:
根据表统计信息及索引选用情况,大致估算出找到所需的记录所需要读取的行数

Extra:
包含不适合在其他列中显示但十分重要的额外信息
1.Using filesort
说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成排序操作成为“文件排序”

image.png

2.Using temporary
使用了临时表保存中间结果,MySQL在对查询结果排序时使用临时表。常见于排序order by 和分组查询 group by

image.png

3.USING index
表示相应的select操作中使用了覆盖索引(Coveing Index),避免访问了表的数据行,效率不错!
如果同时出现using where,表明索引被用来执行索引键值的查找;
如果没有同时出现using where,表面索引用来读取数据而非执行查找动作。

image.png

4.Using where
表面使用了where过滤

5.using join buffer
使用了连接缓存

6.impossible where
where子句的值总是false,不能用来获取任何元组

7.select tables optimized away
在没有GROUP BY子句的情况下,基于索引优化MIN/MAX操作或者
对于MyISAM存储引擎优化COUNT(*)操作,不必等到执行阶段再进行计算,查询执行计划生成的阶段即完成优化。

8.distinct
优化distinct,在找到第一匹配的元组后即停止找同样值的工作

索引分析

索引失效
1.全值匹配我最爱

image.png

2.最佳左前缀法则
如果索引了多例,要遵守最左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。

image.png

3.不在索引列上做任何操作(计算、函数、(自动or手动)类型转换),会导致索引失效而转向全表扫描

image.png

4.存储引擎不能使用索引中范围条件右边的列

image.png

5.尽量使用覆盖索引(只访问索引的查询(索引列和查询列一致)),减少select*

image.png image.png

6.mysql在使用不等于(!=或者<>)的时候无法使用索引会导致全表扫描

image.png

7.is null,is not null 也无法使用索引

image.png

8.like以通配符开头('%abc...')mysql索引失效会变成全表扫描操作

image.png

问题:解决like'%字符串%'索引不被使用的方法??
1、可以使用主键索引
2、使用覆盖索引,查询字段必须是建立覆盖索引字段
3、当覆盖索引指向的字段是varchar(380)及380以上的字段时,覆盖索引会失效!

9.字符串不加单引号索引失效

image.png

10.少用or,用它连接时会索引失效

image.png image.png

一般性建议:
1)对于单键索引,尽量选择针对当前query过滤性更好的索引
2)在选择组合索引的时候,当前Query中过滤性最好的字段在索引字段顺序中,位置越靠前越好。
3)在选择组合索引的时候,尽量选择可以能包含当前query中的where子句中更多字段的索引
4)尽可能通过分析统计信息和调整query的写法来达到选择合适索引的目的

上一篇 下一篇

猜你喜欢

热点阅读