【MySQL性能优化系列】select count(*)走二级索引比主键索引快几百倍，你敢信？
| 阿里云国内75折 回扣 微信号：monov8 |
| 阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6 |
问题
在MySQL版本5.7数据测试过程中一张百万数据的表用 select count(*)查询特别慢需要20s并且是走了主键索引为什么查询还需要这么久如何优化下面我们将请到当事SQL进行发言
验证分析
猜想
先猜想一波为什么走了主键索引依旧很慢
没有建立二级索引。
聪明的小伙伴会问了二级索引还能比主键索引快是的在count统计情况且表字段数据很大的情况下是会快很多。
干货补充。
因为在 InnoDB 存储引擎中count(*) 函数是先从内存中读取数据到内存缓冲区然后进行扫描获得行记录数。InnoDB 会优先走二级索引若无会走主键索引。导致耗时较长。
在MyISAM存储引擎中count()函数是直接读取数据表保存的行记录数并返回。
在使用count函数中加上where条件时在两个存储引擎中的效果是一样的都会扫描全表计算某字段有值项的次数。
聚簇索引每一个 InnoDB 存储引擎下的表都有一个特殊的索引用来保存每一行的数据称为聚簇索引通常都为主键聚簇索引实际保存了 B-Tree 索引和行数据所以大小实际上约等于为表数据量。二级索引除了聚集索引表上其他的索引都是二级索引索引中仅仅存储了对应索引列及主键列。
接下来查看下当事表是什么情况吧
验证
接下来主要对比主键索引和二级索引在count(*)情况下的区别。
0、查看表中索引信息
show index from test;
只有主键索引。
1、当事SQL语句如下
SELECT count(*) from test
2、执行结果如下
1306725
> OK
> 时间: 17.397s
3、查看执行计划
desc SELECT count(*) from test
确实是走了主键索引。
4、重启数据库
window重启mysql
net stop mysql
net start mysql
linux
service mysqld restart
5、查看内存缓冲区情况
select * from sys.innodb_buffer_stats_by_table where object_schema = 'test';
6、再次执行SELECT count(*) from test查看内存缓冲区情况
7、加入二级索引重复以上验证
ALTER TABLE `test`.`test`
ADD INDEX `idx_id`(`id`) USING BTREE;
查看二级索引大小大约15M。
SELECT CONCAT(ROUND(SUM((data_length+index_length)/1024/1024),2),'MB') AS DATA FROM information_schema.`TABLES` WHERE table_schema='test' AND table_name='test';
加索引前表数据大小
931.50MB
加索引后前表数据大小
916.98MB
执行
SELECT count(*) from test
1306725
> OK
> 时间: 0.198s
查看执行计划
使用的二级索引。
查看缓冲区情况
缓冲区数据大小与二级索引大小基本相同。
小结
通过验证与猜想中的实际理论相符。在没有二级索引的情况下 select count(*) 会走主键索引缓存整表数据到缓冲区。如果存在二级索引只需要读取索引页到缓冲区查询速度显著提高几百倍。以上是基于MySQL版本5.7进行测试如果是MySQL 8.0就能使用新特性 并行查询 innodb_parallel_read_threads 再次提高查询速度。
并行查询示例如下
set local innodb_parallel_read_threads=888;
select count (*) from test;
小拓展
count(*)、count(1)、count(0)、count(列名)用哪个
使用count(*) 就可以了
阿里巴巴规范参考
【强制】不要使用 count(列名)或 count(常量)来替代 count()count()是 SQL92 定义的标准统计行数的语法跟数据库无关跟 NULL 和非 NULL 无关。 说明count(*)会统计值为 NULL 的行而count(列名)不会统计此列为 NULL 值的行。
【强制】count(distinct col) 计算该列除 NULL 之外的不重复行数注意 count(distinct col1, col2) 如果其中一列全为 NULL那么即使另一列有不同的值也返回为 0。
【强制】当某一列的值全是 NULL时count(col)的返回结果为 0但 sum(col)的返回结果为NULL因此使用 sum()时需注意 NPE 问题。
查询一个库中每个表的数据大小索引大小和总大小
SELECT
CONCAT(a.table_schema,'.',a.table_name) as '表名',
CONCAT(ROUND(table_rows/1000,4),'KB') AS '行大小',
CONCAT(ROUND(data_length/(1024*1024),4),',') AS '数据大小',
CONCAT(ROUND(index_length/(1024*1024),4),'M') AS '索引大小',
CONCAT(ROUND((data_length+index_length)/(1024*1024*1024),4),'G') AS'总大小'
FROM
information_schema.TABLES a
WHERE
a.table_schema = 'test'
ORDER BY index_length desc
点赞 收藏 关注
山花对海树赤日对苍穹。