性能监控

使用show profile查询剖析工具可以指定具体的type

type
all显示所有性能信息 show profile all for query n
block io显示块io操作的次数 show profile block io for query n
context switches显示上下文切换次数被动和主动 show profile context switches for query n
cpu显示用户cpu时间、系统cpu时间 show profile cpu for query n
IPC显示发送和接受的消息数量 show profile ipc for query n
Memory暂未实现
page faults显示页错误数量 show profile page faults for query n
source显示源码中的函数名称与位置 show profile source for query n
swaps显示swap的次数 show profile swaps for query n

使用performance schema来更加容易的监控mysql

MYSQL performance schema详解

0、performance_schema的介绍

​ MySQL的performance schema 用于监控MySQL server在一个较低级别的运行过程中的资源消耗、资源等待等情况。

​ 特点如下

​ 1、提供了一种在数据库运行时实时检查server的内部执行情况的方法。performance_schema 数据库中的表使用performance_schema存储引擎。该数据库主要关注数据库运行过程中的性能相关的数据与information_schema不同information_schema主要关注server运行过程中的元数据信息

​ 2、performance_schema通过监视server的事件来实现监视server内部运行情况 “事件”就是server内部活动中所做的任何事情以及对应的时间消耗利用这些信息来判断server中的相关资源消耗在了哪里一般来说事件可以是函数调用、操作系统的等待、SQL语句执行的阶段如sql语句执行过程中的parsing 或 sorting阶段或者整个SQL语句与SQL语句集合。事件的采集可以方便的提供server中的相关存储引擎对磁盘文件、表I/O、表锁等资源的同步调用信息。
​ 3、performance_schema中的事件与写入二进制日志中的事件描述数据修改的events、事件计划调度程序这是一种存储程序的事件不同。performance_schema中的事件记录的是server执行某些活动对某些资源的消耗、耗时、这些活动执行的次数等情况。
​ 4、performance_schema中的事件只记录在本地server的performance_schema中其下的这些表中数据发生变化时不会被写入binlog中也不会通过复制机制被复制到其他server中。
​ 5、 当前活跃事件、历史事件和事件摘要相关的表中记录的信息。能提供某个事件的执行次数、使用时长。进而可用于分析某个特定线程、特定对象如mutex或file相关联的活动。
​ 6、PERFORMANCE_SCHEMA存储引擎使用server源代码中的“检测点”来实现事件数据的收集。对于performance_schema实现机制本身的代码没有相关的单独线程来检测这与其他功能如复制或事件计划程序不同
​ 7、收集的事件数据存储在performance_schema数据库的表中。这些表可以使用SELECT语句查询也可以使用SQL语句更新performance_schema数据库中的表记录如动态修改performance_schema的setup_*开头的几个配置表但要注意配置表的更改会立即生效这会影响数据收集
​ 8、performance_schema的表中的数据不会持久化存储在磁盘中而是保存在内存中一旦服务器重启这些数据会丢失包括配置表在内的整个performance_schema下的所有数据
​ 9、MySQL支持的所有平台中事件监控功能都可用但不同平台中用于统计事件时间开销的计时器类型可能会有所差异。

1、performance schema入门

​ 在mysql的5.7版本中性能模式是默认开启的如果想要显式的关闭的话需要修改配置文件不能直接进行修改会报错Variable ‘performance_schema’ is a read only variable。

--查看performance_schema的属性
mysql> SHOW VARIABLES LIKE 'performance_schema';
+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| performance_schema | ON    |
+--------------------+-------+
1 row in set (0.01 sec)

--在配置文件中修改performance_schema的属性值on表示开启off表示关闭
[mysqld]
performance_schema=ON

--切换数据库
use performance_schema;

--查看当前数据库下的所有表,会看到有很多表存储着相关的信息
show tables;

--可以通过show create table tablename来查看创建表的时候的表结构
mysql> show create table setup_consumers;
+-----------------+---------------------------------
| Table           | Create Table                    
+-----------------+---------------------------------
| setup_consumers | CREATE TABLE `setup_consumers` (
  `NAME` varchar(64) NOT NULL,                      
  `ENABLED` enum('YES','NO') NOT NULL               
) ENGINE=PERFORMANCE_SCHEMA DEFAULT CHARSET=utf8 |  
+-----------------+---------------------------------
1 row in set (0.00 sec)                             

​ 想要搞明白后续的内容同学们需要理解两个基本概念

​ instruments: 生产者用于采集mysql中各种各样的操作产生的事件信息对应配置表中的配置项我们可以称为监控采集配置项。

​ consumers:消费者对应的消费者表用于存储来自instruments采集的数据对应配置表中的配置项我们可以称为消费存储配置项。

2、performance_schema表的分类

​ performance_schema库下的表可以按照监视不同的纬度就行分组。

--语句事件记录表这些表记录了语句事件信息当前语句事件表events_statements_current、历史语句事件表events_statements_history和长语句历史事件表events_statements_history_long、以及聚合后的摘要表summary其中summary表还可以根据帐号(account)主机(host)程序(program)线程(thread)用户(user)和全局(global)再进行细分)
show tables like '%statement%';

--等待事件记录表与语句事件类型的相关记录表类似
show tables like '%wait%';

--阶段事件记录表记录语句执行的阶段事件的表
show tables like '%stage%';

--事务事件记录表记录事务相关的事件的表
show tables like '%transaction%';

--监控文件系统层调用的表
show tables like '%file%';

--监视内存使用的表
show tables like '%memory%';

--动态对performance_schema进行配置的配置表
show tables like '%setup%';

3、performance_schema的简单配置与使用

​ 数据库刚刚初始化并启动时并非所有instruments(事件采集项在采集项的配置表中每一项都有一个开关字段或为YES或为NO)和consumers(与采集项类似也有一个对应的事件类型保存表配置项为YES就表示对应的表保存性能数据为NO就表示对应的表不保存性能数据)都启用了所以默认不会收集所有的事件可能你需要检测的事件并没有打开需要进行设置可以使用如下两个语句打开对应的instruments和consumers行计数可能会因MySQL版本而异)。

--打开等待事件的采集器配置项开关需要修改setup_instruments配置表中对应的采集器配置项
UPDATE setup_instruments SET ENABLED = 'YES', TIMED = 'YES'where name like 'wait%';

--打开等待事件的保存表配置开关修改setup_consumers配置表中对应的配置项
UPDATE setup_consumers SET ENABLED = 'YES'where name like '%wait%';

--当配置完成之后可以查看当前server正在做什么可以通过查询events_waits_current表来得知该表中每个线程只包含一行数据用于显示每个线程的最新监视事件
select * from events_waits_current\G
*************************** 1. row ***************************
            THREAD_ID: 11
             EVENT_ID: 570
         END_EVENT_ID: 570
           EVENT_NAME: wait/synch/mutex/innodb/buf_dblwr_mutex
               SOURCE: 
          TIMER_START: 4508505105239280
            TIMER_END: 4508505105270160
           TIMER_WAIT: 30880
                SPINS: NULL
        OBJECT_SCHEMA: NULL
          OBJECT_NAME: NULL
           INDEX_NAME: NULL
          OBJECT_TYPE: NULL
OBJECT_INSTANCE_BEGIN: 67918392
     NESTING_EVENT_ID: NULL
   NESTING_EVENT_TYPE: NULL
            OPERATION: lock
      NUMBER_OF_BYTES: NULL
                FLAGS: NULL
/*该信息表示线程id为11的线程正在等待buf_dblwr_mutex锁等待事件为30880
属性说明
	id:事件来自哪个线程事件编号是多少
	event_name:表示检测到的具体的内容
	source:表示这个检测代码在哪个源文件中以及行号
	timer_start:表示该事件的开始时间
	timer_end:表示该事件的结束时间
	timer_wait:表示该事件总的花费时间
注意_current表中每个线程只保留一条记录一旦线程完成工作该表中不会再记录该线程的事件信息
*/

/*
_history表中记录每个线程应该执行完成的事件信息但每个线程的事件信息只会记录10条再多就会被覆盖*_history_long表中记录所有线程的事件信息但总记录数量是10000超过就会被覆盖掉
*/
select thread_id,event_id,event_name,timer_wait from events_waits_history order by thread_id limit 21;

/*
summary表提供所有事件的汇总信息该组中的表以不同的方式汇总事件数据如按用户按主机按线程等等。例如要查看哪些instruments占用最多的时间可以通过对events_waits_summary_global_by_event_name表的COUNT_STAR或SUM_TIMER_WAIT列进行查询这两列是对事件的记录数执行COUNT*、事件记录的TIMER_WAIT列执行SUMTIMER_WAIT统计而来
*/
SELECT EVENT_NAME,COUNT_STAR FROM events_waits_summary_global_by_event_name  ORDER BY COUNT_STAR DESC LIMIT 10;

/*
instance表记录了哪些类型的对象会被检测。这些对象在被server使用时在该表中将会产生一条事件记录例如file_instances表列出了文件I/O操作及其关联文件名
*/
select * from file_instances limit 20; 

4、常用配置项的参数说明

1、启动选项

performance_schema_consumer_events_statements_current=TRUE
是否在mysql server启动时就开启events_statements_current表的记录功能(该表记录当前的语句事件信息)启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新setup_consumers配置表中的events_statements_current配置项默认值为TRUE

performance_schema_consumer_events_statements_history=TRUE
与performance_schema_consumer_events_statements_current选项类似但该选项是用于配置是否记录语句事件短历史信息默认为TRUE

performance_schema_consumer_events_stages_history_long=FALSE
与performance_schema_consumer_events_statements_current选项类似但该选项是用于配置是否记录语句事件长历史信息默认为FALSE

除了statement(语句)事件之外还支持wait(等待)事件、state(阶段)事件、transaction(事务)事件他们与statement事件一样都有三个启动项分别进行配置但这些等待事件默认未启用如果需要在MySQL Server启动时一同启动则通常需要写进my.cnf配置文件中
performance_schema_consumer_global_instrumentation=TRUE
是否在MySQL Server启动时就开启全局表如mutex_instances、rwlock_instances、cond_instances、file_instances、users、hostsaccounts、socket_summary_by_event_name、file_summary_by_instance等大部分的全局对象计数统计和事件汇总统计信息表 的记录功能启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新全局配置项
默认值为TRUE

performance_schema_consumer_statements_digest=TRUE
是否在MySQL Server启动时就开启events_statements_summary_by_digest 表的记录功能启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新digest配置项
默认值为TRUE

performance_schema_consumer_thread_instrumentation=TRUE
是否在MySQL Server启动时就开启

events_xxx_summary_by_yyy_by_event_name表的记录功能启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新线程配置项
默认值为TRUE

performance_schema_instrument[=name]
是否在MySQL Server启动时就启用某些采集器由于instruments配置项多达数千个所以该配置项支持key-value模式还支持%号进行通配等如下:

# [=name]可以指定为具体的Instruments名称但是这样如果有多个需要指定的时候就需要使用该选项多次也可以使用通配符可以指定instruments相同的前缀+通配符也可以使用%代表所有的instruments

## 指定开启单个instruments

--performance-schema-instrument= 'instrument_name=value'

## 使用通配符指定开启多个instruments

--performance-schema-instrument= 'wait/synch/cond/%=COUNTED'

## 开关所有的instruments

--performance-schema-instrument= '%=ON'

--performance-schema-instrument= '%=OFF'

注意这些启动选项要生效的前提是需要设置performance_schema=ON。另外这些启动选项虽然无法使用show variables语句查看但我们可以通过setup_instruments和setup_consumers表查询这些选项指定的值。

2、系统变量

show variables like '%performance_schema%';
--重要的属性解释
performance_schema=ON
/*
控制performance_schema功能的开关要使用MySQL的performance_schema需要在mysqld启动时启用以启用事件收集功能
该参数在5.7.x之前支持performance_schema的版本中默认关闭5.7.x版本开始默认开启
注意如果mysqld在初始化performance_schema时发现无法分配任何相关的内部缓冲区则performance_schema将自动禁用并将performance_schema设置为OFF
*/

performance_schema_digests_size=10000
/*
控制events_statements_summary_by_digest表中的最大行数。如果产生的语句摘要信息超过此最大值便无法继续存入该表此时performance_schema会增加状态变量
*/
performance_schema_events_statements_history_long_size=10000
/*
控制events_statements_history_long表中的最大行数该参数控制所有会话在events_statements_history_long表中能够存放的总事件记录数超过这个限制之后最早的记录将被覆盖
全局变量只读变量整型值5.6.3版本引入 * 5.6.x版本中5.6.5及其之前的版本默认为100005.6.6及其之后的版本默认值为-1通常情况下自动计算的值都是10000 * 5.7.x版本中默认值为-1通常情况下自动计算的值都是10000
*/
performance_schema_events_statements_history_size=10
/*
控制events_statements_history表中单个线程会话的最大行数该参数控制单个会话在events_statements_history表中能够存放的事件记录数超过这个限制之后单个会话最早的记录将被覆盖
全局变量只读变量整型值5.6.3版本引入 * 5.6.x版本中5.6.5及其之前的版本默认为105.6.6及其之后的版本默认值为-1通常情况下自动计算的值都是10 * 5.7.x版本中默认值为-1通常情况下自动计算的值都是10
除了statement(语句)事件之外wait(等待)事件、state(阶段)事件、transaction(事务)事件他们与statement事件一样都有三个参数分别进行存储限制配置有兴趣的同学自行研究这里不再赘述
*/
performance_schema_max_digest_length=1024
/*
用于控制标准化形式的SQL语句文本在存入performance_schema时的限制长度该变量与max_digest_length变量相关(max_digest_length变量含义请自行查阅相关资料)
全局变量只读变量默认值1024字节整型值取值范围0~1048576
*/
performance_schema_max_sql_text_length=1024
/*
控制存入events_statements_currentevents_statements_history和events_statements_history_long语句事件表中的SQL_TEXT列的最大SQL长度字节数。 超出系统变量performance_schema_max_sql_text_length的部分将被丢弃不会记录一般情况下不需要调整该参数除非被截断的部分与其他SQL比起来有很大差异
全局变量只读变量整型值默认值为1024字节取值范围为0~10485765.7.6版本引入
降低系统变量performance_schema_max_sql_text_length值可以减少内存使用但如果汇总的SQL中被截断部分有较大差异会导致没有办法再对这些有较大差异的SQL进行区分。 增加该系统变量值会增加内存使用但对于汇总SQL来讲可以更精准地区分不同的部分。
*/

5、重要配置表的相关说明

​ 配置表之间存在相互关联关系按照配置影响的先后顺序可添加为

/*
performance_timers表中记录了server中有哪些可用的事件计时器
字段解释
	timer_name:表示可用计时器名称CYCLE是基于CPU周期计数器的定时器
	timer_frequency:表示每秒钟对应的计时器单位的数量,CYCLE计时器的换算值与CPU的频率相关、
	timer_resolution:计时器精度值表示在每个计时器被调用时额外增加的值
	timer_overhead:表示在使用定时器获取事件时开销的最小周期值
*/
select * from performance_timers;

/*
setup_timers表中记录当前使用的事件计时器信息
字段解释
	name:计时器类型对应某个事件类别
	timer_name:计时器类型名称
*/
select * from setup_timers;

/*
setup_consumers表中列出了consumers可配置列表项
字段解释
	NAMEconsumers配置名称
	ENABLEDconsumers是否启用有效值为YES或NO此列可以使用UPDATE语句修改。
*/
select * from setup_consumers;

/*
setup_instruments 表列出了instruments 列表配置项即代表了哪些事件支持被收集
字段解释
	NAMEinstruments名称instruments名称可能具有多个部分并形成层次结构
	ENABLEDinstrumetns是否启用有效值为YES或NO此列可以使用UPDATE语句修改。如果设置为NO则这个instruments不会被执行不会产生任何的事件信息
	TIMEDinstruments是否收集时间信息有效值为YES或NO此列可以使用UPDATE语句修改如果设置为NO则这个instruments不会收集时间信息
*/
SELECT * FROM setup_instruments;

/*
setup_actors表的初始内容是匹配任何用户和主机因此对于所有前台线程默认情况下启用监视和历史事件收集功能
字段解释
	HOST与grant语句类似的主机名一个具体的字符串名字或使用“％”表示“任何主机”
	USER一个具体的字符串名称或使用“％”表示“任何用户”
	ROLE当前未使用MySQL 8.0中才启用角色功能
	ENABLED是否启用与HOSTUSERROLE匹配的前台线程的监控功能有效值为YES或NO
	HISTORY是否启用与HOST USERROLE匹配的前台线程的历史事件记录功能有效值为YES或NO
*/
SELECT * FROM setup_actors;

/*
setup_objects表控制performance_schema是否监视特定对象。默认情况下此表的最大行数为100行。
字段解释
	OBJECT_TYPEinstruments类型有效值为“EVENT”事件调度器事件、“FUNCTION”存储函数、“PROCEDURE”存储过程、“TABLE”基表、“TRIGGER”触发器TABLE对象类型的配置会影响表I/O事件wait/io/table/sql/handler instrument和表锁事件wait/lock/table/sql/handler instrument的收集
	OBJECT_SCHEMA某个监视类型对象涵盖的数据库名称一个字符串名称或“％”(表示“任何数据库”)
	OBJECT_NAME某个监视类型对象涵盖的表名一个字符串名称或“％”(表示“任何数据库内的对象”)
	ENABLED是否开启对某个类型对象的监视功能有效值为YES或NO。此列可以修改
	TIMED是否开启对某个类型对象的时间收集功能有效值为YES或NO此列可以修改
*/
SELECT * FROM setup_objects;

/*
threads表对于每个server线程生成一行包含线程相关的信息
字段解释
	THREAD_ID线程的唯一标识符ID
	NAME与server中的线程检测代码相关联的名称(注意这里不是instruments名称)
	TYPE线程类型有效值为FOREGROUND、BACKGROUND。分别表示前台线程和后台线程
	PROCESSLIST_ID对应INFORMATION_SCHEMA.PROCESSLIST表中的ID列。
	PROCESSLIST_USER与前台线程相关联的用户名对于后台线程为NULL。
	PROCESSLIST_HOST与前台线程关联的客户端的主机名对于后台线程为NULL。
	PROCESSLIST_DB线程的默认数据库如果没有则为NULL。
	PROCESSLIST_COMMAND对于前台线程该值代表着当前客户端正在执行的command类型如果是sleep则表示当前会话处于空闲状态
	PROCESSLIST_TIME当前线程已处于当前线程状态的持续时间秒
	PROCESSLIST_STATE表示线程正在做什么事情。
	PROCESSLIST_INFO线程正在执行的语句如果没有执行任何语句则为NULL。
	PARENT_THREAD_ID如果这个线程是一个子线程由另一个线程生成那么该字段显示其父线程ID
	ROLE暂未使用
	INSTRUMENTED线程执行的事件是否被检测。有效值YES、NO 
	HISTORY是否记录线程的历史事件。有效值YES、NO * 
	THREAD_OS_ID由操作系统层定义的线程或任务标识符ID
*/
select * from threads

注意在performance_schema库中还包含了很多其他的库和表能对数据库的性能做完整的监控大家需要参考官网详细了解。

6、performance_schema实践操作

​ 基本了解了表的相关信息之后可以通过这些表进行实际的查询操作来进行实际的分析。

--1、哪类的SQL执行最多
SELECT DIGEST_TEXT,COUNT_STAR,FIRST_SEEN,LAST_SEEN FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--2、哪类SQL的平均响应时间最多
SELECT DIGEST_TEXT,AVG_TIMER_WAIT FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--3、哪类SQL排序记录数最多
SELECT DIGEST_TEXT,SUM_SORT_ROWS FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--4、哪类SQL扫描记录数最多
SELECT DIGEST_TEXT,SUM_ROWS_EXAMINED FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--5、哪类SQL使用临时表最多
SELECT DIGEST_TEXT,SUM_CREATED_TMP_TABLES,SUM_CREATED_TMP_DISK_TABLES FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--6、哪类SQL返回结果集最多
SELECT DIGEST_TEXT,SUM_ROWS_SENT FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--7、哪个表物理IO最多
SELECT file_name,event_name,SUM_NUMBER_OF_BYTES_READ,SUM_NUMBER_OF_BYTES_WRITE FROM file_summary_by_instance ORDER BY SUM_NUMBER_OF_BYTES_READ + SUM_NUMBER_OF_BYTES_WRITE DESC
--8、哪个表逻辑IO最多
SELECT object_name,COUNT_READ,COUNT_WRITE,COUNT_FETCH,SUM_TIMER_WAIT FROM table_io_waits_summary_by_table ORDER BY sum_timer_wait DESC
--9、哪个索引访问最多
SELECT OBJECT_NAME,INDEX_NAME,COUNT_FETCH,COUNT_INSERT,COUNT_UPDATE,COUNT_DELETE FROM table_io_waits_summary_by_index_usage ORDER BY SUM_TIMER_WAIT DESC
--10、哪个索引从来没有用过
SELECT OBJECT_SCHEMA,OBJECT_NAME,INDEX_NAME FROM table_io_waits_summary_by_index_usage WHERE INDEX_NAME IS NOT NULL AND COUNT_STAR = 0 AND OBJECT_SCHEMA <> 'mysql' ORDER BY OBJECT_SCHEMA,OBJECT_NAME;
--11、哪个等待事件消耗时间最多
SELECT EVENT_NAME,COUNT_STAR,SUM_TIMER_WAIT,AVG_TIMER_WAIT FROM events_waits_summary_global_by_event_name WHERE event_name != 'idle' ORDER BY SUM_TIMER_WAIT DESC
--12-1、剖析某条SQL的执行情况包括statement信息stege信息wait信息
SELECT EVENT_ID,sql_text FROM events_statements_history WHERE sql_text LIKE '%count(*)%';
--12-2、查看每个阶段的时间消耗
SELECT event_id,EVENT_NAME,SOURCE,TIMER_END - TIMER_START FROM events_stages_history_long WHERE NESTING_EVENT_ID = 1553;
--12-3、查看每个阶段的锁等待情况
SELECT event_id,event_name,source,timer_wait,object_name,index_name,operation,nesting_event_id FROM events_waits_history_longWHERE nesting_event_id = 1553;

使用show processlist查看连接的线程个数来观察是否有大量线程处于不正常的状态或者其他不正常的特征

id表示session id
user表示操作的用户
host表示操作的主机
db表示操作的数据库
command表示当前状态
sleep线程正在等待客户端发送新的请求
query线程正在执行查询或正在将结果发送给客户端
locked在mysql的服务层该线程正在等待表锁
analyzing and statistics线程正在收集存储引擎的统计信息并生成查询的执行计划
Copying to tmp table线程正在执行查询并且将其结果集都复制到一个临时表中
sorting result线程正在对结果集进行排序
sending data线程可能在多个状态之间传送数据或者在生成结果集或者向客户端返回数据
info表示详细的sql语句
time表示相应命令执行时间
state表示命令执行状态